Het complex heeft in de zestiger jaren van de achttiende eeuw zijn huidige vorm gekregen. Arend Diederik de Vries van Vossen kocht het huis van zijn achterburen in de Torenstraat op en voegde het bij zijn huis aan de Westerstraat. Hij verbond beide huizen met een zeer prestigieuze lange gang en verbouwde de zeventiende eeuwse huizen naar de laatste mode.
De laatste telg uit de familie, Johanna Margaretha de Vries (zij overleed in 1849), bepaalde in haar testament dat haar woonhuis een Liefdadig Gesticht werd. In de volksmond werd het huis al gauw Het Weduwhuis genoemd. In 1996 werden de panden gerestaureerd door de stichting Stadsherstel.
Naast de fraaie gang is de zogenaamde Pachtkamer te bezichtigen. Oorspronkelijke was het de mooie kamer van de familie, aanwezig zijn nog de geschilderde behangsels uit de behangselfabriek in Hoorn. De vader van Johanna Margaretha de Vries was belastingpachter, vandaar de naam Pachtkamer.