De eerste meldingen van dit pand dateren uit 1575. Verder wordt vermeld dat in 1614 hier Jonkheer Andries van Thiemen woonde. Deze was Baljuw van Noordwijkerhout en omliggende dorpen. In 1639 wordt het pand gedurende 12 jaar verhuurd aan Jonkheer Willem van Oudshoorn, Baljuw in Den Haag. Hij was echter remonstrants en is daarom later uit zijn functie ontheven.
In 1722 is het pand verkocht aan Elie Luzac, deze begon hier een franse kostschool. Jozef de Veer wordt in 1733 eigenaar van de kostschool en betaalde daar Fl 10000,- voor.
Het pand wordt in 1849 verkocht aan Wigbold van der Does, graaf van Limburg Stirum etc.
Daarna wordt het college van toezicht de eigenaar en wordt hier het kantongerecht en een gevangenis gevestigd.
In 1878 wordt het verkocht voor Fl 2500,- aan het Post en Telegraaf bedrijf en wordt hier het postkantoor gevestigd. Deze functie houdt het pand tot 1989, waarna het verkocht wordt aan Gerard Duindam, horeca ondernemer. In 1990 wordt het pand gesplitst. Benedenwas er een huisartsen praktijk van Dr. Immerzeel.
Hierna is het pand verhuurd aan diverse kunstenaars die er hun atelier hadden. Tegenwoordig zijn er van het pand diverse appartementen gemaakt voor normale bewoning.