Det store palæagtige hus på hjørnet af Nybrogade og Gammel Strand danner i dag rammen om Kulturministeriet, men huset er langt ældre end ministeriet.
Det blev bygget af murermestrene Lars Eriksen og Søren Sørensen for borgmester Christian Berregaard efter Københavns brand i 1728. Fra starten var det udformet som en trefløjet gård, der var lukket med en hegnsmur med port imod Nybrogade.
Pantelånervirksomheden ”Det Kongelige Privilegerede Assistance-hus”, i daglig tale Assistenshuset, købte ejendommen i 1757. Der blev snart brug for mere plads, og de to gavle ud mod Nybrogade blev forbundet med en fjerde fløj, opført i 1765 efter tegning af murermester F. Platz. Porten blev bevaret og ført helt igennem den nye fløj. For at sikre lighed mellem nyt og gammelt blev hele huset malet gråt.
Efter besættelsen fremstod huset noget forfaldent. En demonstration af arbejdsløse malersvende, der gik i gang med at afrense gammel maling og grundbehandle vinduesbeslagene, foranledigede at der blev afsat midler til en facadeistandsættelse. I vinteren 1951-52 blev facaden så helt afrenset for maling og istandsat til den skikkelse, det nu fremtræder i.
Assistenshuset, der var blevet lagt under Finansministeriet, ophørte i 1962, og bygningen blev hovedistandsat og indrettet til kontorbrug, hvorefter Kulturministeriet rykkede ind. I 1964 fik det selskab af Statsministeren, departementschefen og ministersekretariatet, mens resten af Statsministeriet blev tilbage i Slotsholmsgade 10. Statsministeren og staben flyttede videre til Christiansborg fire år senere.
Ejendommen huser fortsat Kulturministeriet, men en stenplade over porten erindrer om stedets tidligere benyttelse med den forgyldte indskrift Assistenshuset.