Az épület helyén a XVIII. század derekán Unger Benedek városfalak menti kovácsműhelye működött. A tökéletes helyválasztásnak köszönhetően – a mai Astoriánál állt a város egyik kapuja, a Hatvani kapu, amit csak 1808-ban bontottak le – a szekérrel érkezők a városba érve sokszor megálltak a műhelynél, és végeztették el itt a szükséges munkákat. Unger hírneve és hatalma egyre gyorsabban nőtt, 1755-ben pedig a város irányításában résztvevő, választott százfős polgári testület tagja lett.
Öt gyermeke született, közülük Antal (1771-1835) vitte tovább a családi üzletet, amit néhány teleknyivel feljebb, az Ország-útra (a mai Múzeum körútra) költöztetett, ahol akkoriban a pesti vásárokat tartották.
Csaplovics János 1829-ben így írt ezekről:
A vagyon jelentős növelésének köszönhetően Unger Antal a XVIII.-XIX. század fordulóján több, mint egy tucat telket vásárolhatott a mai Belváros legpatinásabbnak számító utcáiban, melyekre a kor neves építészei által tervezett lakóházak kerültek.
A pesti polgárság felemelkedésének korában járunk, így a család minden kínálkozó lehetőséget megragadott a felfelé törekvésre. Unger Antalnak két fia – Antal (1801-1868) és Henrik (1809-1877), valamint két lánya született. A két lány egyike egy tehetős vaskereskedőhöz, másikuk pedig egy városi szenátorhoz ment feleségül, a fiúgyermekek pedig még tovább gyarapították az Unger-vagyont. Az ifjabb Antal a műhely vezetése helyett vaskereskedést nyitott a Duna-parton, nyereségét pedig ingatlanokba fektette.
Henrik jogot tanult, és eleinte jórészt a család tulajdonában lévő házak bevételeiből élt, de élete derekán ipari vállakozások egész sorába fektetett be. Ezáltal a város egyik leggazdagabb embere lett, sőt, testvérével együtt a reformkorban egyre gyorsuló kulturális fejlődésből is kivették a részüket: Henrik tekintélyes könyvtárat tartott fenn, de testvérével együtt mindketten jó kapcsolatot ápoltak a kor legnagyobb alakjaival.
Henrik 1852-ben a Múzeum körúti kovácsműhely lebontása, majd egy újabb ház építése mellett döntött. A feladattal a XIX. század derekán viharos hirtelenséggel feltűnt, Párizsban, majd Münchenben tanult építészt, az alig néhány hónappal korábban Pestre költözött Ybl Miklóst bízta meg.
A harmincnyolc éves Ybl ekkor még nem számított szupersztárnak a szakmában, hiszen korábban mindössze Pollack Mihály (1832-1836), majd Koch Henrik (1836-1841) építészek irodájában dolgozott, 1841-ben pedig előbbi fiával, Pollack Ágostonnal nyitott építészirodát a Dorottya utcában. 1845-ben gróf Károlyi István megbízta fóti kastélyának átépítésével és a település templomának megtervezésével, majd a család uradalmi építésze lett.
A valószínűleg Pollack Mihály által ajánlott (Unger Henrik a veje testvére volt) első pesti bérházának elkészítésére készülő Ybl végül egy romantikát bizánci és mór stíluselemekkel ötvöző kétemeletes, két utca közt átjáróházként is működő épület terveinek papírra vetése mellett döntött.
A néhány hónap alatt formát öltött épület ma erősen kilóg az utcaképből, de ezt nem csak kora, díszei is indokolják:
Az elkészült Unger-ház egyébként nem egyezik meg teljes egészében a tervrajzon lévő épülettel, de a korban ez gyakori volt, hiszen az engedélyező hatóság jórészt csak a födémek kialakítását, valamint a párkány- és falvastagságot figyelte, így számtalan lehetőség adódott még a részletek megtervezésére és az utolsó pillanatig történő változtatásokra. A rajzról hiányoztak például a griffek, az erkélyek, a csillagdíszes pártázat és a díszek:
Az átjárást biztosító folyosók és a belső udvar viszont a leadott tervekhez képest sem változtak:
A Múzeum körúton elindulva azonnal feltűnik a díszes kapualj, ami még mai állapotában is vonzza a szemet, díszítettségével és az erkélyek mellvédjeinek geometrikus nyolcszög-mintázatával kivételes látvány a Belvárosban:
A hét kis erkély mindegyikét két-két griffmadár támasztja:
A kapualjban díszes sártisztító is volt – ma valószínűleg a bejárathoz helyezett vitrin takarja:
A legfelső szint felett csillagdíszes romantikus pártázat látható:
Az épületbe belépve azonnal a kissé fénytelen átjáróban találjuk magunkat, melyet gazdagon díszített oszlopok tesznek még lenyűgözőbbé:
Átjárójának eredeti fakocka burkolata jórészt máig megmaradt, noha a hiányzó részeket már betonnal, vagy kőkockákkal (a belső udvar teljes egészén) pótolták:
A ház nem rendelkezik nyitott körfolyosóval, így a lakásokat két lépcsőházon át közelíthetjük meg. Ezek egyike ma zárt, míg a másik könnyedén megközelíthető, a belső – már nem fakockákkal fedett – udvar sarkából nyíló lépcsősoron:
Az árkádos, négyszögletű udvarra néző hatalmas üvegfelületek rengeteg fényt juttatnak a belső folyosókra:
Az üvegablakok egyszerűségükben is csodálatosak:
Pedig az épület állapotának romlása itt a leginkább észrevehető:
A Magyar utcai kijárat felé haladva keresztboltozatos téren haladunk át:
Majd megérkezünk a Reáltanoda, illetve a Magyar utcába, ahonnan visszatekintve láthatjuk a másik homlokzatot, ami lényegesen jobb állapotú, de kevésbé díszített:
A Magyar utcai kapuzat:
Az ablakok körül futó díszek egyike:
A Pesti Napló 1853-as számainak egyikében a tudósító így fogalmazott:
E ház, mintha mézeskalácsból nyomták volna, oly cifra és mesterkélt. Rajta az építészet minden stílje képviselve van. Az ember, ha ablakait tekinti, nem tudja, az ivek bizant vagy gót stilben épitvék; az olasz épitészetű második emelet felett tulipán alakú csipkés párkányzat emelkedik akarva a maur-stilt képviselni; a kidülő oszlopocskák faragott kőmüvet árulnak el, holott a czirádák s a cserzett fal minden ékessége gipszből készitvék. Ezt mind szépnek tarthatja a mester s a gazda, de mi izlést nem találunk benne. Lám, lám, van tehát mégis valami az életben, mit pénzen az ember magának meg nem szerezhet.
Ennek ellenére a ház átadása előtt már az összes lakás bérlőre talált. A Múzeum körúton 1894-ben nyitott üzlethelyiségek és a belső udvarról nyíló földszinti helyiségek ma is több boltnak adnak otthont.
A századfordulón itt működött az Élet (Képes Családi Lapok), valamint a Gazdasági Lapok szerkesztősége, de takarékszövetkezet és Lux Mihály üzlete is.
A második világháborús károkat a Múzeum körúti oldalon 1951-ben (a földszint kivételével) javították, a Magyar utcai homlokzatot és a belső udvart 1961-ben, a Múzeum körúti kapualjat és a földszintet pedig 1966-ban újították fel. Ekkor cserélhették kőre a belső udvar fakockáit is:
Az azóta eltelt öt évtized során az Unger-ház állapota értelemszerűen rengeteget romlott, így rövidesen halaszthatatlanná válhat egy műemléki igényességű felújítás, hiszen minimum a Múzeum körúti homlokzat megérdemelné, hogy újra a régi fényében ragyogjon.
