Az épület története majd három évszázaddal ezelőtt indul: török kiűzése után már nem újjáépített, súlyosan megrongálódott városfal közelében lévő telket 1736-ban vásárolta meg egy drezdai fogadótulajdonos, hogy Pestre költöztethesse az üzletét, amely elődjéhez hasonlóan végül szintén a Wilder Mann, azaz a Vadember nevet kapta. Az épület 1744 körülre készült el, a XIX. század első éveiben pedig felkerült rá a Vadember domborműve, mely Dunaiszky Lőrinc ügyességét dícsérte.
Az épület többször cserélt gazdát a következő évtizedekben, 1807-ben azonban elérte a végzete: a belső udvarban tárolt fa- és bőráru kigyulladása miatt az egész épület menthetetlenül megrongálódott.
Domborművét megmentették, a következő évben pedig elkészült a későbbi tulajdonosáról, gróf puchói és csókai Marczibányi Jánosról elnevezett Marczibányi-ház, melynek homlokzatán a Vadember újra elfoglalta az őt megillető helyét.
A XIX. század folyamán fogadóként, Zum Wilden Mann (A vademberhez) néven vegyeskereskedésként, később pedig étteremként működött, de egy ideig itt működött az Első Pesti Spodium és Csontlisztgyár Rt. képviselete is.
1898-ban Fónagy József gyógyszerész az épület földszinti üzlethelyiségében patikát nyitott, de 1905-ben a szemközi, újonnan felépült Károly körút 24-be költözött, helyét pedig Erényi Béla és László patikusok vették át, akik hamarosan a századelő felső tízezrének köreibe kerültek, köszönhetően az 1907-ben szabadalmaztatott, Diana nevet kapott sósborszeszüknek, amely mentolos ízével világsikert aratott, a testvérpárt annyi pénzhez juttatva, amennyinek korábban a létezését sem feltételezték.
A testvérpár hamarosan önálló laboratóriumot nyitott, majd a Fehérvári úton vásárolt magának házat, sőt, a Károly körúti Marczibányi-ház egészét is megszerzik. Azt azonban egyre kisebbnek vélik, így végül 1929-ben lebontatják, a Vadember-domborművet azonban ezúttal is megmentik.
A telekre építendő új, üzleti sikereiket tükröző, a Károly körút és Dob utcák sarkán álló épület megtervezésével Fischer Józsefet (1873-1942) bízták meg.
Az építész a fedett, üzletekkel teli passzázsos, három belső udvaros ház sarkára egy szobrokkal kiegészített saroktornyot álmodott meg, de a leendő tulajdonosok a Diana óriásira nagyított üvegét akarták ott látni.
Természetesen az erre irányuló terveket nem engedélyezték, így készült el a máig látható nyolcszögletű tűztorony, amelyben az alig néhány percnyi sétával elérhető Gerlóczy utcai tűzoltóparancsnokság távcsővel felszerelt őre szolgált, aki sürgős esetekben az ott lévő kurblis telefonnal riaszthatta a parancsnokságot.
Budapest ostroma során a német hadsereg géppuskafészekként használta a stratégiai ponton álló tornyot, tizedelve a Károly körúton átvonuló szovjet katonákat. A hely óriási előnye volt, hogy a tankok ágyúcsövét lehetetlen volt annyira magas szögbe emelni, hogy célba vehessék a tornyot, így a szovjet katonáknak csak egy lehetőségük volt a veszély megszüntetésére: ha kézifegyverekkel és kézigránáttal veszik át az irányítást.
A hely az 1956-os forradalom során is hasonló szerepet kapott. A rendszerváltás után hazatérő filmrendező, Szirtes András 1990-ben nézte ki magának a tornyot, amit 1996-ban sikeresen meg is vásárolt. Az Indexen 2005-ben megjelent írás szerint
Beköltözés előtt persze el kellett tüntetnie a háborús nyomokat, a német és magyar katonák maradványait, az ötször öt méteres alsó és a kör alakú (13 négyzetméteres) felső szint fertőtlenítéshez 150 kilogramm mész fogyott. A legfelső, géppuskafészekként szolgáló szinthez végül nem is nyúlt Szirtes, a lezárt 12 négyzetméteres rész máig a galambok territóriuma.
A torony azóta gazdát cserélt, az épületet pedig gyönyörűen felújították, minden nap tízezrek haladnak el előtte, történetét azonban máig kevesen ismerik.