Német eredetű családból származott, apja jómódú kereskedő volt. A bécsi Polytechnikumban tanult, majd 1832-től Pesten a Pollack Mihály tervezte Ludovika és a Nemzeti Múzeum építkezésén segédkezett. 1836-tól Bécsben Heinrich Koch alkalmazta irodájában, s közreműködött a prágai Kinsky-palota építésénél. 1840-42-ben a müncheni akadémián folytatta építészeti stúdiumait, közben Itáliában tett tanulmányutat. Hazatérve – mivel nem vették fel a Pesti Építő Céhbe, és így nem vállalhatott munkát -, Pollack Mihály Ágost nevű fiával társult, közösen építették át Batthyány Lajos gróf ikervári kastélyát.
1847 és 1851 között Fóton élt a Károlyi-család építészeként, ekkor tervezte a Károlyiak fóti és radványi kastélyát, valamint a kaplonyi és fóti templomot. 1851 nyarán, ifjú házasként visszaköltözött Pestre – felesége grazi születésű nevelőnő volt -, és hamarosan a főúri világ legkedveltebb építésze lett. Első nagy alkotásai a keleti elemekkel tűzdelt romantikus stílus jegyében születtek: a fóti római katolikus templom, a világháborúnak áldozatul esett pesti Nemzeti Lovarda, a Múzeum körúti Unger-ház, a Széchenyiek nagycenki temploma.
Második itáliai tanulmányútja után, 1860-tól az olasz reneszánsz stílus újjáteremtése foglalkoztatta. Munkássága érettebb szakaszában többnyire neoreneszánsz stílusú alkotásokat emelt, mint a Budai Takarékpénztár a második világháborúban elpusztult palotája a Clark Ádám téren, a Ganz-mauzóleum, a Kálvin téri (később lebombázott) Geist-ház, valamint a Nemzeti Múzeum mögötti Károlyi- és Festetics-paloták. 1865-ben építette fel a Sándor utcai úgynevezett Régi Képviselőházat (a mai Olasz Intézetet), s ezen a környéken a Pálffy- és a Degenfeld-paloták is az ő művei. Budapesti bérházak és paloták, vidéki kastélyok mellett a megépítette a Rácz fürdő gőzfürdőjét és a Pesti Hazai Takarékpénztár Egyetem utcai intézetét, a margitszigeti Margitfürdőt a köréje emelt szállásokkal, pavilonokkal, ivócsarnokkal (az épületegyüttes a második világháborúban megrongálódott, és nagy részét lebontották).
1870-től sorra készültek legjelentősebb neoreneszánsz alkotásai: a Fővámház (a mai Közgazdaságtudományi Egyetem), a Várkert Bazár és a Várkert Kioszk, a Károlyi család számára megépítette a parádsasvári és parádfürdői kastélyt, valamint a parádfürdői Cifra Istállót. Hild József építész szakmai örököseként 1867-ben ő vette át, és neoreneszánsz stílusban folytatta az addig klasszicista stílusban készülő Szent István-bazilika építését, és az ő tervei szerint építették át a Nemzeti Casino számára a Hatvani utcai Cziráky-palotát. Az ő munkája az egykor a Kálvin téren álló Danubius-kút Fessler Leó szobraival, valamint a budavári királyi palota krisztinavárosi szárnya és nagy udvara is.
Fő műve és egyben legszebb épülete, a budapesti Operaház 1875 és 1884 között készült el. Ennek tervezésére 1873-ban nemzetközi tervpályázatot írtak ki, a bíráló bizottság Ybl tervét fogadta el, amelyet ő többször átdolgozott, felhasználva több pályamű elemeit. A munkálatok 1875 októberében kezdődtek, és néhány hónap múlva az építkezés vezetését is a kevés szavú mesterre bízták.
Európa egyik legszebb dalszínháza, amelyet nemcsak megjelenése, belső terei is a kor kiemelkedő alkotásává tesznek, 1884. szeptember 27-én a királyi család jelenlétében nyitotta meg kapuit.
Ybl elnöke volt a Magyar Mérnök és Építész Egyletnek, tagja a fővárosi törvényhatósági bizottságnak és 1885-től a főrendiháznak. 1882-ben fényes külsőségek közepette ünnepelték 50 éves építészi jubileumát, bánatára azonban a Magyar Tudományos Akadémia – jóllehet székházának építésében részt vett – nem fogadta kebelébe. Ybl Miklós Budapesten halt meg 76 éves korában, 1891. január 22-én.
Az ő nevét viseli az 1953-ban alapított legrangosabb magyar építészeti kitüntetés, továbbá a Szent István Egyetem Építéstudományi Kara Budapesten, a 2002-ben magyar csillagászok által felfedezett 166886 jelű kisbolygó, monográfiáját unokaöccse, Ybl Ervin írta meg 1956-ban.
Halálának évfordulóján, 2014. január 22-én emlékév kezdődött, melynek során születésének 200. évfordulója alkalmából különböző programokkal állítanak emléket a világhírű magyar építésznek, ebben az évben Ybl születésnapján, és nem március 15-én a Magyar Állami Operaházban adják át az építészeknek járó, nevét viselő díjat. Az Ybl-emlékév kiemelkedő eseménye volt a felújított Várkert Bazár április 3-i átadása. Az olasz, német és francia függőkertek mintájára tervezett neoreneszánsz építmény 1875-83 között épült, 1987-ben a világörökség része lett, de 1996 óta a világ száz legveszélyeztetettebb műemlékének egyike volt. A hitelesen rekonstruált Várbazár a hozzá kapcsolódó közlekedésfejlesztéssel a királyi vár kapuja lett.
