Vácott született 1921-ben, ahová családja az I. világháború viharai elől Erdélyből menekült. Jancsó 1931-től a székesfehérvári cisztercita gimnáziumban tanult, és az itt uralkodó szabad szellem későbbi pályájának egyik meghatározó élménye lett. 1944-ben szerzett diplomát, és egy ideig ügyvédbojtárként dolgozott. 1944 augusztusában szüleivel visszatért Magyarországra, ahol 1945 tavaszán szovjet hadifogságba került, és Leningrádba, majd Raivolába vitték. A fogságban a tüdeje súlyosan megbetegedett, így rövid idő múlva hazaengedték. 1946 őszén már Budapesten volt, a Muharay-táncegyüttes titkára lett, majd felvették a Színház- és Filmművészeti Főiskola filmrendező szakára.
1950-ben szerzett diplomát, ezután a Magyar Híradó- és Dokumentumfilmgyárba került, az ezt követő nyolc évben híradó- és dokumentumfilmeket rendezett. Első önálló játékfilmjét 1958-ban Szilvási Lajos forgatókönyvéből készítette A harangok Rómába mentek címmel, amely nem aratott különösebb sikert. 1959-ben ismerkedett meg Hernádi Gyula íróval, akivel ettől kezdve elválaszthatatlan barátok és szerzőtársak lettek.
Első igazán jelentős játékfilmje, a Lengyel József-novella nyomán készült Oldás és kötés már jelezte, hogy Jancsóval új és eredeti tehetség jelent meg a magyar filmkultúrában. Az 1964-es Így jöttem már az összes jancsói stílusjegyet magában foglalta: a szokatlanul hosszú beállításokat, a nagy tért befogó, horizontális kameramozgást, a képek erős vizuális hatással bíró megkomponáltságát. Az 1965-ös Szegénylegények kirobbanó nemzetközi sikert aratott, Cannes-ban is bemutatták, s ettől kezdve emlegetik Jancsót egy szinten korunk nagy rendezőivel, Fellinivel, Antinionival és Bergmannal. E filmjével indította az egész életművén végigvonuló gondolatiságot: az egyén és a hatalom, a hatalom és a közösség viszonya, a szabadság és a zsarnokság között feszülő ellentét filmes ábrázolását.
A hatvanas években forgatott filmjeiben elsősorban a magyar történelem különböző időszakaira koncentrált: a Csend és kiáltás, a Csillagosok, katonák a proletárdiktatúra utáni időszakot, a Fényes szelek a népi kollégiumok korszakát, az Égi bárány és a Sirokkó a két világháború közötti magyar fasizálódás folyamatát rajzolta meg.
A kilencvenes évek közepétől Jancsó művészete ismét megújult, A Nekem lámpást adott kezembe az úr Pesten, az Anyád! A szúnyogok, az Utolsó vacsora az Arabs szürkénél, a Kelj fel komám, ne aludjál, A mohácsi vész című filmjei a bohóctréfa, a blődli eszközeivel dolgozik, a beállítások is megrövidültek, s két színészének, Mucsi Zoltán és Scherer Péter párosának számtalan rögtönzést is engedélyez. Az örök szerelem, az egyetlen hobbi, a filmkészítés mellett Jancsó színházi rendezései is emlékezetesek maradnak, így a Várszínházban játszott Hasfelmetsző Jack, az alkalmi színpadokon bemutatott Mata Hari, Drakula, a Csárdáskirálynő és a Szép magyar tragédia vidéki előadásai.
A rendezések mellett Jancsó aktív közéleti és társadalmi szerepet is vállalt, 1986-tól a Magyar Film- és Tv-művészek Szövetségének elnöke, 1993-ban a Hadkötelezettséget Ellenzők Ligájának ügyvivője, 1996-ig a Boldogság Párt alelnöke volt, 1988-tól címzetes egyetemi tanár, 1990-1991-ben a Harvard Egyetem Kommunikációs Intézetének tanára, 1993-tól a Széchenyi Irodalmi és Művészeti Akadémia tagja, 1994-től elnöke, az Európai Filmakadémia tagja, és több ízben az SZDSZ országgyűlési képviselőjelöltje is volt.
Művészetét több rangos díjjal is jutalmazták, a többi között 1973-ban Kossuth-díjat kapott, 1979-ben Cannes-ban életműdíjat, 1980-ban kiváló művész lett, 1990-ben a velencei filmfesztivál életműdíjasa, 1999-ben Gene Moskowitz-díjas, 2001-ben Budapest díszpolgárává választották, 2004-ben pedig a Magyar Mozgókép Mestere címet adományozták neki.
