Apja – idősebbik Pilinszky János – az első világháborúban szerzett sérülése okán ismerkedett meg az akkor ápolónőként dolgozó Baitz Veronikával, akivel a háború után a belvárosban találtak otthonra. Itt nőtt fel a költő az 1919-ben született nővérével, Veronikával.
Tanulmányait a Czukor utcai elemi iskolában kezdte, ahonnan négy, kitűnő eredményekkel telt év után a budapesti Piarista Gimnázium nyolcosztályos tagozatára nyert felvételt. Itt került érdeklődése középpontjába az irodalom, és első lírai szárnypróbálgatásai is ide köthetőek – első versei 1935-ből származnak, vagyis 14 évesen már írt. A családi neveltetésen kívül a gimnázium és Schütz Antal piarista szerzetes középiskolai tankönyvcsaládja haláláig nagy befolyással volt életszemléletére. Pilinszky szavaival élve: „Költő vagyok és katolikus.”
Első komolyabb alkotásai már a gimnázium alatt, 1938-1939-ben jelentek meg a Napkelet, az Élet és a Vigilia című lapokban. Az érettségi után a Pázmány Péter Tudományegyetemen (a mai ELTÉ-n) folytatta tanulmányait – először jogon, majd magyar-olasz-művészettörténet szakon. Mindeközben 1941-1944 között az Élet segédszerkesztőjeként dolgozott, és 1942-ben megjelent első nagy sikere “Halak a hálóban” címmel. Képtelen volt tehát az irodalmat hanyagolni – így történt, hogy 1944-ben ugyan befejezte az egyetemet, de nem végezte el, nem szerzett diplomát.
1944 novemberében behívták katonának és így került 1945 februárjában a német Harbach faluba – a koncentrációs táborokban látott szörnyűségek életének és művészetének másik meghatározó tapasztalatának mondhatóak.
1945 őszén, a háború után visszatért Budapestre, ahol 1946-ban az Újhold társszerkesztője lett, és megjelentette első verseskötetét, amiért a következő évben megkapta a Baumgarten-díjat. 1949-től azonban nem publikálhatott, így idejét verses mesék írásával töltötte – a tiltás utáni első megjelenése is egy ilyen könyv volt 1957-ben.
1955. október 12-én feleségüé vette Márkus Anna festőművészt, azonban házasságuk csupán néhány hónapig tartott – Anna az 56-os forradalom után Párizsba emigrált. Barátságuk ennek ellére fennmaradt, mivel Pilinszky a hatvanas években többször ki tudott utazni Nyugat-Európába, legtöbbször Párizsba. Mindeközben Budapesten (költészete mellett) lektorként, szerkesztőként és íróként dolgozott.
Párizsban ismerkedett meg 1978-ban az akkor 23 éves Ingrid Ficheux-vel, akivel 1980 júniusában kötött házasságot. A sors kegyetlensége, hogy alig egy évvel később, 1981. május 27-én meghalt második szívinfarktusában. Június 4-én hatalmas tömeg kísérte utolsó útjára a Farkasréti temetőben.
Műveinek nyomasztó hangvétele legalább annyira visszhangozza az általa tapasztalt huszadik századot, mint saját életét. Munkásságáért 1971-ben József Attila-díjat, 1980-ban Kossuth-díjat kapott, míg 1997-ben a Magyar Örökség Díjjal tüntették ki.
