A zsidótörvények miatt nem vették volna fel egyetemre, így fafaragást tanult, munkaszolgálatosként pedig a várpalotai vár restaurálásán és kőfaragványokon dolgozott.
1946-ban Franciaországba emigrált, de magyarságát sosem felejtette el. Pályája kezdetén szürreális szobrokat készített, amelyeket utcán talált tárgyakból állított össze. Sajnos ezek közül máig egy sem maradt fenn, hiszen a művész 1955-ben az összeset megsemmisítette. A negyvenes évek végén kezdett absztrakt szobrokat készíteni, melyekkel megalapozta életművét, de grafikai munkái is jelentősek.
Nomen est omen: a név sorsdöntő. (…) Péter, Petrus, Kőszikla a nevem, ezért is szeretem a kővilágot, ezért is formálom a követ. Sorsom a kő.
Első óriási köztéri szobrát 1953-ban avatták fel Párizsban, melynek köszönhetően hirtelen a francia művészvilág közepébe csöppent.
1955-ben Claude Guislainnel együtt megkapták a fosséi templom újjáépítésének feladatát, de nem ez volt az egyetlen építészeti munkája, hiszen 1964-1966 közt szintén együtt tervezték és irányították a valenciennes-i karmelita kolostor építését.
Kidolgozta a ház mint lakható szobor koncepcióját, és az újonnan felállított elvek mentén üdülőközpontot (Renouvau) és gömbölyded formákból, hengerekből és félgömbökből felépülő lakóházakat is tervezett.
A hatvanas években új technikát fejlesztett ki a bretagne-i gránitbányákba tett egyik útja során, melyet használva háromezer fokos lánggal faraghatta ki műveit.
“Megtanultam megkövetelni a szabadtéri művészettől, hogy szépsége felérjen a tájak szépségével, de az se baj, ha meghaladja azt. Máskülönben kár a munkáért.”
Székely 1972-ben kapott francia állampolgárságot, 1977-ben pedig megalapította a Gránittechnikai Európai Intézetet. 1978-tól a Hágai Képzőművészeti Akadémia díszdoktora.
Három földrészen több mint száz köztéri műve áll, de magángyűjteményekben, és a világ legjelentősebb közgyűjteményeiben is őrzik egy-egy művét. 1982-ben a francia elnök, François Mitterrand szobrot vásárol tőle, majd az izraeli elnöknek, Jichak Navonnak ajándékozza, sőt, a következő évben újabbat vásárol.
Magyarországon az 1991-ben Várnagy Péterrel közösen megálmodott pécsi Kőkert és a Nagyvárad téri Béke-szobor őrzi a nevét, melynek talapzatába illesztett márványtábláját Mitterand és Kádár János is aláírta:
Élete utolsó két évtizedében egyre több időt töltött Japánban, így ma itt található legnagyobb szabadtéri gyűjteménye, a Sekihagara szabadtéri múzeum, amely 1993-ban nyílt meg. Életének ebben az utolsó szakaszában a távol-keleti filozófiák, az ősi japán kultúra hatása, és a modern technológia lehetőségei foglalkoztatták.
75. születésnapján, 1998-ban a Francia Becsületrend lovagjává ütötték. 2001-ben, nyolcvanhét éves korában érte a halál.
Néhány fontosabb műve:
Gyerekjátékok, L’Haÿ-les-Roses, Franciaország, 1958
