1935. szeptember 11-én Békéscsabán látta meg a napvilágot. Tizenöt évesen a Békéscsabai Építőkben kezdett futballozni, 1955-ben a Győri Vasas ETO első osztályú csapatához került. 1956-tól két évig a Német Szövetségi Köztársaságban, a Freiburg csapatában játszott, majd 1958-ban hazatért, és 1967-ig ismét a győri együttes játékosa volt. Az ETO-ban 171 bajnoki mérkőzésen 45 gólt szerzett, 1963-ban magyar bajnok, háromszoros MNK-győztes (1965, 1966, 1967) lett. Csapatkapitányként volt részese 1965-ben az ETO legnagyobb sikerének, a klub a Bajnokcsapatok Európa Kupájában egészen az elődöntőig menetelt – írja az MTI.
A támadásokat kiválóan építő, technikás jobbfedezet 1964-ben az olimpiai válogatott csapatkapitányaként nyert ötkarikás bajnoki címet Tokióban. Sérülése miatt azonban nem játszhatott a döntőben, így az akkori szabályok szerint aranyérmet sem kapott, mert a japán szervezők csak a döntőben pályára lépő játékosoknak adtak át érmet. A győri szurkolók később az olimpiai bizottság hozzájárulásával kárpótlásként megcsináltatták számára az aranymedált. Az olimpiai válogatottban 15 mérkőzésen 2 gólt szerzett, a B-válogatottban 8 alkalommal játszott, és egy gólt szerzett.
Még játékosként, 1959-ben tette le a bírói vizsgát, a szükséges tapasztalatokat 1967-től alsóbb szintű mérkőzéseken szerezte meg. 1969-ben NB II-es játékvezető lett, a következő évben pedig már az NB I-ben is bemutatkozott. Már háromévi működés után tagja lett a FIFA-keretnek, s egy időben ő volt Európa legismertebb és legtöbbet foglalkoztatott FIFA-játékvezetője.
A hazai élvonalban 215, a nemzetközi porondon 143 mérkőzést vezetett, köztük 27 válogatott találkozót. Három olimpián (1972, 1976, 1980) és három világbajnokságon (1974, 1978, 1982) fújta a sípot, vezetett két BEK- (1976, 1981), egy-egy KEK- (1979), UEFA Kupa- (1975) és Szuperkupa döntőt is (1978). 1974-ben a vb-döntők történetének első tartalékbírója is ő lett. A csúcsra azonban – önhibáján kívül – nem ért fel: nem vezethetett világbajnoki döntőt, igaz, 1978-ban ő kapta meg az emlékezetes argentin-brazil meccset. A szurkolók ma is csodálattal emlegetik teljesítményét is, mert sárga lap és kiállítás nélkül vette rá a játékosokat, hogy egymás helyett inkább a labdát rúgják. A nemzetközi porondtól 1983-ban a Csehszlovákia-Románia Európa-bajnoki selejtezőmérkőzéssel búcsúzott.
Palotai Károly volt a labdarúgás első magyar sztárbírója, a világon az egyetlen, aki játékosként olimpiai bajnok lett, és játékvezetőként is eljutott a legjobbak közé.
Visszavonulása után, 1985-től 1997-ig a FIFA oktatási területén dolgozott instruktorként és játékvezető-ellenőrként. 1985-2005-ig az UEFA játékvezető-ellenőre, 1990 és 1994 között a FIFA játékvezetői bizottságának tagja volt. 1971 és 1990 között a Győr-Moson-Sopron Megyei Sportigazgatóság helyettes vezetője volt, majd 1990-1998-ig a Győr-Moson-Sopron Megyei Labdarúgó Szövetség elnöke.
1983 és 1985 között a Magyar Olimpiai Bizottság tagja, 1990 és 2006 között az MLSZ Játékvezetők Testületének elnökhelyettese, majd a Játékvezető Bizottság alelnöke, 1993 és 1996 között a Magyar Labdarúgó Szövetség elnökségi tagja volt.
Munka Érdemrend ezüst fokozata (1964), Győr-Sopron megye legjobb sportolója (1963), Népsport-kupa (1979, 1980, 1981), Aranysíp (1982), Aranyjelvény (1979, 1984), Magyar Népköztársaság Sport Érdemérem arany fokozata (1986), Bauer Rudolf-sportdíj (1994), Szent László-díj (1996, Győr). 1996-ban a FIFA International Referee Special Award címmel és oklevéllel tüntette ki, a 100 éves MLSZ jubileumi emlékérmet 2001-ben vehette át. 2012-ben Győr díszpolgárává választották. 2014-ben Príma Díjat kapott, a Magyar Sportújságírók Szövetsége életműdíjjal ismerte el labdarúgó és játékvezető pályafutását, idén a MOB fair play-díj életműdíját vehette át. Pályafutásáról 2004-ben Palotai, az első magyar sztárbíró címmel jelent meg könyv.
