Rudi Bácsi ugyan az MTK-ban kezdte elsajátítani a labdarúgás rejtelmeit, 1941-ben leigazolta őt a Budapest Vasas, innentől kezdve pedig neve egybeforrt az angyalföldi klub történelmével. Visszavonulásáig a piros-kékeknél focizott, 270 bajnokin összese 87 gólt lőtt. A Vasas még életében róla nevezte el a Fáy utcai stadiont.
A bal- és jobbszélen is bevethető Illovszky Rudolf háromszor ölthette magára a nemzeti válogatott dresszét, 1945. augusztus 19-én Ausztria ellen debütált címeres mezben.
Már játékosként kacérkodott az edzősködéssel, irányította a Vasas serdülő és utánpótlás csapatainak edzését, közben pedig szakedzői oklevelet szerzett. Mikor Baróti Lajost kinevezték szövetségi kapitánnyá, 1957-ben átvette a piros-kékek irányítását, melyet kisebb-nagyobb megszakításokkal egészen 1986-ig ellátott. 1995-ben, 73 évesen még visszatért egy rövid időre és megmentette a csapatot a kieséstől.
Előbb pályaedzőként, majd kétszer szövetségi kapitányként a nemzeti csapatnál is elhelyezkedett. 1972-ben olimpiai ezüstig és Európa-bajnoki negyedik helyig vezette a gárdát. Egy-egy szezon erejéig a görög Pierikósz és az osztrák Admira Wacker kispadjára is leült.
Illovszky Rudolfot 2007-ben és 2008-ban többször is kórházba kellett szállítani szívproblémái miatt, ugyanakkor ez idő tájt is gyakori látogatója volt a Vasas hazai meccseinek. 2008. szeptember 23-án, 86 évesen tüdőgyulladásban hunyt el.
