Az olimpiai ezüstérmes birkózó korábbi egyesülete, a BVSC-t szponzoráló MÁV úgy döntött, hogy megvonják tőle azt a lakást, amelyben több mint tíz éve él. A sydneyi olimpia után sportolónk azzal a feltétellel kapta meg a lakást, hogy indul Athénban is, azonban – állítása szerint – ezt ellehetetlenítették. Így Bárdosi itthonról nézte tévén, hogyan küzdenek odakint azok, akiket le tudott volna győzni.
Nemcsak az áhított diadaltól fosztották így meg, hanem a MÁV-val kötött eredeti szerződését is tönkretette a tény, hogy nem vett részt 2004-ben az olimpián. Nehezített a helyzetén, hogy anyagi problémái is voltak ebben az időszakban. A birkózó azt is elmondta a lapnak, megengednék neki, hogy maradjon, de csak akkor, ha fizet 10 millió forintot. Ennyi pénze azonban nincs.