Két és fél éve csak néha találkoznak, akkor is főleg színházról beszélnek. Judit nem tudta feldolgozni a csalódást. Koltai azóta is bízik az újrakezdésben, de neje, akivel egyébként nem váltak el, erős asszony, s nem másítja meg döntését, annak ellenére, hogy mindkettőjük életében nagy törés volt a különköltözés - adta hírül a Terefere.
A legendás színész házaspár életében akkor következett be a fordulat, amikor Koltai Róbert két és fél évvel ezelőtt bevallotta a feleségének: öt éven át csalta egy huszonéves színinövendékkel. A színész beismerte, hogy hatalmas hibát követett el, és Pogány Judit ezt már nem tudta tolerálni. Azóta külön élnek, 2006 nyarán költöztek szét. Koltai Róbert a gyerekkori szobájába helyezte át székhelyét, a húgánál.
A színészt és nejét is megviselte a szakítás. Kettejük közt a munka-, és a normális emberi kapcsolat is megmaradt, gyermeküket és unokáikat azonban külön látogatják. Pogány Judit kezdetben nem sok esélyt látott a megbocsátásra, s úgy tűnik, ez azóta is így van. Koltai bevallotta, számára a legfontosabb ember most is a felesége. Pogány Judit azonban elválásuk után azt nyilatkozta, nagyon rossz érzés, hogy úgy érzi: a férje egész életében megcsalta, lezárta a kapcsolatot, részéről nincs bocsánat.