Nach wiederholten letztlich aber unbewiesenen Vorwürfen Missbrauchs von Kindern sowie einer nicht sehr glücklichen Auseinandersetzung diesem Thema da er dazu nie klar bezog reagierte der Vatikan "diplomatisch": Groër wurde am 13. April 1995 Christoph Schönborn als Erzbischof- Koadjutor mit dem Recht auf Nachfolge beigestellt mit Wirkung per 14. September 1995 sein lange vor der "Affäre Groër" aus Altersgründen Rücktrittsgesuch angenommen.
Anschließend zog er sich in das ihm gegründete Zisterzienserinnenkloster Marienfeld bei Maria Roggendorf zurück. Am 1. September 1996 wurde ihm wieder ein kirchliches Amt Prior des Benediktinerklosters in Maria Roggendorf einem des Stiftes Göttweig übertragen das er allerdings anhaltenden Vorwürfen ebenfalls aufgeben musste.