Впродовж ігрової кар'єри виступав за німецькі клуби в амплуа захисника. В Бундеслізі в матчах за «Герту» і «Кайзерслаутерн» за 8 років зіграв у 201 матчі, забивши 21 гол. Грав стабільно, але особливо не виділявся грою, тому жодного матчу за національну збірну Німеччини не зіграв.
1995 року Франц Бекенбауер запросив очолити «Баварію», проте вже через рік Рехагель залишив клуб і почав тренувати «Кайзерслаутерн», який на той час грав у другій лізі. Вже за рік вивів «Кайзерслаутерн» у вищу лігу та став чемпіоном, потіснивши мюнхенську «Баварію».
2001 року Отто Рехагель очолив національну футбольну збірну Греції. 2004 року греки стали чемпіонами Європи, втім не пройшли кваліфікацію на Чемпіонат Світу 2006. Кваліфікаційний турнір напередодні Чемпіонату світу з футболу 2010 року проведений вдало, а 17 червня2010 року греки здобули свою першу перемогу на Чемпіонаті світу в історії збірної в матчі зі збірною Нігерії[2]. Проте у матчі проти Аргентини греки поступились з рахунком 0:2. Відтак команда припинила участь у першості[3]. Наступного дня 23 червня Отто Рехагель оголосив про рішення залишити збірну Греції[4].