Починав грати у 1952 р. у київській дитячій команді «Будівельник». Вихованець київської ФШМ (Футбольної школи молоді), де грав з 1954 року. Дебютував у складі «Динамо» (Київ) у 1957 році. Відзначався високою швидкістю, технікою володіння м'ячем, чудовою грою у повітрі і м'якою пластикою рухів. Запамятався тим, що часто замикав на дальній штанзі подачі, які виконував Валерій Лобановський. Ці футболісти відзначалися спільним розумінням футболу, після «Динамо» грали разом у «Чорноморці» і «Шахтарі» (Донецьк).
Після закінчення ігрової кар'єри Олег Петрович спочатку пропрацював нетривалий час на кафедрі футболу Київського інституту фізичної культури. Починав тренерську діяльність у «Десні». Прийнявши її у розпалі сезону-69, зумів вивести із зони «вильоту» в клас «Б», а до наступного чемпіонату підготував цілком конкурентоспроможну для другої групи класу «А» команду. У кінці сезону-70 уже підбирав футболістів під нове завдання — поборотися за путівку в створювану тоді першу всесоюзну лігу. Але громом серед ясного неба стала звістка про рішення нового керівника області розформувати «Десну»[1]. Потім тренував команду другої ліги «Шахтар» (Кадіївка). У 1973 був запрошений тренувати «Шахтар» (Донецьк). Новий тренер вивів гірників до вищої ліги і в сезоні 1973 р. досяг чудового результату — 6 місце у вищій лізі СРСР.
Після завершення сезону 1973 Валерій Лобановський, зайнявши пост головного тренера «Динамо» (Київ), запросив до Києва колишнього товариша по команді. Офіційно Базилевич був начальником команди, а Лобановський — головним тренером, але усі питання вони вирішували спільно і ділили відповідальність за результат. Саме Олег Базилевич став ініціатором запрошення до клубу науковців з фізичної підготовки. Розробляв програму фізичної підготовки гравців Анатолій Зеленцов — науковець, який співпрацював із Базилевичем ще коли той очолював «Шахтар». Добре спланована робота і хороший підбір гравців швидко дали результат — титули чемпіона СРСР 1974, 1975 та Кубок володарів кубків 1975.
Керівництво радянського футболу призначило дует Лобановський-Базилевич наставниками національної збірної Радянського Союзу, але після вильоту в 1/4 Кубка Європи та лише третього місця на Олімпіаді-1976 їх відсторонили від роботи зі збірною. Почалися конфлікти і у клубі — деякі футболісти нарікали на надмірні фізичні навантаження. Базилевич у кінці 1976 р. залишив «Динамо» (Київ).
У 1977-78 рр. був наставником «Динамо» (Мінськ), в 1979 р. — «Пахтакора» (Ташкент). Того року весь основний склад узбецької команди розбився у авіакатастрофі, але Базилевичу дуже пощастило — його не було на борту, бо у той день наставник відлучився, щоб відвідати дружину і сина, які відпочивали у Сочі.
Після «Пахтакора» тренував ЦСКА (Москва), «Зорю» (Ворошиловград), працював у «Славії» (Софія, Болгарія), олімпійській збірній Болгарії та кувейтських командах.