Родился в посёлке Карсакпай Казахской ССР в семье Ивана Павловича и Марины Ивановны Янковских. Род Янковских имеет белорусские и польские корни/

Иван Янковский любил театр, искусство, музыку; Марина Янковская в юности мечтала стать балериной. У них была большая библиотека, которую собрал отец и сумела сохранить мать. Когда семья переехала из Джезказгана в Саратов, увлечением сыновей стал театр — старший Ростислав занимался в кружке художественной самодеятельности, средний брат, Николай, — в театральном кружке. Братья обожали спектакли местного ТЮЗа.

Ростислав, окончив театральную студию в Ленинабаде, стал работать в местном театре. В 1957 году он перебрался в Минск, где начал играть на сцене Минского русского драматического театра им. М. Горького. Чтобы избавить мать от части материальных забот (в семье остался один кормилец — средний брат Николай), через год Ростислав забрал к себе 14-летнего Олега, который как раз закончил седьмой класс. В Минске Олег дебютировал на сцене: тогда нужно было заменить заболевшую травести — исполнительницу эпизодической роли мальчика Эдика в спектакле «Барабанщица» А. Д. Салынского. Любил футбол (болел за московский «Спартак»), которым увлёкся, ещё живя в Саратове. Перебравшись в Минск, играл какое-то время вместе с Эдуардом Малофеевым. Но это увлечение отрицательно отразилось на учёбе, и старший брат запретил Олегу играть в футбол.

Мать переживала из-за отъезда сыновей, и, как только появилась возможность, Олег вернулся в Саратов, где окончил школу № 67. После школы собирался поступать в медицинский институт, но случайно увидел объявление о приёме в Саратовское театральное училище. Приёмные экзамены уже закончились, но Янковский решил узнать о правилах приёма на следующий год и зашёл в кабинет директора. Тот только спросил фамилию и сказал, что Янковский зачислен. Как выяснилось спустя несколько месяцев, брат Олега — Николай — втайне от семьи решил поступать и прошёл творческий конкурс. Любящий Олега Николай не стал разлучать его со сценой. Учился Олег не без проблем. Как вспоминал педагог по сценической речи: «Говорил плохо, аппаратом обладал тяжёлым, рот открывал неправильно». Но в роли Тузенбаха в дипломном спектакле «Три сестры» сумел показать себя многообещающим, интересным актёром, и это развеяло сомнения мастера курса.

На втором курсе училища познакомился с Людмилой Зориной, которая училась на курс старше. Вскоре они поженились. Когда после училища Зорину пригласили в Саратовский драматический театр, она настояла, чтобы Янковского тоже взяли туда. После окончания в 1965 году Саратовского театрального училища (педагог — А. С. Быстряков) он был зачислен в труппу Саратовского театра. Людмила быстро стала звездой театра. Ему же сначала доставались лишь эпизодические роли, но позже он успешно сыграл в спектакле по роману «Идиот» роль князя Мышкина.

Дебютировал в кино в 1968 году в фильме Владимира Басова «Щит и меч» в роли Генриха Шварцкопфа. Наибольшую известность актёру принесла работа в фильмах «Служили два товарища», «Тот самый Мюнхгаузен», «Полёты во сне и наяву», «Ностальгия», «Обыкновенное чудо». На театральной сцене его самыми яркими работами являлись роли в спектаклях «Идиот» Ф. М. Достоевского, «Синие кони на красной траве» М. Ф. Шатрова, «Оптимистическая трагедия» Вс. В. Вишневского, «Чайка» А. П. Чехова, «Шут Балакирев» Г. И. Горина.

Заметной его работой середины 1970-х годов стала роль Отца в фильме Андрея Тарковского «Зеркало». Актёр попал в фильм благодаря своему сходству с Арсением Тарковским, отцом режиссёра. Также в фильме сыграл маленький Филипп, сын Олега Янковского (он играл самого Андрея Тарковского в детстве).

В 1982 году сыграл главную роль в фильме Сергея Микаэляна «Влюблён по собственному желанию». Фильм посмотрело почти 25 миллионов зрителей, а Янковский был признан лучшим актёром года по опросу читателей журнала «Советский экран».

В 1991 году сыграл в фильме «Цареубийца» Карена Шахназарова — первом российском фильме о расстреле семьи бывшего российского императора Николая II. В том же году актёр был удостоен национальной премии «Ника» за лучшие мужские роли в «Цареубийце» и фильме Георгия Данелия «Паспорт»

90-е Янковский Сыграл также в картинах у Романа Балаяна в фильме «Первая любовь», у Игоря Масленникова — в фильме «Тьма», в «Ревизоре» (экранизация произведения Н. В. Гоголя), экранизации повести Михаила Булгакова «Роковые яйца». Он снимался у британского режиссёра Энтони Уоллера в фильме «Немой свидетель», во Франции в фильме «Мадо, до востребования» у Александра Адабашьяна и в Греции в фильме «Терра инкогнита».

С 1993 по 2004 год Олег Янковский был президентом Открытого Российского кинофестиваля в Сочи «Кинотавр».

В 2000 году Олег Янковский вместе с Михаилом Аграновичем поставил собственный фильм «Приходи на меня посмотреть» по пьесе Надежды Птушкиной «Пока она умирала…» и сыграл в нём главного героя, Игоря — «нового русского», который по ошибке попал к «старым русским» — старой деве, ухаживающей за умирающей матерью.

В 2002 году снялся в фильме Валерия Тодоровского «Любовник». За работу в фильме он был удостоен приза за лучшую мужскую роль XIII открытого Российского кинофестиваля «Кинотавр» и приза гильдии киноведов и кинокритиков России «Золотой овен».

В 2008 году сыграл митрополита Филиппа в фильме Павла Лунгина «Царь». Эта роль стала последней киноработой актера. Последней работой актёра в театре стала роль моряка Жевакина в спектакле «Женитьба» по Н. В. Гоголю, поставленного Марком Захаровым на сцене «Ленкома».

Олег Янковский скончался на 66-м году жизни, похоронен на Новодевичьем кладбище в Москве.