Олег Табаков родился в Саратове в семье врачей — Павла Кондратьевича Табакова и Марии Андреевны Березовской.

Раннее детство провёл с родителями и бабушками. Во время Великой Отечественной войны отец ушёл на фронт, возглавив военно-санитарный поезд № 87, мать работала в военном госпитале на станции Эльтон Рязано-Уральской железной дороги. После войны родители расстались. 

Учился в мужской средней школе № 18 Саратова. Решающее влияние на выбор профессии оказали занятия в 1950—1953 годах в театральном кружке «Молодая гвардия» Саратовского Дворца пионеров и школьников, под руководством педагога театрального мастерства Натальей Сухостав, ставшей «крёстной матерью» для 160 актёров.

Табаков поддерживал связь со своей малой родиной всю свою жизнь. В 2003 году был удостоен звания Почётного гражданина города Саратова. С 2004 по 2016 год являлся президентом международного фестиваля документальной мелодрамы «Саратовские страдания». В августе 2015 года в Саратове открыт прижизненный памятник актёру. Композиция изображает двух персонажей — юношу Олега Савина из фильма «Шумный день» (одна из самых первых его киноролей) и мультяшного кота Матроскина, которого он озвучивал.

В 1953 году Табаков окончил школу, поступил в Школу-студию МХАТ в Москве, на курс Василия Топоркова. Был одним из лучших студентов. Обучаясь там на третьем курсе, сыграл свою первую роль в кино в фильме «Тугой узел» режиссёра Михаила Швейцера.

В 1957 году под крышей Школы-студии МХАТ Олег Ефремов создал Студию молодых актёров, которая впоследствии преобразовалась в театр «Современник». Ефремов оказал большое влияние на окончательное профессиональное становление актёра.

«Современник» стал самостоятельной единицей, а Олег Табаков — самым молодым из шести основателей нового театра. Роль студента Миши в спектакле «Вечно живые» стала его первой работой в театре.

С 1957 по 1983 год был ведущим артистом «Современника». Его роли в спектаклях «Голый король», «Третье желание», «Всегда в продаже», «Обыкновенная история» снискали невероятный успех.

В 1964 году в возрасте 29 лет из-за большой нагрузки перенёс инфаркт.

Много работал на радио.

С 1965 по 1991 год был членом КПСС.

В 1968 году по приглашению театра «Чиногерны клуб» сыграл в Праге свою самую любимую роль — это был Хлестаков в спектакле «Ревизор». Оглушительный успех 33-летнего артиста за рубежом окончательно утвердил его «звёздный» статус среди театральных мастеров международного класса.

В 1970 году после того, как Ефремова назначили художественным руководителем МХАТа, Табаков принял решение стать директором театра и способствовал утверждению Галины Волчек на должность главного режиссёра театра «Современник». Занимал должность на протяжении шести лет.

С 1973 года Олег Табаков занимался преподавательской деятельностью.

В 1977 году при содействии начальника Бауманского РСУ Юлия Гольцмана Олегу Табакову был передан под здание театра бывший угольный склад на улице Чаплыгина, 1а. Собственными руками мастер и его курс очистили и отремонтировали заброшенное помещение, со временем превратившееся в известный «подвал» «Табакерка».

В 2000 году Табаков возглавил Московский Художественный театр им. А. П. Чехова.

С 2000 года совмещал художественное руководство двумя театрами и работу в качестве актёра, руководство кафедрой мастерства актёра в Школе-студии МХТ, обучение студентов и режиссуру за границей, продюсирование, съёмки в кино- и телефильмах.

Табаков был одним из наиболее востребованных и известных артистов советского и российского кинематографа. За всю свою актёрскую карьеру он снялся более чем в 120 картинах. Наибольшую известность принесли роли в фильмах «Шумный день» (Олег Савин), «Война и мир» (Николай Ростов), «Семнадцать мгновений весны» (Вальтер Шелленберг), «Двенадцать стульев» (Альхен), «Д’Артаньян и три мушкетёра» (король Людовик XIII), «Несколько дней из жизни И. И. Обломова» (Илья Ильич Обломов), «Мэри Поппинс, до свидания» (мисс Юфимия Эндрю), «Человек с бульвара Капуцинов» (владелец салуна и бармен Гарри Мак-Кью), «Сирота казанская» (кок Павел). Кроме того, популярность принесла и озвучка мультфильмов, наиболее известный из которых был «Трое из Простоквашино» (кот Матроскин).

Олег Табаков скончался на 83-м году жизни. Артиста похоронили на Новодевичьем кладбище Москвы.