Михаил Иванович родился 15 октября 1899 года в Москве. Отец мальчика был подкидышем. В 1872 году его нашли на пороге Николаевского приюта. Младенец лежал завернутым в кружевной конверт, а записка при нем гласила: «Назовите мальчика Иваном». Фамилию «Жарков» он получил позднее от своей воспитательницы. Повзрослев, Иван оставил приют и, устроившись на работу, выбрал спутницу жизни – Анну Семеновну Дроздову, вышедшую из семьи крепостных крестьян. Вскоре у супругов родился сын Михаил, ставший вторым ребенком в семье. Впоследствии у него появилось еще четыре сестры, но две из них умерли в младенчестве.
Детство мальчика оказалось не долгим. В связи с тяжелым материальным положением Миша поспешил овладеть профессией отца и устроился в типографию наборщиком текста. Несмотря на прозаичность своего быта, семья Жаровых интересовалась искусством. Особенный интерес юный Михаил испытывал к театру. В возрасте шестнадцати лет он устроился на работу в театр «Опера С. И. Зимина». В обязанности подростка входило выполнение мелких поручений руководителя. Порой ему доверяли роль статиста на сцене. Тогда же, в 1915 году, Михаилу выпал шанс сняться в кино. В театр заглянул представитель съемочной группы, собирающий массовку для экранизации оперы Римского-Корсакова «Псковитянка». Образ Ивана Грозного должен был воплотить Федор Шаляпин, а Михаилу досталась маленькая роль опричника. Окрыленный первым опытом, Жаров уже через год предпринял попытку поступить в театр-кабаре «Летучая мышь», однако получил отказ. Затем он попробовал стать учеником в Малом театре, но не прошел прослушивание. Неудача постигла его и при поступлении в студию МХАТ.
В 1917 году в стране произошла смена власти. Жарова пригласили в труппу передвижного театра Красной Армии. В ее составе начинающий актер попал на Восточный фронт, где разыгрывал представления для солдат. Спустя два года Михаил вернулся в столицу, привезя с собой первую жену Дину. Через пару лет в молодой семье родился сын Евгений, который впоследствии пошел по стопам отца. Жаров поступил в Театральную студию им. Ф. Комиссаржевского, затем присоединился к труппе театра им. Сафонова, а вскоре перешел на сцену Театра Мейерхольда. Впоследствии актер многократно менял место работы. В 1938 году его выбор пал на Малый театр, на сцене которого он играл до конца жизни. В 1928-м Михаил женился во второй раз на актрисе Людмиле Полянской.
Первые заметные роли в кино пришли к Жарову в середине двадцатых годов. Достаточно широкую популярность ему принесла драма Николая Экка «Путевка в жизнь». Следующее десятилетие оказалось наиболее значимым в карьере Михаила Ивановича. Он получал одно приглашение за другим. В 1943 году Жаров встретил свою третью супругу, юную актрису Любовь Целиковскую. В это время в кинотеатрах прогремели его новые работы, наиболее важной из которых стала историческая лента «Иван Грозный». В 1946 году Михаил дебютировал в качестве режиссера с комедией «Беспокойное хозяйство», где главную роль исполнила его жена. Картина пользовалась огромным успехом у советских зрителей.
После внезапного разрыва с Целиковской артист завязал роман с дочерью известного врача Майей Гельштейн. Семья его новой избранницы попала в политическую опалу, что отразилось на карьере Жарова. Он потерял место в труппе Малого театра и перестал получать приглашения на съемки. Тяжелый этап завершился лишь со смертью Сталина. Последний громкий успех настиг Жарова после выхода комедий «Анискин и Фантомас» и «И снова Анискин». Михаил Иванович умер в 1981 году в возрасте восьмидесяти двух лет, исполнив шестьдесят пять ролей в кино. Артист похоронен на Новодевичьем кладбище в Москве.
