Родился 24 января 1901 года в Иркутске, куда его отец был сослан за антиправительственные выступления. В возрасте семнадцати лет Михаил в течение года служил в продовольственной комиссии, где реквизировал излишки хлеба у крестьян. Затем он был направлен связистом в Красную Армию. После окончания армейской службы он отправился изучать скульптуру в Высший художественно-технический институт, который закончил в 1925 году.
Последующие годы Ромм вел литературно-театральную деятельность, занимаясь переводами, работой в газете и написаниям сценариев. В тот же период он пришел на киностудию «Совкино», где сначала работал ассистентом режиссера. Первая же картина Михаила, «Пышка», была хорошо принята зрителем и стала основательным заявлением начинающего режиссера. А следующая его работа, «Тринадцать», закрепила за автором статус серьезного мастера.
Спустя всего несколько лет Ромм уже был удостоен Государственной премии за свои картины «Ленин в Октябре» и «Ленин в 1918 году». При этом самому режиссеру доводилось встречаться с Лениным единожды. Это было в тот период, когда Ромм только приехал в столицу и занимался торговлей книгами. В 1940 году Ромм стал художественным руководителем Главного управления по производству фильмов. С началом войны режиссер обратился в своем творчестве к антифашистской тематике, впоследствии некоторые из его фильмов касались и темы западной угрозы. В тот период на экраны вышли такие ленты как, «Мечта», «Человек №217», «Русский вопрос», «Секретная миссия» и «Девять дней одного года». Также в 1948 году Ромм начал руководить актерско-режиссерской мастерской ВГИКа, его учениками были в разное время В. М. Шукшин, Н. С. Михалков и А. А. Тарковский.
Одно время в творчестве режиссера обозначился многолетний перерыв, после которого на экраны вышла драма «Девять дней одного года», но еще больший успех ждал картину «Обыкновенный фашизм», которая стала последней работой мастера. Михаил Ромм скончался 1 ноября 1971 года в возрасте семидесяти лет в период подготовки к съемкам ленты «И все-таки я верю», завершенной в итоге другими режиссерами.
В течение жизни Михаил был женат на актрисе Е.Кузьминой, которая снялась во многих его картинах.