Любовь к театру Михаилу привили его родители, которые часто посещали спектакли и интересовались новыми постановками. С 1909 по 1916 год Яншин учился в Ольховском городском реальном училище. Затем посещал драмкружок, в котором играл преимущественно женские роли. Так он сыграл Агафью Тихоновну в «Женитьбе» и Марию Антоновну в «Ревизоре».
Окончив реальное училище, Яншин поступил в Комиссаровское техническое училище, где проучился три года. В 1919 году стал студентом МГТУ имени Н. Баумана (когда-то Высшего технического училища). Но начавшаяся гражданская война не позволила молодому человеку доучиться, и он ушел добровольцем в Красную Армию. В армии артист принимал участие в художественной самодеятельности.
Демобилизовавшись в 1921 году, Яншин решил посвятить себя сцене. И уже через год он поступил во Вторую студию МХТ. Поначалу артисту доставались роли в массовке: он исполнил дворника в постановке «Младость», арапчонка – в «Узоре из роз», посла – в «Сказке об Иване-дураке и его братьях» и других. В 1924 году Михаила Яншина приняли в труппу МХАТа. На этой сцене артисту снова доставались небольшие роли – он сыграл в эпизодах в таких спектаклях, как «Ревизор», «Битва жизни» и «Горе от ума».
В 1926 году артиста утвердили на роль, ставшую для него звёздной, – Лариосика в постановке «Дни Турбиных».
В кино Яншин начал сниматься ещё в 1928 году. Его первой работой стала картина Юлия Райзмана «Каторга». В 1934 году Яншину досталась роль царя Павла Первого в комедии Александра Файнциммера «Поручик Киже».
Среди наиболее заметных киноработ Михаила Яншина стоит отметить роли в таких фильмах, как «Большая перемена», «Телеграмма», «Как мы искали Тишку» и «Двенадцатая ночь». Также Яншин запомнился зрителям, как актёр озвучения мультипликационных картин, среди которых «Дюймовочка», «Лягушка-путешественница» и «Вовка в Тридевятом царстве».
Михаил Яншин скончался 17 июля 1976 года в Москве.