Марк родился 22 ноября 1967 года в Кеноши штат Висконсин (США). Когда его семья переехала в Лос-Анджелес, Руффало отдали в консерваторию Стеллы Адлер. Он также был одним из основателей театра Orpheus Theatre Company, для которого писал сценарии, был режиссером и исполнял роли. Но, несмотря на это, на хлеб актер зарабатывал тем, что был барменом, и так продолжалось девять лет.
В 1996 году Марк Руффало получил незначительную роль в фильме «Дантист», затем появился в криминальной комедии «Медвежатники» (1998 год) и в картине «Погоня с Дьяволом» (1999 год).
Познакомившись с писателем Кеннетом Лонерганом, Руффало сыграл в нескольких его постановках, в том числе в пьесе «Это наша молодость» («This Is Our Youth»). В 2000 году Марк снялся в одной из главных ролей фильма Лонергана, номинировавшемся на премию Оскар, под названием «Можешь рассчитывать на меня». Сам Марк получил положительные отзывы критиков о своей работе в картине, его также начали сравнивать с Марлоном Брандо. Кроме того, актер получил премию Ассоциации кинокритиков Лос-Анджелеса и выиграл на Монреальском кинофестивале мирового кино. Затем были роли в фильмах «Последний замок» (2001 год), «Говорящие с ветром» (2001 год), «Логика измены» (2002 год).
Вместе с Томом Крузом Марк Руффало снялся в фильме «Соучастник» 2004 года. Он также сыграл главные роли в романтических комедиях «Вид сверху лучше» (2003 год), «Из 13 в 30» (2004 год), «Между небом и землей» (2005 год), «Ходят слухи» (2006 год). В 2004 году Руффало сыграл в оскароносной драме Мишеля Гондри под названием «Вечное сияние чистого разума».
В 2007 году на экраны вышел триллер «Зодиак», где Марк перевоплотился в инспектора ДэвидаТоши. В этом же году состоялась премьера триллера «Заповедная дорога». В 2010 году Марк Руффало появился в комедийной драме «Детки в порядке».
23 июля 2010 года стало известно, что Марк вместе с Крисом Эвансом, Робертом Дауни младшим, Крисом Хемсвортом и другими актерами примет участие в съемках фильма «Мстители», премьера которого назначена на 4 мая 2012 года.