Джозеф родился в Лос-Анджелесе 17 февраля 1981 года в семье ведущего радионовостей. Своего знаменитого дедушку, кинорежиссера Майкла Гордона, Джозеф не знал. Как и большинство детей, которым посчастливилось родиться в колыбели американского кинематографа, Джозеф начал пробовать себя в кино с малых лет. 6-летний мальчик выходил из дома, перебегал дорогу и оказывался в кастинговой конторе. Создатели многочисленных телесериалов нуждались в смышленых малышах ежедневно, а первоклашка Джозеф обожал сниматься. Его первыми телесериалами были «Семейные узы», «Она написала убийство», «Закон Лос-Анджелеса», «Ни шагу назад» и др.
В 11 лет Джозеф дебютировал в кино - в картине Роберта Редфорда «Там, где течет река». В 1996-м году 15-летний Гордон-Левитт начал сниматься в юмористическом сериале об инопланетянах «Третья планета от Солнца», который стал очень популярным в Америке. Роль пришельца Томми Соломона резко вытолкнула Джозефа вперед из толпы других подрастающих актеров. За шесть лет съемок в этом проекте он получил две премии от издания The Hollywood Reporter и премию Гильдии киноактёров США. Попутно играл и в других картинах, а в 1999-м снялся вместе с Хитом Леджером в успешной комедии «10 причин моей ненависти».
К 17 годам Джозефа уже узнавали на улицах. Но слава никогда не была для него самоцелью. Поэтому, когда съемки «Третьей планеты…» закончились, он предпочел сделать перерыв в карьере. 20-летний актер намеренно перебрался подальше от дома, чтобы ничто не мешало ему самоопределиться, и поступил в Колумбийский университет на французское отделение, так как у него «был сдвиг на француженках». Однако быстро осознав, что хочет остаться актером, Джозеф бросил учебу и вернулся на съемочные площадки. Теперь он охотно соглашался сотрудничать не только с крупными студиями, но и с независимыми режиссерами, «которые, возможно, делают что-то поразительное на своем компьютере или в домашней студии». В рамках поддержки независимого кино Джозеф появляется в роли гомосексуалиста в ленте «Последние дни» (2003), а также в культовом фильме Грегга Араки «Загадочная кожа» (2004). Последняя гей-драма, обильно начиненная сексуальными сценами, выходит в свет со скандалом. «Вжиться в образ солдата, убивающего людей, куда сложнее, чем поцеловаться с мужиком», - говорит Джозеф, который не раз играл военного (например, в картине «Война по принуждению»).
Актер много снимается в разноплановых ролях: студент в «Кирпичах», наемный убийца в «Киллере», мизантроп-одиночка в «Хешере». А роль влюбленного романтика в комедии «500 дней лета» в 2009 году приносит ему первую номинацию на «Золотой глобус». С этого же года 28-летний актер начинает снимать собственные фильмы, в основном, короткометражные. Джозеф признается, что уважает тех, кто создает кино «не ради денег, а с подлинной любовью». Чтобы помогать молодых кинематографистам, он вместе со старшим братом Дэном даже создает сайт Hitrecord.org.
Широкая мировая популярность приходит к Джозефу в 2010 году после съемок в мистическом триллере Кристофера Нолана «Начало», который становится хитом проката. Успех омрачает трагедия: 5 октября 2010 года внезапно умирает брат Дэн.
В 2011-м за блистательную игру в трагикомедии о раковом больном «Жизнь прекрасна» Джозефа второй раз номинируют на «Золотой глобус», как лучшего актера. В 2012 году он появляется в еще одном масштабном фильме Нолана - третьей экранизации о Бэтмене «Темный Рыцарь: Возрождение легенды».