Джеймс родился 18 сентября 1961 года в Вествуде, в США. «Я вырос в Нью-Джерси. Когда я был ребенком, меня окружали простые люди. Улицы были заполнены играющими детьми. У нас был океан, и у нас были горы. Я бы хотел, чтобы мой сын рос так же. Нас у отца было трое. Отец часто повторял: «Мы крестьяне». Он хотел — как бы ни повернулась моя жизнь, — чтобы я помнил о том, что я простой человек из простой семьи», - признается актер. С детства будущую кинозвезду отличала от сверстников поразительная красота. Однажды в школе Джеймс даже выиграл конкурс как самый красивый мальчик в учебном заведении.
После выпуска Гандольфини поступил в университет Ратгерса, а затем дебютировал как театральный актер, получив место в Нью-Йоркском театре. Впервые в кино Джеймс появился только в 31 год, во второстепенной роли, зато сразу — в выдающейся криминальной драме Сидни Люмета «Чужой среди нас» (1992), которая была номинирована на «Золотую пальмовую ветвь в Каннах». Через год в 1993-ем вышли сразу четыре заметных фильма с участием актера - криминальная комедия Рамона Менендеза «Бесплатные деньги», мелодрама Тони Скотта «Настоящая любовь», комедийная драма Энтони Мингеллы «Мистер Прекрасный», драма Роберто Монтичелло Italian Movie. Постепенно Джеймс начал играть ведущие роли, все также выбирая достойные ленты для участия («Энджи» (1994), «Скорость падения» (1994), «Новый свет» (1995) и других). В 1997-ом Гандольфини снялся в телефильме «12 разгневанных мужчин», о присяжных, решающих судьбу юного подсудимого. Джеймс сыграл присяжного под номером 6.
Несмотря на обилие ролей в успешных фильмах, мировая слава к актеру пришла лишь в 38 лет, когда в 1999-ом на американском телевидении стартовал сериал о жизни мафиози «Клан Сопрано». «Когда я впервые прочитал сценарий «Клана Сопрано», я повернулся к своей тогдашней девушке и сказал ей: «Бля, я бы сыграл этого чувака так, что мне сам Господь Бог аплодировал бы стоя, но они никогда не допустят меня к съемкам. Они наймут гребаного красавчика — породистого мальчика-колокольчика с ирландскими корнями и бриллиантовой пипкой». Я почему-то был уверен, что роль получит один из тех чувачков, которыми завален телевизор. Но они взяли меня», - до сих пор удивляется Джеймс. Главная роль Крестного отца принесла ему профессиональное признание — актер из года в год номинировался на «Золотой глобус» и «Эмми». «Тони Сопрано — это человек, который устал от власти женщин. В моей жизни все примерно так же. Женщины сейчас очень сильны. Они все как леди Макбет. В «Клане Сопрано» я играю безумца из Нью-Джерси. Каким, собственно, и являюсь», - сравнивается себя с героем Джеймс. В 2007 году сериал закончился, оставив 46-летнего актера с мировой популярностью, тремя статуэтками «Эмми» и одним «Золотым глобусом». «Мне было не жаль расставаться с Сопрано. Я так много времени провел в его шкуре, что расстаться с ним было настоящим избавлением», - признается Джеймс.
Актер продолжил успешную кинокарьеру, снявшись в таких популярных фильмах, как «Человек, которого не было» братьев Коэнов, «Вся королевская рать» Стивена Зеллиана, «Последний замок» Рода Лури, «Ограбление казино» Эндрю Доминика. Джеймс был дважды женат, у него есть сын.