В 1971 году окончил школу и поступил Чикагский Северо-Западный университет на факультет журналистики, затем уехал в Париж, где изучал английскую литературу. Во время проживания в Париже Джим влюбился во французское кино.
Вернувшись в штаты, Джармуш перевёлся в Колумбийский университет. В 1975 году он получил степень бакалавра по английской литературе. Затем поступил в киношколу при Нью-Йоркском университете. Работал ассистентом режиссёра Николаса Рэя.
На съёмках картины Николаса Рэя и Вима Вендерса «Lightning Over Water» («Молния над водой») Джим Джармуш приобрёл первый режиссёрский опыт, поставив несколько сцен самостоятельно.
В 1980 вышла дебютная работа Джармуш «Permanent Vacation» («Отпуск без конца»), бюджет которой составил 15 тысяч долларов. Первая картина молодого режиссёра оказалась более чем удачной, заработав положительные отзывы критиков, и он продолжил свои эксперименты в области кино.
В 1982 году Джим снял короткометражку «New World» («Новый мир»), которую через два года передал в полнометражный фильм «Stranger Than Paradise» («Более странно, чем в раю»). Полнометражная картина завоевала премию «Золотая камера» на Каннском кинофестивале.
Следующей работой Джима Джармуша стала криминальная драма «Down by Law» («Вне закона»), которая была номинирована на главный приз Каннского кинофестиваля 1986 года – «Золотую пальмовую ветвь».
Через три года вышел «Таинственный поезд», который вновь принёс Джиму номинацию на «Золотую пальмовую ветвь» и «Приз за художественный вклад» того же Каннского кинофестиваля.
В 1986, в 1989 и в 1993 годах Джармуш снял три короткометражки продолжительностью 5, 6 и 11 минут – «Coffee and Cigarettes» («Кофе и сигареты») и «Coffee and Cigarettes 2» и «Coffee and Cigarettes 3». Позднее, в 2003 году, режиссёр развил идею до полнометражного фильма, состоящего из 11 новелл.
Джармуш из тех режиссёров, которые снимают редко, но метко, поэтому в девяностые из под его пера вышли всего 4 полнометражные картины: в 1991 увидел свет фильм «Night on Earth» («Ночь на Земле»), в 1995 – «Dead Man» («Мертвец»), в 1997 – «Year of the Horse» («Год лошади»), а в 1999 «Ghost Dog: The Way of the Samurai» («Пёс-призрак: Путь самурая»).
Двухтысячные стали ещё более скудными на фильмы гениального режиссёра. В 2005 вышла лента «Broken Flowers» («Сломанные цветы»), а в 2008 – «The Limits of Control» («Пределы контроля»).