Жан-Пьер родился 12 апреля 1932 года в Дижоне (Франция) в семье рабочих. В детстве мальчик играл в школьных постановках, преимущественно это были пьесы А. П. Чехова. Распознав талант Марьеля, учителя предложили ему вместо изучения литературы в университете профессионально изучать актерское мастерство в «Высшей национальной консерватории драматического искусства» в Париже. Там же учились будущие знаменитые французские актеры Жан Рошфор и Жан-Поль Бельмандо. Во время учебы Жан-Пьер Марьель играл во Французском Театре, расположенном в центре Парижа, во дворце Пале-Рояль. Затем он играл роли, преимущественно в пьесах Гарольда Пинтера, в компании Grenier-Hussenot. С конца 1950-х годов Марьель начал появляться на большом экране, играя незначительные роли. Его специфический голос позволял актеру играть и пожилых персонажей. Но разочаровавшись в своем первом опыте, Жан-Пьер на некоторое время уходит в кабаре.
Возвращение в кино ознаменовалось выходом картин «Взорвите банк» 1964 года, где Марьель сыграл одну из главных ролей вместе с Луи де Фюнесом; «Банановая кожура», «Драже с перцем», «Компаньон» (1963 год). Последняя роль была очень специфическая, режиссер Филипп де Брока позволил актеру выразить весь его талант.
Затем была главная роль в фильме 1964 года под названием «Уик-энд на берегу океана» с Жан-Полем Бельмандо. Но настоящая популярность пришла к нему в 1970-е годы, когда Жань-Пьер Марьель сыграл роли во многих комедийных фильмах.
В 1973 году в киноленте «Дипломатический багаж» актер получил роль израильского шпиона, который был вынужден спрятаться в чемодан, чтобы выехать из страны на Ближнем Востоке. Съемки в фильмах «Галеты из Понт-Авена», «Пусть начнется праздник» 1975 года и «Безупречная репутация» 1981 года закрепили за Марьелем статус превосходного актера.
Одна из лучших ролей, и возможно самая мрачная – это роль разочарованного и депрессивного полицейского в картине «Месяц апрель смертелен» 1987 года. Еще одна выдающаяся роль в карьере Марьеля - Монсеньер Сент-Коломб в картине «Все утра мира» 1991 года.
Одновременно Жань-Пьер Марьель сделал блестящую театральную карьеру и удостоился самой престижной награды в этой области, премии Мольера.
В 2006 году Марьель появился в картине «Код да Винчи» в роли Жака Соньера. В 2010 году он сыграл хозяина лавки древностей в фильме «Шагреневая кожа».
