Гарри начал играть в джаз-клубах еще с восьми лет. К десяти годам записал первый инструментальный альбом «Dixieland Plus». В 1979 году выпустил вторую пластинку «Eleven», которая добралась до 14 строчки джазового чарту «Billboard».
В 1987 году Гарри Конник перебрался в Нью-Йорк. В том же году свет увидел третья инструментальная пластинка «Harry Connick Jr.», получившая в Америке золотой статус. В 1988 году на прилавках музыкальных магазинов появилась первая вокальная студийная работа музыканта «20». В США пластинка завоевала платиновый статус и заняла 6 место в американском джазовом чарте. В 1989 году Гарри Конник принял участие в написании саундтрека к картине «When Harry Met Sally» («Когда Гарри встретил Салли»). За альбом 1990 года «We Are in Love» (первое место джазового чарта) Гарри Конник получил престижную музыкальную премию «Грэмми».
Позднее дискография исполнителя пополнилась такими альбомами, как «Blue Light, Red Light», «25», «When My Heart Finds Christmas», «She», «Star Turtle», «To See You», «Come by Me», «30», «Songs I Heard», «Harry for the Holidays», «Only You», «Oh, My NOLA», «What a Night! A Christmas Album», «Your Songs» и «In Concert On Broadway». 8 пластинок Конника из 17 выпущенных получили платиновый статус – их продажи превышали 1 000 000 проданных копий.
Кинокарьера Гарри Конника стартовала в 1990 году с роли в фильме «Memphis Belle» («Красавица Мемфиса»). Среди наиболее ярких его работ в кино 90-х стоит отметить следующие: «Copycat» («Имитатор»), «Independence Day» («День независимости») и «Hope Floats» («Проблески надежды»).
В 2003 году Гарри Конник сыграл Вилмера в триллере Джона МакТирнана «Basic» («База “Клейтон”»). А позднее Гарри отметился ролями в таких лентах, как «Mickey» («Микки»), «Bug» («Глюки»), «P.S. I Love You» («P.S. Я люблю тебя»), «Happy Elf» («Счастливый Эльф») и «New in Town» («Замерзшая из Майами»).