Джозеф родился в Вене 22 марта 1896 года, его отец, Рудольф Шилдкраут, был актером. В начале 1900 годов он переехал в Соединенные Штаты, там появился во многих бродвейских постановках.
В 1921 году актер сыграл заглавную роль в спектакле «Лилиом» («Liliom») по произведению Ференца Молнара. В это же время Джозеф начал сниматься в немом кино, периодически возвращаясь к игре в театре.
Первый успех к Джозефу Шилдкрауту пришел с ролью Шевалье де Водри в драматическом фильме «Сиротки бури» («Orphans of the Storm») режиссера Д. У. Гриффита 1921 года, где он играл вместе с актрисой Лилиан Гиш. В 1925 году актер получил главную роль в фильме «Дорога во вчерашний день» («The Road to Yesterday») режиссера Сесила Б. Де Милля. С ним же Шилдкраут работал над эпическим фильмом «Царь царей» («The King Of Kings») в роли Иуды Искариота. В этом фильме появился и отец Джозефа.
В 1929 году актер впервые снялся в частично звуковом кино, это была картина «Плавучий театр» («Show Boat»), снятая по одноименному роману Эдны Фербер.
За роль Альфреда Дрейфуса в фильме «Жизнь Эмиля Золя» 1937 года Шилдкраут получил премию Американской киноакадемии в номинации «Лучший актер второго плана».
Еще большую славу Джозеф Шилдкраут приобрел после исполнения роли Герцога Орлеанского в исторической эпопее «Мария-Антуанетта» 1938 года, в которой также снимались Норма Ширер, Тайрон Пауэр, Джон Бэрримор и Роберт Морли. Актер хорошо известен как персонаж Отто Франк из фильма «Дневник Анны Франк» («The Diary of Anne Frank») 1959 года, фильм основан на одноименной пьесе, которая получила Пулитцеровскую премию.
Шилдкраут появлялся на телевидении, в 1953 году он участвовал в проекте «Зал Славы Hallmark», где сыграл Клаудиуса в телевизионной постановке «Гамлета» с Маурисом Эвансом в главной роли. Джозефа также можно увидеть в двух эпизодах сериала «Сумеречная зона» («The Twilight Zone»), «Deaths-Head Revisited» и «The Trade-Ins».
В 1962 году актер появился в телевизионной драме «Сэм Бенедикт» и получил за свою работу премию «Эмми» в номинации «Лучший актер».
Джозеф Шилдкраут скончался 21 января 1964 года в Нью-Йорке в возрасте 67 лет.
