Родился 24 августа 1975 года в Лондоне. Отец мальчика умер, когда тому было совсем мало лет. Джеймса и его младшую сестру воспитывала мать, которая работала медсестрой. В юности он учился в известном интернате Christ’s Hospital в Сассексе, после окончания которого перебрался в Австралию. Там он нашел работу на драматическом отделении одной из школ города Перт. Так и зародился его интерес к актерскому ремеслу.
В итоге, вернувшись в Англию, Д'Арси отправился учиться в Лондонской академии музыки и драматического искусства, которую благополучно закончил спустя три года. В тот период он исполнил множество ролей на театральной сцене, а вскоре дебютировал в эпизодических ролях в телефильмах и сериалах, среди которых «Безмолвный свидетель», «Дэлзил и Пэскоу», «Ледяной дом» и «Уайльд». Актерская карьера плавно развивалась, и с участием Д'Арси чуть позднее на экраны вышли ленты «В июле 1916: Битва на Сомме», где его партнером по съемочной площадке стал Дэниел Крейг, «Отель Парадизо», «Жизнь и приключения Николаса Никльби», «Страж тьмы», «Шерлок: Дело зла» и «Точки над I». Еще больший успех принесла вышедшая в 2003 году приключенческая картина «Хозяин морей: На краю Земли», главные роли в которой исполнили Рассел Кроу и Пол Беттани. В последующие годы Джеймс сыграл во множестве фильмов, среди которых «Призрак Красной реки», «Мэнсфилд Парк», «Воспоминания неудачника», «Виртуальность» и нескольких сериалах. Очередной взлет в карьере актера наступил в 2011-м году, благодаря его ролям в таких фильмах, как «Эпоха героев», «МЫ. Верим в любовь» и «Дубликаты». А среди его последних работ стоит отметить фильмы «Облачный атлас» и «Хичкок».
