Интерес к театру у Кейси появился еще в раннем детстве. Отец отвез ее в Нью-Йорк, чтобы показать спектакль «Кошки», и это стало ее первым воспоминанием о театре. Постановка вдохновила Кейси на создание своего маленького театра.
Когда ей было 9 лет, отец смастерил для дочери на заднем дворе дома самодельную театральную сцену, где она играла с соседскими детьми. В подростковом возрасте Кейси начала брать уроки пения и актерского мастерства. Также она принимала участие в школьной театральной программе, сыграв во многих школьных пьесах и мюзиклах, в том числе «Звуки музыки», где ей досталась роль Марии.
Обучаясь драматическому мастерству в Студии Стелы Адлер Нью-Йоркского Университета, Кейси сразу проявила себя как серьезная актриса. Во время учебы она была названа лучшей драматической актрисой в своем классе, но позже по совету своего учителя сменила драму на комедию.
Окончив Нью-Йоркский университет, Кейси со своей подругой по колледжу записалась на курс импровизационной комедии в «Upright Citizens Brigade Theater», где в течение нескольких лет ставили скетч-шоу на сцене. Продолжительные выступления на сцене с собственным шоу открыли их талант написания сценариев. В 2005 году они были приняты на работу в агентство «New Regency Pictures», чтобы написать сценарий к фильму «Война невест» (2009).
Добилась известности Кейси, играя в 2008-2009 годах в пародийном шоу «Субботним вечером в прямом эфире». Актриса также получила одну из главных ролей в комедии «Счастливый конец» канала «ABC».
Дебют Кейси в большом кино состоялся в 2006 году, когда она снялась в фильме Кристофера Гэста «На ваш суд». С тех пор она играла в таких фильмах, как «Джули и Джулия: готовим счастье по рецепту», «Убийцы», «Братья Соломон» и многих других.
В 2014 году актриса исполнила небольшую роль в триллере Дэвида Финчера «Исчезнувшая», а в 2015 году готовится к выходу следующий фильм с ее участием - комедия «Я, он, она».