Когда Николаю было 12 лет, он побывал в воронежском драматическом театре, и после этого все его мечты о будущем были связаны с актёрской карьерой. Но его планы разом были перечёркнуты в 1941, когда началась Великая Отечественная война. Отец Рыбникова почти сразу ушёл на фронт, а мать вместе с детьми перебралась к своей сестре в Сталинград. Эта война отняла у Николая обоих родителей.
Учился он в Волгоградской железнодорожной школе, там же начал заниматься самодеятельностью. Получив аттестат, он был принят в Сталинградский драмтеатр рабочим сцены, эта работа позволяла не только зарабатывать, но и смотреть спектакли. Параллельно Рыбников учился в медицинском институте, правда, отучившись 2 курса, он понял, что медицина – это не его стезя.
Решение полностью посвятить себя искусству будущий артист принял только в 1948 году, тогда же он отправился в Москву поступать во Всесоюзный государственный институт кинематографии. Его сразу приняли на первый курс в мастерскую Сергея Герасимова и Тамары Макаровой. Уже в годы обучения Николаю довелось сыграть массу интересных ролей на сцене студенческого театра: Макара Нагульного в постановке «Поднятая целина», Клочкова в «Анюте» по произведению Чехова, а также Петра Первого.
В студенчестве Рыбников очень любил розыгрыши, которые удавались ему с лёгкостью, благодаря уникальной способности пародировать известных советских людей. Эта любовь к шуткам однажды чуть не стоила актёру карьеры. Дело было в 1951 году, Николай зачитал «правительственное постановление» о снижении розничных цен на винно-водочные изделия и продовольствие голосом Юрия Левитана. Те, кому довелось услышать это сообщение, приняли его за чистую монету, и вскоре вся эта история дошла до компетентных органов. Виновников быстро разоблачили, исключили из комсомола, но уголовное дело заводить не стали. Но если бы руководство курса не вступилось за начинающего актёра, отчисления из ВГИКа он вряд ли миновал бы. Позднее этот интересный случай рассказал в своём фильме «Какая чудесная игра» в 1995 году Пётр Тодоровский.
В 1953 году Рыбников получил диплом и был принят в труппу Театра-студии киноактёра. Вскоре после этого последовал и его дебют в кино – в том же году он появился в роли Дроздова в картине «Команда с нашей улицы», которая, правда, успеха у зрителя не имела. Впервые о нём заговорили как о восходящей звезде отечественного кинематографа в 1954, когда на экраны вышла лента Алова и Наумова «Тревожная молодость». В этом фильме артисту досталась не слишком привлекательная роль Котьки Григоренко, с которой он справился просто блестяще.
Настоящая слава и любовь миллионов советских зрителей пришла к Николаю Рыбникову в 1956 году после показа мелодрамы режиссёров Феликса Миронера и Марлена Хуциева «Весна на Заречной улице». В этой картине артист появился в образе главного героя Саши Савченко, а его партнёрами по съёмочной площадке стали Нина Иванова, Геннадий Юхтин, Валентин Брылеев и другие.
В 50-е он появился ещё в двух лентах, ставших в итоге настоящими хитами, – «Высота» Александра Зархи и «Девушка без адреса» Эльдара Рязанова. А в 60-е годы фантастическая слава артиста медленно пошла на убыль, самой яркой за это десятилетие стала роль Ильи Ковригина в комедии Юрия Чулюкина «Девчата» (1961 год).
В 70-е и 80-е годы Рыбников снимался всё реже, последняя роль – трактирщика Никифора – была сыграна им в 1991 году в драме Дмитрия Астрахана «Изыди!».
33 счастливых года актёр прожил в браке со своей супругой – артисткой Аллой Ларионовой. Вместе они воспитывали двух дочерей – Алёну и Арину.
Николая Рыбникова не стало 22 октября 1990 года, причиной стал сердечный приступ. Он похоронен на московском Троекуровском кладбище.
