Родился в творческой семье. Мать Алексея Рыбникова была художником-дизайнером, отец — скрипачом, работавшим в оркестре Александра Цфасмана. Рыбников начал пробовать себя в качестве композитора уже в детстве: в 8 лет написал несколько фортепьянных пьес, в 11 — балет «Кот в сапогах».
С 1956 по 1962 год Рыбников учился в Центральной музыкальной школе при Московской консерватории. В 1962 году поступил в Московскую консерваторию, по классу композиции учился у А. И. Хачатуряна. В 1967 году с отличием окончил консерваторию, а в 1969 году — аспирантуру по классу этого же композитора.

С 1969 по 1975 год Алексей Рыбников преподавал в Московской консерватории на кафедре композиции.
Алексей Рыбников — автор музыки к многочисленным кинофильмам, музыкальным спектаклям.
В 1979 году Алексей Рыбников был признан Всесоюзным хит-парадом самым популярным композитором года и награждён премией за лучшую музыку к кинофильму на Московском международном кинофестивале. В 1989 году общий тираж проданных дисков с музыкой А. Рыбникова превысил 10 миллионов экземпляров.
В 1988 году Алексей Рыбников основал Производственно-творческое объединение «Современная опера» при Союзе композиторов СССР. В 1992 году здесь была представлена публике музыкальная мистерия А. Рыбникова «Литургия оглашенных».
В конце 1994 — начале 1995 года с большим успехом прошли гастроли театра «Современная опера» в США. Вице-президент «Юниверсал Пикчерз» Н. Райс высоко оценил «Литургию оглашенных», заметив, что «эта блестящая музыкальная драма — без сомнения, художественное достижение высочайшего уровня, уникальное в своем мастерском соединении музыки, либретто и театральных эффектов».
В 1999 году Постановлением Правительства Москвы при комитете по культуре Москвы был создан Театр Алексея Рыбникова.
Живёт и работает в Москве.
Семья.
Супруга — Татьяна, окончила МГУ.
Дочь — Анна, кинорежиссёр.
Сын — Дмитрий Рыбников (род. 23 декабря 1976 года), композитор, музыкант.

Концерт из произведений для кинофильмов Алексея Рыбникова.