Варламов родился в небогатой семье. Его музыкальная одаренность проявилась рано: он самоучкой научился играть на скрипке — подбирал по слуху народные песни.

Красивый, звонкий голос мальчика определил его дальнейшую судьбу: в 9 лет он был принят в петербургскую Придворную певческую капеллу малолетним певчим.

В этом прославленном хоровом коллективе Варламов занимался под руководством директора капеллы выдающегося русского композитора Д. Бортнянского. Вскоре Варламов стал солистом хора, выучился игре на фортепиано, виолончели, гитаре.

Петербургскую Придворную певческую капеллу, в которой начал своё обучение девятилетний Александр Варламов, можно назвать предтечей российского профессионального музыкального образования.

Современники вспоминали, что Ференц Лист, будучи в Москве пылко восторгался певческим мастерством Варламова. В итоге Александр Григорьевич пригласил великого композитора погостить в своём доме, где затем несколько дней ублажал Листа своим вокальным искусством.