Любимой фавориткой императора Александра I на долгие годы стала Мария Антоновна Нарышкина. Их отношения вылились в подобие второй семьи. В течении 15 лет он жил с ней, и по слухам имел нескольких детей, не доживших до зрелого возраста. Мария Антоновна была равнодушна к государственным делам делам.