Был женат на Ольге Александровне Стурдза (ум. 1895), дочери автора политических трактатов Александра Стурдзы. По словам современника, румынская кровь матери ярко сказалась на внешности детей князя Оболенского, кроме младшей дочери Грушеньки, которая олицетворяла северный тип:

Александр (1851—1911)

Иван (1853—1910) — финляндский генерал-губернатор

Елена (1855—1924), замужем за Фёдором Дмитриевичем Чертковым (1845—1899). По отзыву современника, была образцовая семьянинка — прекрасная мать и жена, милая, добрая, приветливая, простая, лишенная всякого аристократического снобизма. Пользовалась общими симпатиями и уважением.

Юрий (1857—1878), погиб в бою под Сан-Стефано

Аграфена (1860—1936), «красивая и интересная» фрейлина, в молодости была героиней трагического романа. За нею долго ухаживал и сделал ей предложение царскосельский гусар Фёдор Павлович Панютин (1858—1886). Она с ним кокетничала, поддерживала его увлечение, а когда дело дошло до предложения, почему-то ему отказала. Вскоре, уехав на Кавказ, она познакомилась там с нижегородским драгуном Лазаревым. Он сделал ей предложение и она согласилась. Они были объявлены женихом и невестою, но передумав, Оболенская бежала с Кавказа и обвенчалась с Панютиным. Через два месяца после их свадьбы, обманутый Лазарев приехал в Петербург, вызвал Панютина на дуэль и с первого выстрела его убил. Во 2-м браке была за капитаном второго ранга Леонтием Михайловичем Дубельтом (1855—1894, сын М. Л. Дубельта). Оставила воспоминания.

Жена (с 1846 года) — княжна Дарья Петровна Трубецкая (1823—1906), фрейлина двора, дочь князя Петра Петровича Трубецкого от брака с Елизаветой Николаевной Бахметевой. Состояла попечительницей петербургского Александро-Невского приюта княгинь Белосельских-Белозерских.

 

По словам современника, княгиня Оболенская была женщиной оригинальной: смесь самых лучших побуждений и христианских поступков с поразительным легкомыслием и светской пустотой. В семье мужа её называли «горькой долей брата Дмитрия», намекая на то, что она не сумела создать семейного очага; гоняясь за светским успехом и богатством, некоторых своих детей она раздала своим близким родственникам, от которых они впоследствии и унаследовали состояния[6]. Жила в Петербурге, сначала на Сергиевской ул., затем на Невском проспекте. Двери её дома были постоянно открыты в любое время не только для родных, но и для всех друзей и просто знакомых. По словам родственника, особенно славились её традиционные воскресные завтраки. У неё можно было встретить и влиятельного министра, и какого-нибудь совершенно скромного деревенского соседа, причем ко всем княгиня проявляла одинаково ласковое отношение. И министры держали себя у нее просто и скромно.

В браке родились:

Александр (1847—1917), член Государственного Совета, женат на Анне Александровне Половцевой (1861—1917);

Варвара (1848—1927), замужем за воронежским губернатором Михаилом Михайловичем Бибиковым (1848-1918). По словам современника, была «звездой самой первой величины в петербургском свете, никто не вальсировал так художественно, как она, и никто с такой изысканной простотой не поддерживал беседу с безразличными людьми»[8]. Умерла в Париже.

Елизавета (1854—1921), фрейлина, супруга егермейстера Николая Ивановича Новосильцева (1849—1916); обладала чудным контральто.

Алексей (1855—1933), член Государственного Совета, женат на светлейшей княжне Елизавете Николаевне Салтыковой (1868—1957), сестре И. Н. Салтыкова;

Николай (1860—1912), флигель-адъютант;

Мария (1864—1946), супруга князя Андрея Григорьевича Гагарина (1855—1920), в 1934 году эмигрировала, жила в Америке, мемуаристка.