В своих воспоминаниях она утверждала, что её предками по матери были испанские графы Парис-и-Монтес, хотя по другой версии её мать родилась в результате случайной связи обычной трактирщицы и проезжего дворянина. А вот по отцу Лола точно была ирландской дворянкой. Английский офицер Джон Джилберт соблазнил пятнадцатилетнюю девушку, её будущую мать, и увез с собой в полк. В феврале 1821 года у молодой четы родилась дочь, получившая при крещении имя Элизабет Розанна. Вскоре Джона отправили служить в Индию. В далекую страну с ним отправилась и жена с маленькой дочерью. Экзотическая Индия встретила приехавших буйством природы, удушающей жарой и болезнями. Уже через месяц Джилберт подхватил холеру и упокоился на английском военном кладбище.

Молодая вдова не могла долго горевать: надо было выбираться из Индии или обживаться на месте. Она выбрала последнее, благо на нее обратил внимание бравый вояка, бывший командир её мужа Джеймс Крейги. Вскоре они сыграли скромную свадьбу, а Элизу вместе с возвращающейся на родину семьей одного из офицеров на попутном корабле отправили к родственникам Джеймса в Шотландию. Нелегкие годы жизни в чужой для неё семье, а затем в пансионе для девочек Элиза вспоминать не любила, видимо, обычных детских радостей у неё в тот период было маловато. Когда девочка подросла, она пошла по стопам матери: побег из пансиона с лейтенантом Томасом Джеймсом в Ирландию, венчание, а через год -долгий путь в Индию. Молодая красавица, чем-то похожая на индуску, блистала в светском обществе Калькутты. Её деятельной натуре было мало общества британских колониальных чиновников, офицеров и их жен, и она начала обучаться индийским танцам. Врожденная музыкальность и артистизм позволили ей быстро добиться заметных успехов. Необычное увлечение мисс Джеймс только добавило ей поклонников, одним из которых стал лорд Леннокс. Индийский климат «утомил» Элизу и она отправилась в Англию навестить родных.