Он родился в Париже в 8-м округе ремесленников 13 февраля 1847 года. Родители его были бедны, и не могли дать талантливому юноше образования, типичного для художников. Тогда Виктору пришлось для обучения наняться учеником-подмастерьем к художнику-декоратору. Недостаток классичесского образования, возможно, вынудил его присматриватся к окружающей жизни, и оттуда черпать вдохновение. Так он стал живописцем Les Halles, района в Париже, который был центром уличных продавцов, и к слову, существует поныне. Все эти рынки - занятная и шумная часть Парижа.
Многие из этих сцен были написаны для показа на Салоне в 1880 году, и принесли ему первую золотую медаль. Живопись Виктора последовательно перешла под влиянием времени от реализма к импрессионизму. Жильбер умер 21 июля 1935 года, и похоронен в кладбище Montmartre в Париже.