Nata nel castello di Maulévrier il 26 giugno, secondogenita del conte Edouard-Victurnien-Charles-René, discendente del celebre ministro delle finanze di Luigi XIV (1619-1683), e della contessa Anne-Marie-Louise Quengo de Crénolle, battezzata con il nome di Juliette-Françoise-Victurnie.
Durante la rivoluzione lasciò la Vandea con la famiglia  e i loro beni vennero confiscati; la nonna paterna e la zia di Giulia vennero ghigliottinate. Rimasta orfana di madre all’età di sette anni, ricevette un’istruzione completa, insolita per una donna dell'epoca. Nel 1802 la famiglia Colbert ottenne la restituzione delle proprietà, adoperandosi alla ricostruzione del castello e dei campi devastati dalla guerra. A 18 anni, la giovane Giulia entrò alla corte di Napoleone come damigella dell’imperatrice.