Aunque la primera referencia conocida de Lafite data de 1234 con un tal Gombaud de Lafite, abad del monasterio de Vertheuil, al norte de Pauillac, la mención de Lafite como feudo medieval data del siglo XIV. El nombre Lafite proviene del término «la hite» de la lengua gascona, que significa «colina». Probablemente ya había viñedos en la propiedad en la época en que la familia Ségur organizó el viñedo en el siglo XVII, y Lafite comenzó a forjarse su reputación como una gran finca vinícola. Se atribuye a Jacques de Ségur la plantación del viñedo de Lafite en la década de 1670 y a principios de la de 1680. En 1695, Alexandre, heredero de Jacques de Ségur, se casó con la heredera del Château Latour, quien dio a luz a Nicolas-Alexandre de Ségur. Así, las historias vinícolas de los feudos de Lafite y Latour se unieron desde el principio.