Aunque la primera referencia conocida a Lafite se remonta a 1234 con un tal Gombaud de Lafite, abad del monasterio de Vertheuil, al norte de Pauillac, la mención de Lafite como feudo medieval data del siglo XIV. El nombre Lafite proviene del término del idioma gascón «la hite», que significa «colina». Probablemente ya había viñedos en la propiedad en la época en que la familia Ségur organizó el viñedo en el siglo XVII, y Lafite comenzó a ganarse su reputación como una gran finca vinícola. Se atribuye a Jacques de Ségur la plantación del viñedo de Lafite en la década de 1670 y a principios de la de 1680. En 1695, Alexandre, heredero de Jacques de Ségur, se casó con la heredera del Château Latour, quien dio a luz a Nicolas-Alexandre de Ségur. Las historias vinícolas de los feudos de Lafite y Latour quedaron así unidas desde el principio.