Le roi Stanislas Leszcyynski, beau-père de Louis XV, introduisit en Lorraine et en Alsace le fameux kouglof, gâteau fait de beurre, de farine, d'œufs, de sucre, de lait, avec des raisins secs gonflés de kirsch et des amandes. Comme il le trouvait un peu trop sec, il eut l'idée de l'arroser de rhum et de le surmonter de crème Chantilly.
Amateur des Contes des mille et une nuits, il le nomma « Ali Baba », puis « baba », qui signifie « bonne femme » en polonais....
Plus tard, vers 1850, d'autres pâtissiers s'inspirèrent du baba, le garnirent au centre de crème pâtissière ou de Chantilly, de fruits confits, etc., et le baptisèrent « brillat-savarin » en hommage au célèbre gastronome.