Las casas nobiliarias madrileñas del siglo XVIII construían palacetes en las afueras de la ciudad, especialmente en la zona de la Moncloa. Uno de los más importantes era el de la Duquesa de Alba, rival de la reina María Luisa de Parma. Ante la fastuosidad de las fiestas que organizaba la de Alba, la reina sintió celos y decidió construirse un palacio con el que empequeñeciera a su eterna rival. Eligió unos terrenos cercanos a la cuesta de los Areneros, camino de salida desde Madrid hacia El Pardo. Se levantó el palacio de La Florida, del que en la actualidad no queda ningún resto. Sólo encontramos la iglesia de San Antonio, levantada por el arquitecto italiano Felipe Fontana entre 1790 y 1795. Se trata de una construcción neoclásica de gran sencillez, formada por una planta de cruz griega con un altar al fondo -al que se accede por un corto tramo de escaleras- y dos estancias laterales adosadas que servían de portería y sacristía. La iglesia está construida en granito y ladrillo, eliminando elementos decorativos superfluos, coronada con una cúpula sobre pechinas con linterna. En 1798 Jovellanos eligió a su amigo Goya para la decoración del interior.
La ermita se dedicó al culto hasta el siglo XX, momento en el que se decidió construir una réplica para evitar la desaparición definitiva de los frescos debido al humo de las velas y la humedad del entorno, cercano al río Manzanares. Pedro de Moya fue el arquitecto que realizó el nuevo edificio dedicado al culto, siendo la iglesia original destinada a museo y panteón de Goya ya que el pintor está enterrado allí desde 1920.
La ermita sería consagrada a San Antonio de Padua, pasando a denominarse San Antonio de la Florida, considerándose uno de los lugares de romería más importantes desde el siglo XIX, especialmente por parte de las modistillas. Como Pintor de Cámara que era, Goya fue el encargado de decorar el interior del templo. Entre agosto y diciembre de 1798 acudirá a diario para trabajar en las pinturas al fresco de la cúpula, el altar, la zona superior de paredes laterales y las pechinas. Recibió la colaboración de su ayudante Asensio Juliá. El 20 de diciembre concluyó los trabajos, inaugurándose la capilla palatina el 12 de julio de 1799.
El tema elegido para la cúpula central que preside el templo es un milagro de San Antonio. Estando el santo en Padua, recibió la noticia de que su padre había sido acusado de asesinato en Lisboa. Convencido de su inocencia, pidió permiso para ayudar a su padre y un ángel le trasladó milagrosamente a la capital portuguesa. Intentó inútilmente convencer a los jueces de su error, por lo que solicitó al gobernador que el fallecido fuese desenterrado para ser interrogado. La noticia corrió como la pólvora por la ciudad, concentrándose en el cementerio un buen número de paisanos para contemplar el evento. San Antonio, en nombre de Jesucristo, pidió al asesinado que declarase en voz alta y clara si su padre había participado en su muerte, incorporándose el cadáver y proclamando la inocencia del acusado. Este es el momento que Goya ha elegido, situando el milagro en Madrid, al que asisten majas, chisperos, embozados y chulapas. San Antonio es la figura vestida con hábito pardo situado sobre una roca y el resucitado aparece siendo sujetado por uno de los enterradores. Tras él se contempla a un hombre y a una mujer que se interpretan como los padres del santo, de origen lisboeta