La historia de esta Iglesia y de la devoción a su patrona se remonta a finales del siglo XIX. Una de las figuras populares de la aristocracia española visitó el que era un pequeño núcleo de casas donde las mujeres en su mayoría cuidaban a los niños y esperaban la llegada de los marineros que se adentraban en la mar.

María del Pilar de León y Gregorio, conocida como Marquesa de Squilache, fue una aristócrata española nacida en 1843 y fallecida en 1915. Era una mujer culta y comprometida con la educación y los derechos de las mujeres en España que también se destacó por su labor social y caritativa. Realizaba numerosas fiestas benéficas para la recaudación de fondos y era muy bien vista por la clase alta de la época.

En su visita en 1897, prometió a los torreños y torreñas la construcción de una capilla que les permitiese rezar y venerar a la Virgen del Carmen, patrona de los marineros. Fue el 16 de julio el día que se inauguró este espacio religioso que requirió de reformas por la corrosión de los materiales debido a la humedad y los temporales debido a que estaba situada frente al mar.