Desde las últimas casas del pueblo hasta el Santuario de la Mare de Déu del Castell (también conocido como "el Convent"), hay tan sólo unos pocos centenares de metros. El camino que trepa por la empinada ladera está rodeado de cipreses centenarios, y concluye en el templo que se alzó sobre la misma roca, a los pies de los restos del castillo árabe, para rendir homenaje a la virgen, gran protagonista del milagro que la leyenda popular sitúa en el siglo XV.
Cuentan las crónicas que, en el año 1484, un pastor se encontró la imagen de una virgen con signos de haber sido afectada por el fuego. Y así fue, según las crónicas, porque el día anterior se había incendiado en Alicante la iglesia gótica de Santa María, habiendo desaparecido precisamente la imagen posteriormente encontrada en Agres. En el lugar del hallazgo se edificó primero una ermita y, posteriormente, los franciscanos construyeron un convento y convirtieron la pequeña ermita en santuario.
