És un dels llocs més emblemàtics i visitats d’Agres. La història d’aquest convent comença en el 31 d’agost de 1484 a la ciutat d’Alacant. Aquest dia es va produir un incendi a l’Església de Santa María on, a causa del mateix, tot el retaule de l’Altar Major es va cremar. En ell es trobava la imatge de la Verge que va desaparèixer per una de les finestres de l’Església per darrere del castell de Santa Bàrbara, succés que testimonien els mariners del port. En la matinada de l’1 de setembre, aqueixa mateixa imatge es va aparèixer damunt d’un Lledoner en les ruïnes del Castell d’Agres a un pastor que pasturava el ramat per aqueix lloc.
Compte la tradició que aqueix pastor, anomenat Gaspar Tomás, li faltava un braç i la Verge com a gràcia i testimoniatge de la seua presència li ho va retornar. Gojós va baixar al poble i va comunicar la bona nova. Va ser al principi de la gran devoció que se li té a la Verge del Castell. A partir d’aquesta aparició, es va construir una xicoteta ermita en aquest lloc, però va anar en 1578 quan el Pare Franciscà Jerònim Vidal fonga el Convent de Pares Franciscans.
Des de llavors, la presència franciscana en aquest santuari ha sigut molt important doncs a ells se’ls deu la construcció del convent que existeix en el nostre dies.