Cuenta la leyenda que un pastor creyó ver en una cueva una de sus ovejas que se había extraviado, le tiró una piedra para que se reuniera con las demás y cuando se fijó bien descubrió que no era el animal perdido sino que se trataba de la imagen de una virgen, esta virgen es la que se guarda en la ermita Virgen del Castillo y muestra un moratón en la mejilla como consecuencia de la piedra que le tiró el pastor.