La tradición nos cuenta como en tiempo de la ocupación musulmana ya se veneraba una imagen, la cual y para que los "no creyentes" no la profanaran, fue ocultada en un lugar cercano a la ermita llamado "las calles oscuras". Allí no sabemos con exactitud cuanto tiempo estuvo escondida, se sabe por un pastor que guardaba su rebaño en el lugar anteriormente mencionado, que producto de una tormenta un rayo cayó sobre las rocas donde estaba escondida la imagen, desplomándolas y que al mismo tiempo apareció Nuestra Madre.

Cuentan que el pastor quedó impresionado y corrió a Cazorla a explicar el evento, pero cuando subieron unos cuantos vecinos del lugar vieron con sorpresa como algunas personas de La Iruela se la llevaban. Lógicamente hubo una disputa entre ellos, en el cual los de La Iruela consiguieron llevársela e intentaron hacerle una ermita, lo que no lograron, ya que cada vez que llegaban a una altura siempre se les caía la ermita, tanto es así que la tercera vez que esto ocurrió mató al maestro de obras.

Fue entonces cuando los cazorleños levantaron la ermita donde está ubicada en la actualidad y empezaron a venerar la imagen como patrona bajo el título de "Nuestra Señora de la Cabeza".

Desde entonces, el último sábado de abril los pastores le ofrecían y le ofrecen sus mejores borregos, tanto es así que la Hermandad disponía de su propia tiná y llegó a tener en propiedad tres mansos y unos cien o ciento cincuenta borregos, los cuales sacaban y sacan en procesión exhibiéndolos al pueblo el domingo antes del día grande.

Según los entendidos, y aunque de esto no existe nada escrito, la ermita data del siglo XIII. Lo más cercano en el tiempo que se conoce es una donación que algún devoto hizo a la Virgen en el año 1.540. Dicha donación se trató de una piedra labrada en la que ponía: "Virgen tus maravillas se realizaron en mí" y de la cual hemos recuperado media piedra, aunque sí tenemos copia de la inscripción entera.

Años más tarde la ermita albergó a centenares de enfermos producto de una epidemia. Se cuenta que en la ermita hubo varios enterramientos, de hecho hoy se conserva una lápida con la siguiente inscripción: "Aquí yacen los restos mortales de M. Magdalena Lainez Navarro, hija de D. José y Dña. Dolores, falleció el 2 de junio de 1.851, a los 21 años 11 meses y 18 días de edad D.E.P.".

En la mitad del siglo XVII D. Sancho Fernández Angulo, fundador de la ciudad de Nueva Barcelona en América, fue tan fervoroso devoto de nuestra patrona, que el pueblo le inmortalizó en una letrilla que aún corre de boca en boca y dice así:

"Virgen de la Cabeza
ponte la toca
que D. Sancho de Angulo
te traerá otra."

Desde el comienzo del párrafo hasta el final del entrecomillado, el texto hace referencia a unas palabras copiadas de los estatutos de la Hermandad y que escribió D. Rufino Almansa Tallante, párroco de la villa de La Iruela.

Si en 1.810 se libró nuestra imagen de un incendio que provocaron los franceses, en 1.936 no corrió la misma suerte ya que la ermita fue profanada. Anteriormente, la imagen la había escondido una familia cristiana en el cortijo de D. Pedro Polaino, después de envolverla en un mantón de aceituna y echarle paja por encima creyeron que estaba a salvo, pero no fue así porque los cortijeros delataron a quien escondió la imagen y lo encerraron en la prisión que pusieron provisionalmente en el antiguo hotel de Chemari. Más tarde y por distintas razones no fusilaron a este hombre y lo pusieron en libertad, la imagen por su parte fue quemada justo donde en la actualidad se pone el carrillo de los helados, en la Corredera.

Después de la guerra, estando el sacristán Ceferino y a petición de uno de los antiguos cofrades, se mandó hacer una imagen nueva. La realizó D. Francisco Gomara y tuvo un coste de siete a ocho mis pesetas. Quede como anécdota lo que aconteció cuando se trajo la imagen. Se trajo de tez morena (quizás pensando en la de Andújar, que por cierto nunca nuestra imagen tuvo nada que ver con la "Reina de Sierra Morena"), fue entonces cuando se ordenó inmediatamente al autor el cambio de color de la cara de Nuestra Imagen.

Cuentan los mayores del lugar, que a petición del párroco de La Iruela, por aquel entonces D. Jesús Martínez Bautista, se celebró una fiesta en honor a la patrona de Cazorla en esta localidad, con otra imagen y que las luminarias se hicieron con aliagas.

Tres años más tarde de aquello y quizás siendo la primera petición que se realizaba a los vecinos, se recogió del pueblo 46,95 pesetas, hubo un total de ingresos de 800,70 pesetas y tuvieron de gastos 445,70 pesetas, con lo cual les quedaron 355 pesetas. Esto ocurrió el 19 de marzo de 1.941.

En la actualidad la romería de la Virgen de la Cabeza se celebra el último domingo de abril, una romería que se celebra en la ermita y cuenta con la participación de los vecinos de la zona y numerosos visitantes que acuden de otras muchas zonas de España.