Existió una imagen advocada de la Vera Cruz y una cofradía del mismo título en la iglesia parroquial del castillo en la primera mitad del siglo XVIII. Entre los bienhechores de la imagen, tenemos noticia de la hacendada doña Inés Van Havre, quien en 1713 le donó una corona de espinas de plata. Esta cofradía del castillo parece ser que tenía establecido salir en procesión la tarde del Jueves Santo, como hacían otras hermandades de este título, pero lo efectuó en contadísimas ocasiones.
En el año 1784 se aprobó la constitución de la Hermandad del Santísimo Cristo de la Vera Cruz establecida en la nueva capilla de su nombre situada en el entonces denominado barrio del Monte. Se ignora por el momento la relación y el enlace que pudo haber entre ambas hermandades. La citada capilla fue construida sobre terrenos cedidos en 1775 por D. Juan Antonio de Madariaga, Marqués de Casa Alta, en un lateral de otros terrenos donados en 1772 por el mismo señor para edificar una capilla mayor que iba a titularse del Salvador y que nunca se concluyó. Al igual que ocurriría con la devoción a la Divina Pastora (con la que mantiene evidentes simetrías isleñas), la Vera Cruz acabaría dando su nombre a la zona urbana aledaña a la capillita y definitivamente a todo el barrio del Monte.
La primera etapa histórica de la cofradía de la Vera Cruz fue muy irregular y accidentada, extinguiéndose de hecho en dos ocasiones y restableciéndose otras tantas en los años 1801 y 1805, siempre a iniciativa del religioso mercedario fray Cayetano Quijada, fundador de la Hermandad de Nuestra Señora de las Mercedes en la misma capilla. La restauración de 1805 fue a título de hermandad gremial de los mareantes o navegantes. No tenemos constancia de que saliera en procesión alguna vez. La Hermandad volvió a extinguirse de hecho en la década de 1820, quizás antes, permaneciendo en este estado durante setenta años.
En el año 1891 la cofradía se refundó definitivamente por jefes y oficiales de la Armada, saliendo en procesión en 1893, por primera vez en su historia, y haciéndolo desde entonces con notable regularidad, ocasionalmente en Martes Santo y casi siempre el Miércoles Santo. Adquirió a partir de entonces las señas de identidad que la han caracterizado hasta hoy día como una de las hermandades más serias, ordenadas y ejemplares de San Fernando.
Cuando esta cofradía se restableció a finales del siglo XIX, se envolvió su origen con una piadosa leyenda, similar a la que rodea el comienzo de las hermandades homónimas de Chiclana y Puerto Real, según el gusto romántico de la época. Esta leyenda relata que la imagen del Santo Cristo de la Vera Cruz fue hallada entre los restos de un naufragio en el litoral N.W. de la Isla de León, concretamente en la playa de la Casería o, según otros autores, en la zona del caño de Herrera o de la hacienda de las Fadricas.
El único paso de esta cofradía lo constituyó desde el principio un calvario, a semejanza del que ya sacaba la Hermandad del Cristo de la Expiración, integrado por la antigua y venerable imagen del Crucificado de la Vera Cruz (de autor anónimo), la Virgen de los Dolores (advocada desde 1918 como del Mayor Dolor), el apóstol san Juan (estas dos últimas tallas de bastante mérito artístico, de finales del XVIII o principios del XIX) y las tres Marías (que fueron donadas por D. Luis de Pando Pedrosa, miembro de la junta de gobierno en esos años románticos de la refundación).
Durante la primera mitad del siglo XX contó con eficientes juntas de gobierno presididas por hermanos mayores como D. José Erostarbe, D. José Ruiz Rodríguez, D. Ramón de Pando Pedrosa, D. Segismundo García Mantilla y D. Diego Gómez, que hicieron de la hermandad de la Vera Cruz y de su desfile procesional un modelo imitado por las otras cofradías isleñas. Además de la de Jesús Nazareno, fue la única cofradía de penitencia isleña que salió en procesión durante los años de la Segunda República, concretamente en la Semana Santa de 1935.
La capilla del Santo Cristo fue erigida parroquia en 1944 y en 1946 tomó posesión su primer párroco D. José Mera. Treinta años después fue abierto al culto el nuevo templo parroquial del Santo Cristo, de traza vanguardista y más funcional, situado en las inmediaciones del primitivo templo. No obstante, la Hermandad de la Vera Cruz decidió con acertado criterio permanecer en la vieja capilla donde se había fundado.
La Cofradía ha mantenido prácticamente invariable su itinerario desde finales del siglo XIX, aunque suprimiendo el llegar hasta la Alameda como hacía antaño. Hasta principios de la década de 1950, la procesión entraba íntegramente en la Iglesia Mayor Parroquial, donde efectuaba un prolongado receso antes de continuar su itinerario; esta costumbre la mantiene hoy día, aunque transformada en una breve y devota estación de penitencia ante el Santísimo.