Esta hermandad mariana fue fundada en 1782 en el oratorio público de la casa principal que poseía en la villa la familia Olea Echezarreta, hacendados gaditanos de origen vasco, a raíz de las predicaciones efectuadas en la Isla de León en la cuaresma del año anterior por el ardoroso capuchino (hoy beato) fray Diego José de Cádiz. No obstante, una tradición no documentada describe la entrega en torno al año 1736 de una imagen de la Divina Pastora a un grupo de vecinos isleños por parte del también capuchino fray Isidoro de Sevilla (creador en 1703 y entusiasta propulsor de esta tierna advocación mariana) que por entonces residía en el convento de su orden en Cádiz.
La Hermandad, gobernada por marinos de guerra en sus inicios, cobró vigorosísimo auge en pocos años. Hasta tal punto que concibió la magna empresa de construir una iglesia para la imagen, según los planos de la nueva parroquia del Arsenal de La Carraca y en terrenos del barrio de Olea donados por la familia Malpica. Las obras se iniciaron en 1789 y en ella trabajó personal de la maestranza de dicho Arsenal (carpinteros, herreros, tallistas y seguramente escultores). La capilla de la Divina Pastora fue abierta al culto en 1793. La Hermandad no detuvo ahí su primigenio entusiasmo sino que, para que armonizara con la envergadura de la nueva capilla, mandó tallar una nueva imagen de la Divina Pastora (la actual, en estilo neoclásico o académico) que sustituyó a la primitiva del oratorio de Olea.
Paulatinamente, el barrio, que hasta entonces había sido denominado como «del Castillo» o con el apellido del citado hacendado vasco, comenzó a ser conocido como «el de la Pastora». Según parece, la hermandad primitiva se limitaba a rendir cultos internos (primero el 8 de septiembre, posteriormente el 15 de agosto), sin salida procesional, y a las obligaciones piadosas con los hermanos difuntos. Debía cumplir también con las obligaciones de varias mandas pías de misas fundadas por familias devotas.
Durante el siglo XIX la Hermandad de la Divina Pastora sufrió dificultades que sofocaron el entusiasmo inicial y casi la abocaron a la extinción. Sufrió una seria crisis económica, las desamortizaciones decimonónicas amenazaron la capilla propiedad de la corporación y en 1873 estuvo a punto de ser demolida por el gobierno municipal cantonalista bajo la excusa de su estado ruinoso. El templo fue remozado, consagrado y reabierto en 1878 gracias a la iniciativa del celoso capellán D. Ramón Olivera, pero la corporación había desaparecido de hecho en el entretanto. No obstante, la imagen titular, sin hermandad, continuó recibiendo cultos y hasta comenzó a salir en procesión integrada en el cortejo del Corpus Christi.
Se renovó con nuevos bríos en el año 1900 a iniciativa del capellán D. Felipe Carrasco, siendo desde entonces muy regular y constante en sus cultos durante el primer tercio del siglo XX: función al Buen Pastor en el segundo domingo de Pascua, novena a la Virgen en agosto y salidas procesionales en el Corpus Christi y en agosto. En 1910 la imagen estrenó un manto bordado en oro para la salida procesional que todavía conserva. El rey Alfonso XIII concedió el título de Real a la Hermandad en 1923.
Tras la República y la guerra parecieron abrirse buenas perspectivas de futuro para la corporación, máxime cuando la imagen titular acabó siendo aureolada con la consideración de Copatrona de la ciudad de hecho (aún no de derecho) y Patrona del Deporte Local. En la década de los años 1950 tuvo un último y efímero destello bajo el gobierno de juntas presididas por Rafael Matute y Francisco Escudier, plasmado en nuevas adquisiciones para el cortejo procesional y en las señaladas donaciones de enseres de las que fue objeto la venerada imagen. Pero, a pesar de varios intentos loables de capellanes, párrocos y devotos por reanimarla, finalmente la corporación languideció. El trasvase de dirigentes y hermanos a las nuevas cofradías de penitencia surgidas en la parroquia fue determinante en esta situación de decadencia.
En los años 1970 conoció una modesta revitalización gracias a un grupo de jóvenes (Juven-Pas), que derivaría, ya a partir de la década de los 80, en un insospechado, sostenido y ascendente esplendor que vivificó esta antigua advocación isleña hasta hacer de ella en la actualidad una de las corporaciones más sobresalientes de la ciudad.
En esta próspera y fulgurante etapa, la Hermandad ha visto engrosar su número de hermanos y devotos, ha emprendido la restauración de la imagen (1990, por Alfonso Berraquero), ha logrado un nuevo paso (1985, el antiguo de la Hermandad de la Virgen del Carmen) soberbiamente enriquecido, ha creado una cuadrilla de hermanos costaleros, ha emprendido la adquisición de nuevos enseres procesionales para engrandecer su cortejo anual del 15 de agosto, ha potenciado los cultos internos a la Divina Pastora y ha mejorado y hermoseado su iglesia, levantada dos siglos atrás por otros isleños fervorosos de la devoción pastoreña.
La sagrada imagen de la Divina Pastora fue coronada canónicamente en 2004. Ese mismo año el Ayuntamiento de San Fernando la reconoció oficial y formalmente como Copatrona de la ciudad. La Hermandad ha estrechado lazos igualmente con el Arsenal de La Carraca, donde trabajaron sus fundadores y primeros devotos.