Por los “Apuntes históricos de la Villa de Puente Genil”, de los historiadores D. Agustín Pérez de Siles y Prado y D. Antonio Aguilar y Cano, sabemos que la Cofradía de la Caridad es antiquísima, no encontrándose memoria de su fundación. En el año 1664 se convirtió en la de la Humildad y Paciencia, haciendo los hermanos mayores y cofrades las reglas por las que se debían regir, especialmente en la procesión del Miércoles Santo; estas reglas fueron aprobadas por el Obispo, pero tiempo ha que desaparecieron.
La antigua Cofradía de la Caridad seguramente tomara su nombre de la ermita que existía en la calle Don Gonzalo, frente a las Casas Consistoriales, que fue demolida a mediados del siglo XX. En el retablo de esta ermita estaba, de antiguo, el Sagrario de la Escuela de Cristo y una imagen del Señor de la Humildad más antigua y de menor valor que la que actualmente veneramos, de gran mérito artístico y de mayores dimensiones, traída de Sevilla por la V.M. Gregoria Francisca de Santa Teresa en 1706 y que llegó a la ermita de la Caridad al disolverse el convento carmelita del Barrio de la Isla, sustituyendo a la más antigua antes mencionada. La bendita imagen de nuestro santo titular permaneció en aquella ermita hasta alrededor de 1890, que fue trasladada al ex convento de la Asunción. 