Con ciertos altibajos, la cofradía debió mantener su preeminencia e importancia a lo largo de todo el siglo XVIII, si bien este periodo es uno de los menos estudiados en la historia de la misma. A lo largo de la centuria, la cofradía acometió diversas reformas en su capilla de San Andrés, lo que muestra su fortaleza económica y organizativa. Fortaleza que debió comenzar a decaer con el fin del siglo y que debió acentuarse en los primeros años del siglo XIX, en que se ve obligada a vender algunos bienes de los que era propietaria.

El siglo XIX marcaría un bache, una caída, en la historia de la cofradía de Jesús. La Guerra de la Independencia Española dejó malparados a los conventos ubetenses, entre ellos y de manera muy especial al de San Andrés. Los dominicos de San Andrés eran capellanes de la ciudad, y en tal estado debió quedar su convento tras la marcha de los franceses, que se vieron obligados a pedir prestado un cáliz al Ayuntamiento para poder realizar la Santa Misa. Esta penuria, sin duda, debió afectar a la propia Cofradía de Jesús.

En cualquier caso, lo peor llegaría a partir de enero de 1836, cuando, como consecuencia de la Desamortización de Mendizábal, cierra sus puertas el convento de San Andrés. Se desoye la petición de la cofradía de mantener abierta –a su costa– la iglesia conventual y las imágenes son trasladadas a la iglesia del monasterio de la Madre de Dios, de monjas dominicas, situado en el actual Ayuntamiento. Ahí permanecería la cofradía hasta la exclaustración de 1868, pasando entonces a Santa María de los Reales Alcázares, en cuya sacristía, el 25 de marzo de 1881, se produciría una vital junta general de hermanos, que permitió a la cofradía superar el decaimiento producido por el cambio de sedes y por la pérdida de gran parte de sus bienes. Los problemas que había acarreado a la cofradía el cierre de los conventos en los que residió están patentes en el acta de esta Junta, en la que se reconoce que los Estatutos fundacionales – posiblemente junto con muchos otros enseres y documentos – se habían extraviado a consecuencia de las mudanzas.