Situada, en el momento de su construcción, en la zona sur de la ciudad, hoy ha quedado prácticamente en el centro de la misma, debido al crecimiento de la ciudad hacia esa zona. Actualmente la ermita se encuentra rodeada de edificaciones modernas, pero no hace muchos años era una de las plazas más pintorescas de la ciudad, con un aspecto pueblerino, rodeada de casas de una sola planta en su mayoría, incluyendo la plaza una cruz, que aún se conserva, y una fuente con pilón.
La actual ermita fue construida en el siglo XV sobre otra que había sido edificada en el siglo XIII y fue mandada construir por Juan Núñez Dávila (Posiblemente perteneciese a la Orden de los Caballeros de San Juan). Fue declarada monumento nacional el 9 de octubre de 1992.
La iglesia consta en su exterior de dos estilos arquitectónicos muy distintos. El primero del siglo XV corresponde a la fachada principal realizada en ladrillo con una altísima espadaña y bajo ella un óculo; delante de la fachada se encuentra un pórtico de cuatro columnas de granito, de grandes dimensiones. El cuerpo de la iglesia, también de ladrillo, pertenece a otra época. El otro estilo antes aludido, corresponde a la cabecera de la ermita, construida un siglo después (XVI) en estilo herreriano.
Desde el año 1992 se encuentra en una de las capillas laterales de la ermita (conocida actualmente como la capilla del Cristo) una imagen de Cristo crucificado, adquirido por el Patronato de la Santísima Trinidad y Nuestra Señora de las Vacas dos años antes. La imagen desde el momento de su adquisición tomó el nombre de "Cristo de la Ilusión". Participa en la procesión del "Encuentro" en la noche del Lunes Santo, acompañado por los hermanos del Patronato.
El Santísimo Cristo de la Ilusión en su capilla de la Ermita de las Vacas