Este convento de Carmelitas Descalzos data del siglo XVII. Fue construido en el lugar que ocupaban las ruinas de la casa natal de Santa Teresa de Jesús, con las aportaciones de otros conventos de la Orden, del obispo de Ávila D. Francisco Márquez y con el patronazgo, al poco tiempo de iniciarse las obras, de D. Gaspar de Guzmán (Conde Duque de Olivares) valido de Felipe IV.
La obra fue inaugurada el día 15 de octubre de 1636, festividad de Santa Teresa de Jesús. Durante dos periodos los padres carmelitas se vieron en la necesidad de abandonar el convento (1809-1814 y 1836-1876) debido a la exclaustración religiosa, cediendo el Gobierno el edificio al pueblo de Ávila, siendo utilizado como instituto. El 4 de enero de 1886 es declarado monumento nacional.
La fachada principal de la iglesia, construida en piedra de granito, es de estilo barroco. Consta de cuatro plantas superpuestas, encontrándonos en la primera con tres arcos, con sus correspondientes rejas de hierro, y el del centro de mayor tamaño que los laterales. Destacan en la fachada una escultura de Santa Teresa (en hornacina) y los escudos del Cuerpo de Intendencia Militar, el del Doctorado de Santa Teresa, el de la familia Cepeda y Ahumada, el del Carmen Descalzo y sn la parte alta el blasón del Conde Duque de Olivares.
Durante muchos años, el convento de Santa Teresa, fue sede de la Cofradía de la Guardia de Honor del Sagrado Corazón de Jesús, que entre los años 1950 a 1970 acompañó en las procesiones de la Semana Santa abulense a la imagen de Cristo amarrado a la Columna, obra del escultor Gregorio Fernández, que se encuentra en una de las capillas laterales de la iglesia. La imagen no participa actualmente en las procesiones de Semana Santa.
Desde el año 2000 tiene su sede en este convento la Cofradía del Santísimo Cristo de los Afligidos y Santa María Consuelo de los Afligidos, creada en honor al Cristo del mismo nombre y al que se le da culto en la nave izquierda de la iglesia de este convento carmelita. Solamente se encuentra al culto la imagen del Santísimo Cristo de los Afligidos.
Esta cofradía organiza la procesión del "Vía Matrix", en la noche del Viernes de Dolores.