El convent del Carme acollia els religiosos de l'orde de la Mare de Déu de la Muntanya del Carmel o Carmelites Calçats, i era al davant de l'Hospital de la Santa Creu. Començà a aixecar-se al segle XIII i tenia l'entrada al carrer del Carme. A la part nord es va construir el claustre (segle XIV) i més endavant es va fer un segon claustre al nord del primer. Als segles XVI i XVII es va reedificar el primer, adoptant l'aspecte que veiem al dibuix de Delamare. Va ser destruït quasi completament el 1835, arran de les bullangues, per un incendi. Aleshores la comunitat es va dispersar. Després es va reconstruir i reformar, i així esdevingué Universitat Literària, fins que el 1873 l'ensenyament es traslladà al nou edifici de la Universitat, a la plaça del mateix nom.