Sembla que en l'itinerari tradicional dels segles XVI i XVII era la primera ermita que es trobava en pujar per l'Escala Dreta. Sembla que també se li donava el nom de Castell, per un castell que hi havia hagut al mateix lloc, a dalt del penya-segat del monestir de Santa Maria. Com la majoria de les ermites, tenia dues capelles, una per a l'ermità i una altra per als peregrins. La primera notícia de l'oratori és de 1612. Inicialment, sembla que estava dedicat a sant Bartomeu. Els francesos el van destruir el 1812 i l'any 1816 fou restaurat; el 1821 s'abandonà el seu ús com a ermita estable.