La Chapelle est la plus ancienne chapelle du village. On sait que la charte des franchises y est signée par Aymard II de Poitiers en 1188.

En 1495 elle est appelée " Sainte-Marie, notre dame de la consolation au sommet du grand escalier " ; escaliers aux 124 marches dont 95 taillées dans le roc.
En 1571, elle est donnée par le Roi Charles IX aux Cordeliers (ordre religieux franciscain ainsi dénommés en raison de la corde qu’ils portent à la taille) dont le couvent, situé sur la rive gauche de la Drôme, avait été détruit en 1552 par les troupes Huguenotes du Baron des Adrets.
Les Cordeliers y firent de nombreuses modifications : rehaussement de la voûte en changeant son orientation, construction d‘une tribune, de fortifications, d'un chemin de ronde avec créneaux, de caves souterraines, de puits et citernes. Ils y restèrent jusqu’à la Révolution (1789-1799) époque à laquelle ils en furent chassés.

Devenue bien de la nation, la municipalité d’alors achète tous les bâtiments et prête la partie de l'ancienne chapelle, encore en état, aux Francs-Maçons.

En 1805, les religieuses Trinitaires achètent les bâtiments et y fondent une école pour filles pauvres. En 1864 après un legs, cette école devient orphelinat. Elles y restèrent jusqu’en 1972.

La ville achète en 1976, la chapelle et la salle supérieure dans le but de conserver et défendre le patrimoine architectural de la ville. Depuis, elle l'entretien avec ses fonds propres.

L‘association a obtenu qu‘elle soit inscrite à l’inventaire des monuments historiques en 1986.