Konwent założony w 1892 r. przez św. Rafała Kalinowskiego, pomyślany jako dom zakonny z alumnatem. W 1952 r. władze państwowe zabrały część budynku, przeznaczając go na szpital rejonowy. W roku 1981 Niższe Seminarium uzyskało prawa państwowe. Prywatne Liceum Ogólnokształcące restytuowano przy nim w 1991 r. W roku 1997 zamknięto Niższe Seminarium. Budynek funkcjonował jako Liceum Ogólnokształcące Karmelitów Bosych z internatem aż do roku 2004.

Po generalnym remoncie na miejscu Liceum powstało Karmelitańskie Centrum Rekolekcyjno-Pielgrzymkowe „Na Górce” im. Jana Pawła Wielkiego. Kościół pw. św. Józefa – od marca 2004 r. noszący rangę sanktuarium – jest także ośrodkiem kultu Matki Bożej Szkaplerznej, św. Rafała Kalinowskiego i bł. Alfonsa Marii Mazurka.