W Polsce przedrozbiorowej istniały w Krakowie dwa klasztory karmelitów bosych: Niepokalanego Poczęcia NMP na przedmieściu Wesoła (1605-1787) oraz św. Michała i Józefa pod Wawelem (1611-1797).

Decyzję o założeniu obecnego klasztoru pw. Niepokalanego Poczęcia NMP podjęło Definitorium Prowincji Austriackiej w roku 1907. W grudniu 1909 r. rozpoczęto w nim życie zakonne. Od 1911 r. klasztor w Krakowie jest siedzibą Kolegium Teologicznego, a w latach 1927-1994 prowadzona przy nim była działalność wydawnicza. Kościół jest szczególnym ośrodkiem kultu św. Józefa, patrona miasta Krakowa.

Od października 1991 r. przy klasztorze mają miejsce wykłady w ramach Karmelitańskiego Instytutu Duchowości, współpracującego z PAT w Krakowie. W latach 1999-2000 wzniesiono staraniem Kurii Prowincjalnej gmach Karmelitańskiego Instytutu Duchowości.