Dla pierwszych eremitów łacińskich na Górze Karmel duchowym inspiratorem był św. Eliasz. Pierwsi Eremici przeżywali tę inspirację jako proste, własne natchnienie naśladowania jego życia, bycia w miejscu związanym z jego osobą, pragnienie życia jego duchem i stylem życia. Eliasz od wieków był uważany w Kościele jako wzór eremity. Inspiracja duchowa św. Eliasza była głęboko zakorzeniona w sercach pierwszych eremitów. Dlatego, nie dziwi nas, jak bardzo głębokie i silne w średniowieczu było przekonanie w Karmelu, w wielu pismach, o bezpośrednim założeniu zakonu przez św. Eliasza. Przekonanie, które z wieku na wiek się pogłębiało. Takie patrzenie na historię dokonywało się z perspektywy wiary w Opatrzność Bożą. Później spojrzenie to poddano krytyce i uznano, że jest to pewnego rodzaju pobożna i duchowa nadbudowa, nieco mityczna, jaką Karmelici z czasem nałożyli na swe początki. Swoista legenda. Owa nadbudowa miała umocnić i wzmocnić pozycję i rolę zakonu i ukryć prawdę o skromnych początkach, dodać mu więcej ducha i jasny ideał w postaci proroka. W historii widzianej "naukowo" św. Eliasz nie był założycielem Karmelu, Karmel założyli pierwsi eremici łacińscy w XIII wieku, ale w historii widzianej w sensie duchowym, można uznać i przyjąć, że jest on założycielem, bardzo aktywnym. Patrząc na historię z perspektywy wiary w Opatrzność Bożą i świętych obcowanie przez które również Opatrzność działa, można spokojnie przyjąć, że rzeczywiście to święty prorok Eliasz zainspirował pierwszych eremitów do osiedlenia się w miejscu jego życia, wiary i modlitwy. W miejscu jego nawrócenia. Jak również to, że Prorok Eliasz przez wieki opiekuje się zakonem, pobudza jego odnowę i życie. Nie jest w życiu zakonu tylko duchowym odniesieniem z przeszłości, ale Patronem zakonu, Inspiratorem, Opiekunem, Obrońcą, Wodzem i Ojcem, dziś i w przyszłości.
Prawdopodobnie po 1191 roku, w Izraelu, na pasmie górskim Karmelu, w dolinie Wadi'ain es-Siah, w miejscu dawnej ławry bizantyjskiej, osiedlili się eremici łacińscy, wywodzący się z nurtu chrześcijańskich pielgrzymów. Po trzeciej wyprawie krzyżowej, dzięki układowi króla angielskiego Ryszarda Lwie Serce z sułtanem, chrześcijanie otrzymali wolny dostęp do Jerozolimy i innych miejsc świętych. Strome zbocza Karmelu, z jego bujną roślinnością i pięknymi widokami na morze, są doskonałym miejscem do życia, skupienia i modlitwy. Prawdopodobnie przybyli z Kalabrii. Początkowo wspólnota nie miała żadnego uregulowania prawnego w Kościele, po jakimś czasie w imieniu wspólnoty jej przewodnik duchowy zwrócił się do patriarchy Alberta o skodyfikowanie ich sposobu życia i uznania go przez Kościół. W odpowiedzi na prośbę przełożonego wspólnoty, patriarcha Albert kieruje do wspólnoty list, który stanie się ich "formułą życia", a z czasem będzie uznany za Regułę zakonu. List-Reguła w sumie opisywał ich sposób życia. Zatwierdzenie tej formy życia jaką żyli pierwsi karmelici przez patriarchę, dawało im prawo zakładania klasztorów również poza jego diecezją. Jeśli w przyszłości będą się zwracać do papieży o zatwierdzenie ich reguły życia, będą to czynić dla wzmocnienia swej pozycji wobec niechętnego im duchowieństwa w innych częściach Kościoła. Świętym z tego czasu czczonym w zakonie jest św. Albert Jerozolimski
Francuski pielgrzym z 1231 roku pisze: "Na tej górze (Karmel) znajduje się bardzo miłe i urocze miejsce, gdzie jest kościółek pod wezwaniem Najświętszej Dziewicy". Z czasem od tego kościoła eremici z Góry Karmel byli nazwani "braćmi Najświętszej Maryi Panny z góry Karmel". Ponieważ eremici składali śluby w kościele pod wezwaniem Maryi, więc istnieli po to by szerzyć Jej cześć. Kapituła w Montpellier z 1287 r., taki cel nadała istnieniu zakonu: "na Jej (Maryi, Matki Jezusa) służbę i ku Jej czci powstał nasz zakon z góry Karmel". Maryja jest więc w życiu karmelitów Matką, Siostrą, Patronką i Królową. Więź z Nią przeżywana jest szczególnie w postaci duchowości szkaplerznej i doświadczenia Matki Bożej Szkaplerznej, Matki Miłosierdzia. Karmel jest zakonem maryjnym.
Z racji pogorszenia się sytuacji w Ziemi Świętej, według tradycji w 1238 r. część eremitów z Góry Karmel podjęła decyzję o powrocie do swych krajów rodzinnych. W latach następnych miały miejsce kolejne migracje, aż do ostatniej przed upadkiem twierdzy w Akce w 1291 roku. W Europie powstały nowe klasztory: na Cyprze, w Messynie na Sycylii, w Hulne i Ayelsford w Anglii, w Marsylii. Pierwszy okres rozwoju zakonu w Europie nie jest łatwy, gdyż są postrzegani jako obcy. Ich reguła nie była znana, pasiasty płaszcz był przedmiotem drwin, nie posiadali środków utrzymania, Reguła Alberta nie była dostosowana do nowych warunków życia. Karmelici jeśli chcieli istnieć musieli wziąć te fakty pod uwagę i dokonać zmian prawnych i zwyczajowych, które przekształciły zakon w kierunku mendykanckim. Pod koniec wieku XIII zakon liczył 150 klasztorów zorganizowanych w 12 prowincjach: Ziemia Święta, Syria, Cypr, Anglia, Hiszpania, Irlandia-Szkocja, Włochy, Francja, Niemcy. Świętym z tego czasu jest św. Szymon Stock.
W XIV i XV wieku chrześcijaństwo zachodnie dotknął powszechny i głęboki kryzys, który objął również zakony. Zewnętrzną przyczyną kryzysu była "czarna śmierć", która w latach 1348-1350 wyludniając znaczne obszary Europy zaburzyła również życie zakonów, przez spadek liczby zakonników i nowych kandydatów. Kolejnym czynnikiem była wielka schizma zachodnia, która podzieliła Kościół i zakony. Destrukcyjnie na życie zakonne wpływały też liczne przywileje dla osób wykształconych w zakonie. Kolejne złagodzenia praw życia ze strony papieży, mimo częściowej swej słuszności, nie integrowały życia i nie prowadziły do jego odnowy po latach kryzysu. Wewnątrz zakonu karmelitańskiego podejmowano w różnych miejscach oddolne i lokalne inicjatywy odnowy życia zakonnego. Taką próbą był ruch reformistyczny z około roku 1413 w Mantui, który przerodził się w Kongregację mantuańską, istniała ona do roku 1783, po czym została włączona do zakonu. Takie ruchy były zbyt lokalne i zbyt separatystyczne, by przyniosły skuteczną i całościową odnowę. Znacznie szerszy zasięg miała reforma przeprowadzona przez generała zakonu bł. Jana Soretha, a później przez Mikołaja Audeta. Silniejszy grunt pod odnowę przygotował dopiero Sobór Trydencki poprzez swe dekrety. Święci sprzed reformy Teresy: św. Albert z Trapani, św. Piotr Tomasz, św. Andrzej Corsini, św. Baptysta Spagnioli i inni.
Reforma św. Teresy i św. Jana okazała się dlatego tak skuteczna i owocna, gdyż nie zatrzymała się na poziomie lokalnym, ograniczonym, ale z czasem przerodziła się w nowy zakon. Wcześniejsze reformy i próby odnowy, były mimo swego piękna i wagi, jednak nazbyt lokalne i nie oddziaływały szerzej na zakon i Kościół. Teresie się udało i to z bardzo wielu powodów. Czy była potrzeba odnowy życia zakonnego? Aby się przekonać, wystarczy spojrzeć na życie sióstr w klasztorze Wcielenia gdzie Teresa wstąpiła jako młoda dziewczyna. Klasztor przyciągał córki z zamożnych rodów, które szukały w nim bardziej schronienia, niż realizacji powołania. Siostry dysponowały obszernymi apartamentami, w których mogły przyjmować krewne i przyjaciółki. Ich życie niewiele różniło się od życia w świecie, chyba tylko miejscem. Życie zakonnic ze świeckimi rozbijało regularność modlitwy, skupienia, klauzurę. Teresa po swoim nawróceniu i odnalezieniu Boga żywego w modlitwie, początkowo myślała o przeniesieniu się do klasztoru klauzurowego w Walencji. Nie miała planu i idei reformy. Z czasem pojawił się pomysł i pragnienie by w Avila założyć nowy dom, w którym życie będzie podporządkowane życiu modlitwy i przyjaźni z Bogiem, a życie wspólne będzie ową przyjaźń wspierało. Przynaglana przez Pana i przez bliskie osoby, w końcu podejmuje budowę klasztoru (1562), gdzie będzie zachowywana ściślej pierwotna Reguła Karmelu, bez późniejszych złagodzeń. Teresa wprost nawiązuje do pierwszych eremitów z Góry Karmel i tej bogatej tradycji w Kościele i Karmelu. Po pięciu latach, w kwietniu 1567 roku, wspólnotę wizytuje i odwiedza generał zakonu, o. Jan Baptysta Rossi i ucieszony domem, daje Teresie pozwolenie na zakładanie podobnych domów w Kastylii, i dwóch domów karmelitów kontemplacyjnych. Tak rozpoczyna się wielkie dzieło Boga przez Teresę od Jezusa. Z czasem do swego dzieła pozyska św. Jana od Krzyża i pod koniec jej życia, po okresie rozkwitu i kryzysów, dzieło Teresy przyjmie postać odrębnej Prowincji, liczącej 300 zakonników, w 15 klasztorach i 200 sióstr w 17 klasztorach. W 1593 roku, już po śmierci Teresy i Jana, powstanie prawnie nowy zakon.
Nowy zakon bardzo szybko podzielił się na dwie Kongregacje: włoską i hiszpańską. Kongregacja włoska powstała 13 listopada 1600 roku, za patrona miała św. Eliasza. Papież Klemens VIII chciał aby reforma Karmelu przekroczyła granice Hiszpanii i rozszerzyła się na Kościół. Specyfiką tej kongregacji była akceptacja misji jako istotnego składnika charyzmatu terezjańskiego, dlatego od początku myślano o misjach w Persji i innych krajach. Na czele kongregacji stanęli wybitni karmelici hiszpańscy: o. Piotr od Matki Bożej, o. Ferdynand od NMP, o. Jan od Jezusa i Maryi, o. Dominik od Jezusa i Maryi, o. Tomasz od Jezusa. Kongregacja włoska potrafiła uznać swe powołanie kontemplacyjne, a nawet eremickie, wraz z powołaniem misyjnym. W drugim dziesięcioleciu XVII wieku Kongregacja włoska posiadała już swoje klasztory w kilku krajach, więc należało ją podzielić na prowincje. I tak powstały prowincje: genueńska, rzymska, polska, lombardzka, francuska, belgijska z klasztorem w Kolonii, dwa domy w Persji. W 1626 powstały prowincje: neapolitańska, niemiecka, 1632 sycylijska, paryska, 1638 irlandzka, 1641 akwitańska, 1653 piemoncka i burgundzka. W 1701 r. kongregacja liczyła 3855 zakonników, w 19 prowincjach i 181 klasztorach. 28 listopada 1605 r. Karmelici otworzyli klasztor w Polsce, w Krakowie. Następne klasztory to: 1610 Lublin, 1613 Lwów, 1617 Kraków, 1618 Poznań, 1620 Przemyśl, 1622 Wiśnicz Nowy, 1623 Kamieniec Podolski, 1626 Wilno, 1630 Berdyczów, 1633 Czerna, 1639 Warszawa i Głębokie, 1645 Wiśniowiec. W 1617 została erygowana prowincja polska pw. Ducha Świętego. Kongregacja hiszpańska w roku 1594 liczyła około tysiąca zakonników, w 58 klasztorach, podzielonych na sześć prowincji: Kastylii Starej, Kastyliii Nowej, Andaluzji Górnej, Portugalii z Andaluzją Dolną, Aragonii, Meksyku. W 1612 powstała prowincja portugalska. W 1688 powstała prowincja katalońska. Pod koniec wieku kongregacja osiągnęła apogeum rozwoju liczyła 4000 zakonników, w ośmiu prowincjach i około 120 klasztorach. Patronem kongregacji był św. Józef. Kongregacja hiszpańska charakteryzowała się bardziej scentralizowanym sposobem rządzenia, dystansem do działalności apostolskiej i misji, akcentowano modlitwę i obserwę zakonną. Święci z tego czasu to bł. Dionizy i Redempt.
Pierwsza połowa wieku była, mimo niedomagań okresem rozwoju. O ile wcześniej wzrost zakonników stymulował powstawanie nowych klasztorów, o tyle teraz wpływał bardziej na wzmocnienie obsady klasztorów. W kongregacji nie brakowało powołań misyjnych, powstawały nowe klasztory eremickie, podejmowano próby odnowienia życia zakonnego i dostosowania się do nowej mentalności kształtowanej przez nauki przyrodnicze. Inna sytuacja była we Francji gdzie wpływ idei Oświecenia zmieniał stosunek do życia zakonnego i zmniejszał jego prestiż, co skutkowało spadkiem powołań. Działania władz i episkopatu pod wpływem idei Oświecenia też wpływały na spadek liczebności zakonników. Powstały nowe prowincje: 1701 austriacka, 1734 litewska, 1740 bawarska i kolońska, 1761 brabancka i flandryjska. W drugiej połowie wieku Zakon poważnie ucierpiał pod wpływem kasat józefińskich, które dotknęły prowincje w krajach znajdujących się pod panowaniem Habsburgów: austriacka, etruska, prowincje belgijskie, klasztory galijskie w prowincji polskiej. Innym ciosem była Rewolucja Francuska, którą pod wpływem myślenia oświeceniowego w pierwszej fazie część zakonników popierała. Ten czas był czasem męczeństwa, świadectwa, emigracji, deportacji i kasat klasztorów. Dojście Napoleona do władzy początkowo było uspokajające gdyż kończyło czas terroru, jednakże z czasem okazało się, że pod wpływem konfliktu z papieżem w kwestii Państwa Kościelnego, Napoleon wydał dekret o powszechnej likwidacji klasztorów w krajach podbitych. Podobnie postępowały władze pruskie. Działania te osłabiły poważnie kongregację.
Początkowo niewiele wskazywało na to, że kongregacja wejdzie w okres kryzysu, gdyż oznakom zastoju, towarzyszyły oznaki życia i rozwoju. Negatywnie na życie zakonne wpłynęła wojna o sukcesję hiszpańską w latach 1702-1713, podzieliła wiele wspólnot na przeciwników i zwolenników księcia Filipa. Nadmierna liczba zakonników bez żadnych zajęć, z powodu braku pracy duszpasterskiej, sprzyjała rozkładowi życia wspólnego, modlitwy i studium. Znaczna część zakonników usiłowała zerwać z nadmiernym legalizmem i przeorientować kongregację na bliższą św. Teresie. Owe napięcia prowadziły do spadku liczebności, choć było to zjawisko obecne w innych zakonach w całej Hiszpanii. W 1772 roku na kapitule prowincjalnej w Lizbonie, przekształcono prowincję portugalską w kongregację. Konstytucje nowej kongregacji wzorowały się na konstytucjach włoskich. Kongregacja u szczytu swego rozkwitu liczyła 20 domów w Portugalii, jeden w Angoli i trzy w Brazylii. Święci z tego czasu to św. Teresa Małgorzata Redi od Najświętszego Serca, bł. Teresa od św. Augustyna i Towarzyszki (męczennice z Compiegne), bł. Jan Chrzciciel, Michał Alojzy i Jakub.
Silny cios Kongregacji hiszpańskiej zadały walki polityczne na terenie Hiszpanii związane z wkroczeniem Napoleona (1807), które podzieliło społeczeństwo hiszpańskie. W czasie prowadzonych walk zostało zniszczonych wiele kościołów, klasztorów, bibliotek. Liczba zakonników zmniejszyła się o 700 osób. Mimo, że w Hiszpanii nie było rewolucji, jednak wpływ idei Oświecenia był widoczny w życiu zakonnym. Społeczeństwo hiszpańskie podzieliło się na "konserwatystów" i "liberałów", wiek XIX to czas krwawych walk o władzę między tymi dwoma frakcjami. Ostatecznie wojnę domową wygrali liberałowie i w 1834 roku rozpoczęli kasatę zakonów na półwyspie. Był to ostatni cios w kongregację, która była zmuszona swych zakonników poddać czasowej eksklaustracji i przestała istnieć. O jedność rozproszonych zakonników zabiegał o. Maldonado, nie udało mu się to jednak jak w innych zakonach. Kongregacja portugalska podzieliła los Kongregacji hiszpańskiej.
Karmelici bosi hiszpańscy, którzy wstępowali do nowicjatu we Francji, pragnęli odrodzenia się Kongregacji hiszpańskiej, jednakże według prawodawstwa Kongregacji włoskiej. Inicjatywę tą wspierali przełożeni generalni kongregacji i Stolica Apostolska. 14 sierpnia 1868 roku otwarto Kolegium Misyjne w Marquinie w Baskoni, które szybko napełniło się kandydatami. Założenie Kolegium otwarło drzwi do zwrócenia się do Stolicy Apostolskiej o normy prawne dla Kolegium. Papież 12 lutego 1875 roku wydał brewe które znosiło Kongregację hiszpańską i przywracało jedność zakonowi na bazie praw Kongregacji włoskiej. Zakon dzięki temu zaczął się szybko rozwijać w Hiszpanii, w ciągu następnych lat erygowano na nowo dawne prowincje. Karmelici założyli też klasztory na Kubie. Święci tego czasu to św. Teresa od Dzieciątka Jezus, bł. Franciszek Palau y Quer
W roku 1913 zakon liczył 2114 członków w czternastu prowincjach i dziewięciu semiprowincjach. Przeważająca część zakonników należała do pięciu prowincji hiszpańskich i sześciu włoskich. Poza Europą karmelici mieli od dawna kilka klasztorów na Bliskim Wschodzie (Palestyna, Syria, Mezopotamia) oraz misje w Indiach i Malabarze. W ciągu następnych pięćdziesięciu lat liczba zakonników się podwoiła a liczba prowincji wzrosła do 28. Od początku XX wieku dzięki prowincjom hiszpańskim powstały klasztory w kolejnych krajach Ameryki Południowej. Ważnym wydarzeniem pierwszej połowy wieku była nowa redakcja Konstytucji zakonu. 1 września 1926 roku zebrana w Rzymie nadzwyczajna kapituła generalna dokonała ostatecznie redakcji tekstu i 10 stycznia 1928 roku papież Pius XI zatwierdził je. Obie wojny światowe zakłóciły rytm życia zakonu, zwłaszcza tych prowincji, które znalazły się na terenie działań wojennych. Po Soborze Watykańskim II zakon zaangażował się w opracowanie nowego prawa zgodnie z wytycznymi dokumentów Soborowych. Nowy, poprawiony tekst Konstytucji i Przepisów Wykonawczych ogłoszono w 1986 r. Zmieniła się również geografia zakonu, maleje rola Europy na rzecz innych kontynentów: Azji, Afryki i Ameryki Łacińskiej. Święci XX wieku to: św. Elżbieta od Trójcy Świętej, św. Teresa od Jezusa de Los Andes, św. Rafał Kalinowski, św. Miriam Mała Arabka, bł. Maria Pilar, Teresa i Maria Angeles, św. Teresa Benedykta od Krzyża, św. Maria Maravillas od Jezusa i inni.