Vieta, kurioje XVII a. įkurta Žemaičių Kalvarija, seniau buvo vadinta Gardais. XIII–XIV a. čia buvo gynybinis kompleksas, išsidėstęs Varduvos upės dešiniojo kranto kalvose, ties santaka su Gardės upeliu. XV–XVI a. šis kompleksas nebeteko savo reikšmės. XV ar XVI a. Gardų gyvenvietė buvo dovanota Žemaičių vyskupams kaip jų stalo valda. XVI a. pabaigoje – XVII a. pradžioje (iki 1613 m.) Garduose buvo pastatyta koplyčia, o apie 1622 m. ant Šv. Jono kalnu vadintos kalvos jau stovėjo Šv. Jono Krikštytojo bažnyčia.

1638 m. Žemaičių vyskupui Jurgiui Tiškevičiui kilo mintis Žemaitijoje įkurti vietą, skleidžiančią tikintiesiems išganymo malonę, tai yra įsteigti Kalvariją. Ta vieta pasirinkus Gardus, pirmųjų Kryžiaus kelio stočių vietos buvo pažymėtos mediniais kryžiais. 1638–1649 m. Žemaičių Kalvarija įgijo visus piligriminį centrą apibūdinančius požymius: koplyčių vietose pabarstyta žemės, atvežtos iš Šventosios Žemės, šešioms iš 19 koplyčių popiežius Urbonas VIII suteikė atlaidus, iš Liublino dominikonų gauta Šv. Kryžiaus relikvija, iš Romos atgabentas stebuklais garsėjantis paveikslas „Švč. Mergelė Marija su Kūdikiu“. 

1642 m., jau įkūrus ir pradėjus formuoti Kryžiaus kelio kompleksą, Žemaičių Kalvarijoje įkurdinti dominikonai, kuriems vyskupas Jurgis Tiškevičius patikėjo rūpintis naujuoju Kryžiaus kelio kompleksu. Vyskupas dominikonams suteikė išlaikymą, pastatydino vienuolyną ir bažnyčią, leido rinkti aukas visoje Žemaičių vyskupijoje.

Žemaičių Kalvarijos Kryžiaus kelio struktūra suformuota iki XVIII a. pradžios. Ją nulėmė Europos kalvarijų planavimo tradicijos, Kryžiaus kelio kulto ypatumai ir vietos gamtinės bei urbanistinės sąlygos. XVII a. pradžioje Garduose jau buvo susiformavęs kelių tinklas, todėl statant Kryžiaus kelio koplyčias ir vienuolyną į tai buvo atsižvelgta, tačiau tolesnę miestelio plėtrą tiesiogiai lėmė įsikūręs piligrimų traukos centras. Žemaičių Kalvarijos dominante tapo ir iki šiol yra Švč. Mergelės Marijos Apsilankymo mažoji bazilika ir Kryžiaus kelio koplyčios. 2003 m. bazilikos titulą gavusi dominikonų architekto Augustino Kosakausko projektuota ir 1781–1819 m. pastatyta bažnyčia – pirmoji mūrinė Žemaičių Kalvarijos šventovė, pakeitusi anksčiau pastatytą medinę. 

1889 m. caro valdžia dominikonų vienuolyną uždarė. Vienuoliai buvo iškelti į ↑ Agluoną. Be bažnyčios, iš dominikonų laikų išliko mūrinis vienuolynas, dalis medinių ūkinių trobesių, visos 19 Kryžiaus kelio koplyčių. 

Bažnyčioje dominikonų laikus mena didįjį altorių puošiantis XVII a. tapytas stebuklingasis Švč. Mergelės Marijos su Kūdikiu paveikslas, 2006 m. vainikuotas popiežiaus karūnomis Krikščioniškų šeimų Karalienės titulu, taip pat kiti XVII–XIX a. altoriaus paveikslai. Išraiškinga drožyba išsiskyrė didžiojo altoriaus antrą aukštą puošianti XVII a. Nukryžiuotojo skulptūra bei tapyti Sopulingosios Dievo Motinos ir šv. evangelisto Jono atvaizdai. Bažnyčioje saugoma meniška monstranciją primenanti Šv. Kryžiaus relikvinė su garsiąja Šv. Kryžiaus medžio dalelės relikvija, XVII a. viduryje gauta iš Liublino dominikonų konvento. Didelį Žemaičių vyskupų dėmesį šiam piligrimų centrui liudija bažnyčios piliorius puošiantys jų portretai. XVII a. tapyti kūriniai neišliko, tačiau saugomas XVIII a. tapytas vyskupo Jono Dominyko Lopacinskio atvaizdas ir visa galerija apie 1875 m. dailininko J. Širmos sukurtų portretų.

Žemaičių Kalvarijoje kasmet liepos pirmoje pusėje švenčiami didieji Švč. Mergelės Marijos Apsilankymo atlaidai.

Dalia Klajumienė, Žemaičių Kalvarija, Vadovas po Lietuvos Didžiąją Kunigaikštystę, sudarytojos Aistė Paliušytė, Irena Vaišvilaitė, Vilnius: Lietuvos kultūros tyrimų institutas, 2012, p. 200–202.