XVI a. Josvainių dvare buvo koplyčia. Vyskupas Motiejus Valančius "Žemaičių Vyskupystėje" mini, kadRomos katalikų bažnyčia Josvainiuose buvusi įkurta vyskupo Merkelio Giedraičio rūpesčiu. Šis vyskupas, norėdamas atsilaikyti prieš Kėdainių reformatus, nusiuntęs į Josvainių kaimą kunigą, kuris melsdavosi dvaro koplyčioje. Seniūnas Judickis, matydamas, kad kunigas neturi iš ko pragyventi, užrašė 36 valakus karališkos žemės ir dešimtinę valsčiaus pajamų. Karalius Zigmantas III šiuos užrašus patvirtinęs.

1590 m. kun. Kobylinskis pastatė pirmąją medinę bažnyčią Josvainiuose, kuri 1604 m. buvusi konsekruota. Manoma, kad 1655 m. ji buvo sunaikinta, nes 1665 m. konsekruota.

1818 m. bažnyčiai pakeisti sienojai. 1855 m. pristatytos dvi šoninės koplyčios, 1858 m. pastatyta mūrinė koplyčia. 1841 m. bažnyčia atnaujinta Varnių prelato Juozapo Kryžanausko rūpesčiu.

1898 m. klebonaujant kun. Kušleikai medinė bažnyčia nugriaunama ir išliejami pamatai naujai bažnyčiai. Pagal architekto F.Vyganovskio projektą pradėta statyti naujoji Josvainių bažnyčia. Statybomis rūpinosi kun. Jonas Novickis. Ji pastatyta sumaningu skoniu, bažnyčiai tinkamas patogumas ir palyginti per labai trumpą laikotarpį. Nežiūrint to, kad buvo statoma iš mažų aukų, 1903 m. Marijos Vardo šventėje šv. Mišios jau buvo aukojamos naujoje bažnyčioje.

Per keletą sekančių metų bažnyčia tapo pilnai papuošta ir visais reikalingais religiniais daiktais aprūpinta. Altorius 1905 m. padarė A.Zaborskas, bažnyčią 1907 m. dekoravo Petras Vaitkevičius. 1910-1914 m. veikė Lietuvių katalikų blaivybės draugijos skyrius, kuris 1913 m. Josvainiuose surengė pirmą viešą lietuvišką vaidinimą.
1915 m. liepos mėn. pasaulinio karo metu rusai vokiečių vejami nesuspėjo iš aukšto bokšto varpų išimti, kad juos išsivežtų. Tačiau spėjo susprogdinti. Vienas varpas suskilo, antrasis iššoko iš savo vietos, sugadino bokšto mūro skliautus, tačiau pats truputį pažeistas liko sveikas ir tinkamas tolimesniam naudojimui sudaužyto varpo skeveldros paslėptos nuo okupantų vokiečių grindyse to paties bokšto, kur jos ir tebestovi. Bokšto stogas apdrisko, langų stiklai išbyrėjo. Bokšto ir bažnyčios stogai pataisyti klebonaujant kun. Gudavičiui. 1920 m. to paties klebono ir vietinių bei Amerikoje (Čikagos) apsigyvenusių parapijiečių lėšomis stiklai languose įdėti. Pataisymas kainavo apie 20000 auksinių. 1924 m. išgrįstos presbiterijos grindys betoninėmis plytelėmis. Bokštų aukštis siekia 40 m. Bažnyčios ilgis 48 m., plotis 22 m. aukščiausioje dalyje nuo aslos iki skliautų yra apie 20 m. aukščio. Vidurinėje navoje yra 33 suolai. Gale yra suolas bažnyčios geradariams. Tabernakulis didžiajame altoriuje padarytas iš juodojo ąžuolo. Visi altoriai padaryti Zaborskio dirbtuvėse Šiauliuose. 1906 m. visi altoriai atvežti bei pastatyti bažnyčioje. Bažnyčią konsekravo vyskupas Pranas Karevičius 1920 m. birželio mėn. 7 d. įdedant šv. Kosto ir Adaukto kankinių relikvijas. Bažnyčiai suteiktas Visų Šventųjų titulas.

1920 m. Josvainių parapijai priklausė 6182 tikintieji. Josvainių parapijai priklausė Panevėžiuko bažnyčia, kuri parapijos teisių dar neturėjo. 1935 m. įrengti vargonai bažnyčioje. Darbus atliko A.Montvilas. Kainavo 4000 Lt. Darbai atlikti lietuvių amerikiečių ir Josvainių parapijiečių aukomis. 1940 m. kun. P.Kasčiuko rūpesčiu naujai išdekoruota bažnyčia, perdažyti altoriai. Darbus atliko V.Čižauskas iš Šiaulių už 4200 Lt.

1912-1915 m. Josvainių vikaru buvo kun. Adomas Vilimavičius - Vilimas, kooperatininkas, ekonomistas, baigęs Šveicarijoje aukštuosius mokslus ir ten gavęs daktaro laipsnį. Labai aktyviai dalyvavo Lietuvos atkūrimo darbe, vėliau seimų narys, advokatas. Josvainių parapija jo laikais buvo pusiau aplenkinta. Čia vikaraudamas parapijoje aktyviai skleidė lietuvišką dvasią. Lenkiškos pamaldos buvo panaikintos be jokių susidūrimų su lenkais.

1920 m. į Josvainius atkeltas kun. Pranas Vasiliauskas. Jis įsteigė pavasarininkų judėjimą, nupirko jiems orkestro instrumentus, pastatė parapijos salę, įruošė senelių prieglaudą, įsteigė Blaivybės ir kt. organizacijas, rėmė smulkaus kredito, pieninės steigimo darbus. Bendradarbiavo spaudoje, o išvykęs į JAV parašė keletą knygų.
Pažymėtina, kad šios bažnyčios statytojas kun. J.Novickis, išbuvęs Josvainių klebonu 15 metų ir labai daug nusipelnęs parapijai susilaukė šiurpaus likimo. 1941 m. birželio mėn. 27 d. jis buvo Viekšniuose bolševikų žiauriai nukankintas.

Parapija priklausė Kėdainių dekanatui. 1940 m. turėjo 4796 parapijiečius. Tuomet parapijoje dirbo 5 kunigai. Parapijai priklausė ir Šaravų koplyčia. Josvainių kapinėse buvo koplyčia.