Paberžės dvaro savininkas grafas S. Šilingas 1787 m. pastatė medinę bažnyčią, kuri greitai sudegė. 1856 – 1863 m. Paberžėje kunigavęs A. Mackevičius buvo vienas iš 1863 metų sukilimo vadovų. Jo rūpesčiu 1858 m. buvo pastatyta (stovinti ir dabar) medinė Šv. Mergelės Marijos apsilankymo bažnyčia. Nuo 1966 m., kai į Paberžę buvo paskirtas vienuolis kapucinas kunigas Algirdas Mykolas Dobrovolskis – Tėvas Stanislovas, šis mažas kaimelis tapo traukos objektu. Žmonės važiuodavo į Paberžę ne tik tada, kai skauda ar reikia atlikti bažnytines apeigas, atvyksta prisiglausti prie Didžiojo mokytojo gyvos išminties, pakalbėti ieškoti pagalbos sau ar padėti kitiems. Tėvas Stanislovas daug nuveikė Paberžėje: suremontavo ir išpuošė bažnyčią, sutvarkė kaimo kapinaites. Šventoriuje ir kapinėse pastatė originalių paminklų, klebonijoje ir šalia esančioje klėtelėje įkūrė unikalių bažnytinių drabužių, maldaknygių, žibintų, varpų, puodų, kryžių – saulučių, girnapusių, medžio drožybos darbų ir daugelio kitų vertybių "saugotuves".