Istoriniai šaltiniai šykšti dokumentinės medžiagos apie patį Gelgaudiškį bei jo parapiją, kada jie buvo įkurti. Gelgaudiškio vardas kildinamas nuo jo įkūrėjo Jurgio Gedgaudo, Vytauto politikos rėmėjo ir kultūrininko, kuris dešiniajame Nemuno krante 1412-1413 m. pastatė pilį. Anot Br. Kviklio, Gelgaudų dvarą iš pradžių vadinę Panemune, vėliau Gedigaudiškiu, pagaliau Gelgaudiškiu. Pagal dr. J. Totoraitį, Gelgaudiškis buvęs Skirsnemunės dvaro palivarkas, kurį 1507 m. (kiti šaltiniai teigia, jog 1504 m. Be to, atskiruose šaltiniuose painiojamas ir parapijos vardas: Šv. Kryžiaus Atradimo, vietoj Šv. Kryžiaus Išaukštinimo.) LDK Aleksandras padovanojęs savo raštininkui Jonui Sapiegai. 1517 m. po jo mirties dvarą paveldi antroji jo žmona Elena, tačiau Skirsnemunės savininkas jėga sugrąžina Gelgaudiškį Skirsnemunei. Sapiegienė skundėsi karaliui ir tas liepė dvarelį sugrąžinti jai. Taip 1566 m. Gelgaudiškis atiteko Povilui Sapiegai, Zapyškio savininkui. 1567 m. šalia dvaro jau minimas ir miestelis. Būtent Povilas Sapiega ir pastatė pirmąją medinę Gelgaudiškio bažnyčią, tačiau ar ją galima datuoti 1578 metais, – klausimas. Ši data į istorinius šaltinius pateko dėl donacijos bažnyčiai, kurią, būtent, ir padarė savininkas Povilas Sapiega. Iš 1703 m. vizitacijos akto (kurio jokiuose Lietuvos archyvuose nepavyko rasti) galima spręsti, kad bažnyčia pastatyta anksčiau. Ši bažnyčia buvo Zapyškio parapijos filija. Pagal to meto suskirstymą ji turėjo priklausyti Žemaičių (arba Varnių) vyskupijai, Veliuonos dekanatui.

Dar XVI a. pabaigoje Gelgaudiškis perėjo Oziemblovskiams, kurie rūpinosi ne tik dvaru, bet ir bažnyčia. 1940 metais Kaune leistoje enciklopedijoje galima aptikti užrašą, kad 1640 metais Oziemblovskiai padarė naujus užrašus Gelgaudiškio bažnyčiai. Kas tie užrašai, – nedetalizuota. Greičiausiai tai galėjo būti turto ar žemės skyrimo aktai. Ši prielaida atsiranda Centriniame Lietuvos valstybės istorijos archyve aptikus grafo Tiškevičiaus fundaciją bažnyčiai per Oziemblovskius, kai šis aukoja Gelgaudiškio bažnyčiai 4000 zlotų. Šis dokumentas datuotas 1642 metų rugsėjo 2 dienos data. Išeivijos leidinys „Zanavykija” mini, kad du Kazimiero (Kaspero) Oziemblovskio sūnūs Motiejus ir Andrius 1640 metų rugpjūčio 15 dieną užrašė Gelgaudiškio bažnyčiai 4000 auksinų, tai yra, Gelgaudiškio dvarui uždėjo pareigą, kad kas metai klebonui išmokėtų tos sumos procentus.

Pirmajai bažnyčiai sunykus, 1691 m. Kazimieras Oziemblovskis pastato antrą, taip pat medinę, bažnyčią. Tais pačiais metais ji atpalaiduojama nuo Zapyškio parapijos ir tampa parapijine bažnyčia. Ši bažnyčia stovi iki 1789 metų (98 metus), kada Elena Čartoriskienė pastato trečiąją bažnyčią, kuri 1864 metais sudega.
Trečiosios bažnyčios gyvavimo metais Gelgaudiškis patenka į kitą vyskupiją. 1795 metais trečiasis Žečpospolitos padalijimas nulemia tai, kad 1797 metais įkūrus naują Vygrių vyskupiją, mūsų parapija atsiduria jos valdžioje. Tiesa, 1818 metais šios vyskupijos centras perkeliamas į Seinus, taigi pasikeičia ir vyskupijos vardas. Nekeista, kad įsigali bažnyčiose lenkiška tvarka. Tuo labiau, kad eilė Seinų vyskupų buvo aiškiai nusistatę prieš lietuvius ir lietuvybę. Gaila, kad nepasiekiami mums Lenkijoje saugomi archyvai. Būtų įdomu pastudijuoti laikmetį, kada Seinų vyskupo soste sėdėjo vyskupas Antanas Baranauskas, žinomas lietuvybės propaguotojas, garsiojo „Anykščių šilelio” autorius. Jo penkerių metų valdymo laikotarpis turėjo būti gana ženklus, nors, aišku, atskirose ir nuošalesnėse parapijose daug kas priklausė nuo vietos kunigo. Žinoma, daug įtakos turėjo knygnešystė, periodiniai leidiniai „Aušra” ir „Varpas”, kita uždrausta lietuviška spauda (laikmetis - 1897-1902 m.).
Gaila, bet lieka nežinomi ne tik daugelio čia dirbusių kunigų vardai, bet ir, juo labiau, jų simpatijos vienai ar kitai pusei. Kad 1801 metais Gelgaudiškyje dirbo kunigas Pranciškus Skorvydas, žinome iš aktų, vadinamų kombinacija, kai Gelgaudiškio savininkas baronas von Keudell iš Gelgaudiškio ir Šakių klebonų atėmė žemę, o jos vieton pripažino tik nedidelę kompetenciją. Pagal ją Gelgaudiškio klebonas gaudavo 170 talerių, iš kurių 10 talerių turėdavo mokėti padūmės, taip pat buvo paskirta 3 achteliai kietos ir 4 minkštos malkos ir palikta 5 magdeburgiški margai žemės.

Tai nevieninteliai nedraugiški aktai iš grafo, kuris buvo protestantas, pusės. Būdamas stiprus dvarininkas, valstiečius be galo spaudė prie lažo. Į darbą juos varydavo beveik kasdien, net ir sekmadieniais. Klebonas, įsidrąsinęs kartą priminęs ir prašęs, kad šventą dieną ponas nevarytų žmonių nei į medžioklę, nei į darbą. Už tai baronas dažnai pašiepdavo katalikų Bažnyčią ir jos šventes. Todėl visai nekeista, kad 1866 metais statomai ketvirtajai Gelgaudiškio bažnyčiai jis aukojo nedaugiau kaip ir valstiečiai, kiek jam išėjo nuo valdomos žemės margo. Mat rusų valdžia liepdavo prisidėti prie bažnyčios statymo ir kitų tikėjimų savininkams, gyvenantiems katalikų parapijose. Nors ir neprasta ši jau 133 metus stovinti šventovė, tačiau tokiam turtingam ponui, kaip grafas von Keudell, ji garbės nedaro. Vargonai buvo atvežti jau seni, 1894 metais Antonio Šymanskio Varšuvoje restauruoti. Taigi visai nekeista, kad jau tiek metų gyvuojantis instrumentas pernai buvo „išleistas į pensiją”. Išsidėvėjęs pats vargonų mechanizmas jau nebepasiduoda paprastam balsų derinimui. Taip pat daug byloja ir tai, kad visiškai nėra auksavimo elementų. Nežinia, gal jų ir buvo, bet 1955, 1978 ir 1994 metų bažnyčios vidaus remontas pėdsakų nepaliko. Dabartinės altorių ir sietyno geltonos detalės – bronza. Apie prabangą tyli ir liturginiai rūbai. 1818 metais datuotas arnotas – itin blyškus ir paprastas. Liturginiai indai taip pat negausūs ir neįmantrūs. Tik viena komuninė datuota 1774 metais išduoda profesionalaus auksakalio darbą. Visi kiti indai – vėlesni. Nėra bažnyčioje ir jokių dailės ar kultūros paveldo vertybių. Žalvarinis varpas, 1695 metais lietas Simono Sorio, vertingas jau vien dėl savo amžiaus.

Šis gal kiek niūrokas vaizdas anaiptol nenuvertina parapijos kaip tokios. Priešingai, išryškina buvusio Gelgaudiškio savininko šykštumą, atskleidžia socialinę valstiečių padėtį.

Ne ką geresnė padėtis ir sovietinės okupacijos metais. Atimta klebonija ir vikariatas, kur vėliau įrengta ligoninė, klebonas nuolat varginamas įvairiausiom prievolėm: tai skirti patalpas grūdams supilti, tai apnakvinti kareivius, tai duoti vietos vykdomajam komitetui arklių paštui ar kinui pargabenti. Tokių kvitų yra išlikę visas šūsnis. Be to, visaip trukdoma atlikti bet kokius remonto darbus. Per didelius vargus 1955 metais kunigo Pranciškaus Staškūno rūpesčiu atliktas bažnyčios vidaus remontas, nors nuo karo likusi granatos išsprogdinta skylė virš didžiųjų durų neužtaisyta buvo iki 1970 metų. Aišku, dirbta buvo neprofesionaliai, tenkinantis tuo, kokius darbininkus ir medžiagas tuo laiku pavyko gauti. Dekanalinės vizitacijos aktai šį remontą apibūdina kaip neskoningą. Apskritai Gelgaudiškio parapijos padėtis visame Šakių dekanate buvo kone prasčiausia. 1969 metų dekanalinės vizitacijos akte rašoma: „pastovaus vargonininko nėra. Kryžiai šventoriuje apšepę, aplūžę, apverktina tvora ir vartai, bokšto skarda skylėta, surūdijus. Plytelių grindys – vidutinio stovio (kitame vizitacijos akte minimos duobės), sienų dažymas apsitrynęs, lubos – neskoningų ornamentų, altorių apšvietimas taip pat”. Prie viso šito, špitolė, kurioje gyveno ne tik parapijos darbuotojai, avarinės būklės, lubos kuolais paramstytos. Kai 1971 metų liepos mėnesį į Gelgaudiškį buvo atkeltas kunigas Gintautas Skučas, reikalai pradėjo taisytis. Jo rūpesčiu sutvarkytas stogas, cinkuota skarda uždengtas bokštas, bokšteliai ir presbiterija, apskardinti visi karnizai. Pertvarkyta elektros instaliacija, suremontuota šventoriaus tvora, padaryti nauji vartai, išbetonuoti takeliai, atvestas vandentiekis. Vienas didžiausių darbų – vietoj apgriuvusios špitolės pastatyta nauja klebonija. Darbštus buvo šis klebonas, tačiau neaišku kodėl nesiryžo įsiklausyti į tuometinio dekano, o dabar Vilkaviškio vyskupo Juozo Žemaičio raginimą (jis net du kartus užfiksuotas raštiškai 1981 ir 1985 metų vizitacijos aktuose) įvesti į bažnyčią centrinį šildymą ir sudėti medines grindis. Pinigų ir galimybių tuo laikotarpiu neturėjo stigti.

Daugiau nei 24 metus vadovavęs Gelgaudiškio parapijai kunigas Gintautas Skučas 1995 metų spalio 5 dieną iškeliavo į Amžinybę, o jo kūnas ilsisi gimtųjų Veiverių parapijos bažnyčios šventoriuje. Jo darbus tęsia dabartinis klebonas kunigas Vladas Jackūnas. Jo rūpesčio ir nenuilstamo darbo dėka suremontuota klebonija, šventoriaus tvora, bažnyčioje sudėtos medinės grindys, naujos didžiosios ir šoninės durys, antralangiai, atgautoje senojoje klebonijoje nuolat vyksta remonto darbai. Čia jau įsikūrė šarvojimo salė, teikianti patogumą parapijiečiams, paskirtos patalpos Caritui ir rajono neįgaliųjų bendrijai. Jo brolio Vytauto rankų sušildytas medis jau ne vieni metai rymo klebonijos kieme Rūpintojėliu, čia ir atminimo kryžius a. a. kun. Gintautui Skučui, šventoriuje jubiliejinių metų kryžius, apaštalai, saugantys klebonijos kiemą. Na ir šiemetiniai darbai: naujas altorius su Paskutinės vakarienės scena jo bazėje ir šv. Antano statula. Tai ne vieninteliai ir, aišku, ne paskutiniai planai ir darbai. Be to, jaučiamas ryškiai pagyvėjęs dvasinis parapijos gyvenimas. Žmonės drąsiai kreipiasi į kleboną įvairiais reikalais, nejausdami nereikalingos baimės. Tai, manoma, įgalino klebono atnaujintas parapijos lankymas. Žingsnis į žmogų, ištiesta ranka niekad nelieka be atsako.