Prawdopodobnie już w 1529 roku w Birsztanach istniał kościół (wg przekazów źródłowych Birsztany były nazywane miastem). Na początku XVII wieku starosta preński i birsztański Kacper Horwat został zobowiązany do odbudowy zniszczonej świątyni z myślą o przekształceniu jej później w filię kościoła w Prenach. Później, w połowie XVII wieku, król polski i wielki książę litewski Władysław IV Waza ofiarował filii kościoła w Prenach 7 gospodarstw wiejskich wraz z chłopami. Podczas wojny północnej (1655) świątynia spłonęła, jednak ponownie zobowiązano się do jej odbudowy. Nowy kościół został odbudowany w 1787 roku własnym sumptem i staraniem starosty preńskiego, księcia Kazimierza Sapiehy. Parafia birsztańska została reaktywowana w 1795 roku. Nową murowaną świątynię w 1900 roku zaprojektował znany architekt Wacław Michniewicz. Kamień węgielny pod budowę kościoła został położony w 1903 roku. Nad budową czuwał proboszcz parafii birsztańskiej Jonas Karvelis, natomiast pracami budowlanymi kierował architekt Edmund Emilian Frykas. W 1909 roku kościół został konsekrowany pod wezwaniem św. Antoniego Padewskiego. Kościół w Birsztanach jest neogotycki, jednowieżowy. Jest to świątynia trzynawowa, sklepiona, na podłodze posadzka z płyt kamiennych, mozaikowa.

Kościół zdobi obraz malarza Nikodema Sylwanowicza „Św. Juda Tadeusz“. Inny obraz, pt. „Św. Apostoł Szymon“, jest autorstwa nieznanego litewskiego malarza z XIX wieku. W ołtarzu głównym znajduje się obraz Matki Bożej Ostrobramskiej (autor Stanisław Gobiata), w bocznym ołtarzu z lewej strony znajduje się obraz „Św. Józef z Dzieciątkiem“, pochodzący prawdopodobnie z XVIII-wiecznego kościoła.

Świątynię zdobią wspaniałe witraże. W latach 1984-1986 ówczesny ksiądz Mykolas Marijonas Petkevičius, dzięki pomocy znanego litewskiego witrażysty Vytautasa Švarlysa i malarza Andriusa Giedrimasa, upamiętnił jubileusz 500-lecia chrztu Litwy (1387) oraz pięćsetną rocznicę śmierci patrona Litwy, św. Kazimierza (1484). Na witrażach uwiecznieni są patroni chrztu Litwy: książęta Mendog (Mindaugas, 1251) oraz Witold Wielki (Vytautas Didysis, 1386), biskupi Maciej Wołonczewski (Motiejus Valančius) i Walery Protasewicz (Valerijonas Protasevičius, XVI-wieczny działacz oświatowy). Na innych witrażach przedstawieni są św. Jerzy, św. Michał Archanioł, św. Maksymilian Kolbe (XX-wieczny męczennik).

Organy kościelne ok. 1908 roku zbudował znany ówcześnie mistrz organowy z Kowna Jonas Garalevičius. Prospekt organowy jest dziełem Adomasa Karaliusa (1908). Większość metalowych rur instrumentu to wyroby fabryczne, różne części piszczałek zostały tradycyjnie sprowadzone z Niemiec oraz innych krajów Europy Zachodniej (jak to było na Litwie w zwyczaju na przełomie XIX i XX w.), natomiast drewniane rury oraz większość mechanizmów zostało wykonanych na Litwie. W 1959 roku gruntownego remontu organów podjęli się Stanislovas i Liudvikas Černiauskasowie. W 1999 roku organy restaurował wileński mistrz organowy Pikutis Laimonas.

Dziedziniec przykościelny od frontu jest otoczony metalowym ogrodzeniem z bramą, odlanymi we Włocławku (Polska).
W kościele odbywają się odpusty: św. Antoniego Padewskiego, Matki Bożej Szkaplerznej, Matki Bożej Miłosierdzia (Ostrobramskiej), a także koncerty muzyki sakralnej.