Die Kirche des Heiligen Geistes mit dem Kloster wurde im Jahr 1596 gegründet. Anfangs bestand sie aus Holz, aber nach dem Brand im Jahr 1610 wurde sie von 1632 bis 1638 in Stein gebaut. Der kreuzförmige Grundriß der Kirche mit der Kuppel in der Mitte war im Litauen des XVII Jahrhunderts weit verbreitet, war aber uncharakteristisch für eine russische Kirche. Das Interieur der Kirche schmückt ein wertvolles Kunstwerk, das Heiligenbild, geschaffen nach dem Entwurf des Architekten J.K. Glaubi c nach dem Brand von 1749. Der Anblick der Fassade ist einzigartig und ein wertvolles Dokument eines vollendeten Barockbaues mit wellenförmigen Barockgiebel und Ornamenten. Die Entscheidung für den Bau einer solchen Fassade zeugt von der großen Meisterschaft seines Architekten, der ein Vertreter des ausgereiften Barocks war. Leider wurden 1864 nach Befehl des Generalgouverneurs M. Muravjovas die Giebelverzierungen und Ornamente abgeschlagen, um den lateinischen Geist in der Architektur zu vernichten, und das Gebäude selbst wurde beschädigt. Dies ist das heutige Erscheinungsbild. Neben der Kirche steht ein hoher Turm, der Glockenturm, der mit einer obeliskförmigen Kuppel abgeschlossen ist.

Dies ist die einzige Kirche, die nie zu den Unitariern gehört hat. Im Innern der Kirche befindet sich ein Eingang zur Kellerkapelle, wo sich die sterblichen Überreste der Märtyrer Jonas, Eustachijus und Antonijus befanden. Die Gebeine befanden sich zuerst in der Kirche der Dreifaltigkeit, wurden aber später aus Angst vor Schändung durch die Unitarier in diese Kirche gebracht. 1915 wurden sie nach Rußland überführt. 1868 wurde in dem Keller der Kapelle der Metropolit Juozas Siema š ka bestattet. Das bis jetzt bestehende Kloster neben der Kirche stammt vom Ende des XVI. Jahrhunderts und wird noch immer als Kloster genutzt.

Vytautas Šiaudinis