XVI a. posesija priklausė Vilniaus vyskupui. Po mūrinį namą stovėjo pietinėje ir šiaurinėje posesijos dalyje . Per 1655 m. gaisrą visi šios valdos pastatai degė, tačiau savininkas Gotardas Jonas Tyzenhauzas 1667 m. namus (jam priklausė šiauriniai) parduoda LDK valstybės sekretoriui Kiprijonui Povilui Bžostovskiui.

Pastarasis 1669 m. nusiperka ir pietinius, pastatus atstato ir sujungia į rūmus. Po jo mirties 1688 m. rūmus paveldėjo sūnus Trakų pilininkas Jonas Vladislovas Bžostovskis, 1710 m. anūkas LDK didysis raštininkas Juozapas Bžostovskis, o 1745 m. proanūkis LDK referendorius Povilas Ksaveras Bžostovskis . Šis atstatė po 1748 m. gaisro nukentėjusius rūmus, juos išplėtė, fasadas išpuoštas klasicistiniais elementais.

1772 m. posesija parduota Žemaitijos pakamariui Jokūbui Nagurskiui, vėliau rūmai atitenka sūnui Kajetonui Nagurskiui, o po šio mirties 1802 m. našlei Marijai Nagurskienei.

Pasak A. R. Čaplinsko, našlė Marija Nagurskienė 1802 m. ištekėjo už Mykolo Kleopo Oginskio, šitaip rūmai pereina Oginskiams , tačiau Paminklų sąvade rašoma, kad Oginskiai 1802 m. rūmus nusipirko iš K. Nagurskio paveldėtojų . Tėvui Mykolui Kleopui Oginskiui mirus, o motinai išvykus gyventi į Italiją, rūmai atiteko sūnui Irinėjui Oginskiui.

Tiesa, rūmai buvo nuomojami. Pagal 1790 m. inventorių rūmuose būta 29 kambarių, tuo tarpu pagal 1821 m. – 46 kambariai, 9 virtuvės ir kitos ūkinės patalpos . Taigi XIX a. pradžioje rūmai buvo dar išplėsti. Kita rekonstrukcija atliekama 1888-1890 m. – virš pietinio fligelio užstatomas antras aukštas.

1899 m. rūmus paveldėjo Irinėjaus sūnus Bogdanas Mykolas Oginskis, tačiau ir jis rūmus nuomojo. XX a. pradžioje rūmai atitenka keletui paveldėtojų, iš kurių vėliau buvo nacionalizuoti. 1957 m. ir 1982 m. rūmai vėl rekonstruojami, tvirtinamos konstrukcijos, pritaikoma butams. Šiuo metu autentiško fasado rūmuose veikia vaistinė, kitur – butai.