Rūmų istorijos pradžia - vienintelis, daugiau kaip prieš 600 metų rašytas, dokumentas - Didžiojo Kunigaikščio Jogailos 1387 m. vasario 17 d. privilegija.
1387 m. Lietuvai priėmus krikštą, Jogaila įsteigė Vilniaus vyskupiją ir padovanojo sklypą, buvusį "prie Vilniaus miesto, prie Goštauto sodo". Taigi vyskupo žemė turėjo būti dabartinių rūmų ansamblio teritorijoje. Pirmasis Vilniaus vyskupas Andrius Vasila (1388 - 1398) čia pastatė rūmus, kuriuos vėliau kiti šeimininkai puošė, perstatinėjo, plėtė. Išlikę rašytinių šaltinių apie Vyskupų rūmus, kai 1536 - 1555 m. vyskupu buvęs vienas iš turtingiausių vyskupų Paulius Olšeniškis, rašo, jog tai buvę įspūdingiausi pastatai po Karališkosios pilies. XVI amžiuje aplink rūmus plytėjo didžiulis sodas, kuris augalija bei įranga buvo puikesnis net už nuostabiuosius Radvilos sodus.

Paskutinis rūmuose gyvenęs vyskupas buvo I. Masalskis (1730 - 1762). Jo užsakymu kai kuriuos rūmų ansamblio rekonstravimo darbus yra atlikęs architektas L. Stuoka - Gucevičius.

XVII - XVIII a. rūmai degė, buvo niokojami per karus ar suirutes. Pastatas, nukentėjęs nuo 1737 m. Vilniaus gaisro, vėl degė 1748 m. birželio 14 dieną. Per gaisrą sudegė rūmuose saugomas vyskupo archyvas, visi dokumentai, liečią vyskupo valdas, jurisdiką Vilniuje.

Lietuvai atsidūrus Rusijos sudėtyje Vyskupų rūmų ansamblis tapo laikina rusų imperatoriaus, kunigaikščių ir kitų didikų buveine. Ano meto puošniausiuose ir solidžiausiuose rūmuose 1796 m. gyveno caras Pavelas I; 1797 m. čia buvo apsistojęs Stanislovas Augustas Poniatovskis; 1804 m. viešėjo būsimasis Prancūzijos karalius Liudvikas XVIII.

XIX amžiuje rūmai tampa oficialia Rusijos generalgubernatoriaus buveine. Čia gyveno M. Muravjovas, Lietuvoje pramintas Koriku, Lietuvos general gubernatoriumi du kartus (1800 - 1801 ir 1809 - 1811) buvęs generolas Kutuzovas. 1812 m. pabaigoje, pažymint rusų kariuomenės pergalę prieš Napoleoną, generolas Kutuzovas apsilankė Vilniuje trečią kartą. Rūmuose jam buvo įteiktas aukščiausiasis rusų karinis apdovanojimas - pirmojo laipsnio Šv. Georgijaus ordinas.

1812 m. čia gyveno rusų caras Aleksandras ir prancūzų imperatorius Napoleonas (06 28 - 07 16). Išlikusi XIX amžiaus pradžios graviūra - caras Aleksandras I šiuose Vilniaus rūmuose švenčia 1812 m. Prancūzijos - Rusijos karo pergalę.

1824 - 1832 m. rūmai pagal garsaus Sankt Peterburgo dvaro architekto V. Stasovo projektą buvo perstatyti ir įgavo dabartinį pavidalą.

1920 metais, prieš Lenkijai užimant Vilniaus kraštą, rūmuose buvo įkurdinta Lietuvos Respublikos užsienio reikalų ministerija, taip pat Lietuvos telegramų agentūra (ELTA). Vėliau, tarpukario laikotarpiu, rūmai vėlgi buvo naudojami reprezentacijai. Juose yra gyvenęs maršalas J. Pilsudskis.

Po karo rūmai tampa sovietų armijos Karininkų namais, o Baltojoje salėje rengiami jaunimo šokių vakarai. Septintajame dešimtmetyje čia įsikūrė Menininkų rūmai. Atkūrus Nepriklausomybę, dalį patalpų kurį laiką užėmė Prancūzijos ambasada.

Archeologiniai tyrimai, pradėti 1995 m. rudenį, metu buvo atlikti 1500 m2 plote. Nustatyta, kad kultūrinis sluoksnis rūmų teritorijoje storesnis kaip trys metrai. Ankstyviausias jo horizontas tirtoje parko dalyje datuojamas XVI a., nors yra rasta pavienių radinių, datuojamų XIV - XV amžiumi Rūmų kieme ankstyviausi radiniai siekė bronzos ir ankstyvojo geležies amžiaus laikus.

Pritaikant rūmus Prezidento rezidencijai, remtasi dviem pagrindinėmis interjero koncepcijomis. Patalpose, kuriose buvo išlikęs dekoras arba informacija apie jo pobūdį (pvz., polichromija), nuspręsta atkurti istorinį interjerą. Pirmojo aukšto patalpose dekoro neišliko, todėl čia numatyti šiuolaikiniai baldai bei įranga, kurią parenkant ir projektuojant stengtasi išlaikyti būdingas vėlyvajam klasicizmui medžiagas (pvz., raudonmedis) ir išryškinti pastato paskirtį. Atkuriant svarbiausių reprezentacinių salių interjerą, remtasi istorine medžiaga, menotyriniais bei kitais tyrimais. Rūmų antrojo aukšto vakarinės dalies interjerai buvo suprojektuoti iš naujo, kadangi anksčiau perstatant buvo visiškai sunaikinti. Yra išlikusi istorinė medžiaga apie šiuose rūmuose XIX amžiuje stovėjusius baldus. Taigi šiandieną rūmus puošia vėlyvojo klasicizmo baldai bei jų kopijos, pagamintos Lietuvos ir Sankt Peterburgo baldininkų.