Pirmuoju Skaraitiškės dvaro paminėjimu galima laikyti 1582 m. įrašą Raseinių žemės teismo knygose. Pasak legendos, dvarą įkūrė žemaičių bajorai Skaraičiai, dar Vytauto laikais turėję plačias valdas – vadinamą Skaraitiškės raktą – žemes tarp Dubysos ir Šiluvos. XVIII a. šios valdos atiteko bajorams Gabševičiams. Vienas jų – Šiluvos bažnyčios infulatas – valdomus miškus padovanojęs Šiluvos bažnyčiai. Tuo tarpu kitas Skaraitiškės dvarą su palivarkais valdė pats.

XIX-XX a. pirmojoje pusėje dvarą valdė Bilevičių, Kontrimų giminės. 1894 m. Skaraitiškės dvare įkurta „Unito“ pieninė, Leonas Kontrimas buvo vienas iš aktyviausių Raseinių žemesniosios žemės ūkio mokyklos (1907 m.) steigėjų, aktyvus „Raseinių darbinių arklių auginimo skatinimo“ bei „Raseinių žemės ūkio ir gyvulininkystės“ draugijų narys.

Senųjų dvarininkų atminimą dabar saugo kasmet vis didesnio remonto laukiantys dvaro rūmai, apleistas parkas. Paskutiniai dvaro savininkai žymesnių perstatymų nevykdė, todėl 1838 m. statyti rūmai beveik išsaugojo pirmykštį išplanavimą. Rūmams būdingos lakoniškos formos, lygiai tinkuotą fasadą skaido aukšti, klasicistinių formų langai. Pagrindinė puošmena – mezoninas su balkonu ir keturių kolonų portikas, remiantis trikampį frontoną. Santūrią architektūrinę pastato išraišką pabrėžia kukliai profiliuotas karnizas.

Rūmų vidinis išplanavimas būdingas daugeliui Lietuvos klasicistinių dvarelių. Pastatą į dvi dalis skiria siaura priemenė su joje įrengtais laiptais į antrąjį aukštą. Svarbiausios gyvenamos patalpos, taip pat kabinetas, reprezentacinė salė buvo išdėstytos abipus priemenės. Tuo tarpu mezonine būta privačios rūmų koplyčios.
Išliko ir kai kurie kiti sodybos elementai – XIX a. pabaigoje statyta dvaro pieninė, kumetynas. 1995 m. dvaro sodybą aukcione įsigijo verslininkas Kęstutis Skamarakas, kuris ir rūpinasi jos restauravimu.