V. J. Pliaterio sūnui Jurgiui Pliateriui mirus 1820 metais, Švėkšnos dvarą. pasidalino keturi jo sūnūs. Taip atsirado keturi dvarai: Švėkšnos, Vilkėno, Stemplių ir Gedminaičių. Apie 1843 m. ties Švėkšnos dvaru buvęs tvenkinys nuleistas į dabartinį Vilkėno tvenkinį, Vilkėne pastatytas didelis vandens malūnas.

Dvaro ansamblis kurtas 1880-1897 m. Vilkėnų dvaro rūmai yra neorenesansinis dviejų aukštų nesudėtingo simetriško plano statinys.

1940 m. dvaras buvo nacionalizuotas ir jame apgyvendinti Rusijos kariuomenės daliniai. Grafienė kurį laiką gyveno malūne (1941 m. mirė), o grafas buvo ištremtas į Komijos autonominę respubliką, kur ir mirė.