Dvarvietė įsikūrusi prie Nykos upės santakos su Nemunu. 1758 metais dvarą nusipirko Veliuonos klebonas Viktoras Grincevičius - Ilgauskas. Jo giminė valdė dvarą iki XIX a. pabaigos, kai Ona Grincevičiūtė ištekėjo už garsaus lenkų kompozitoriaus ir smuikininko, Varšuvos filharmonijos direktoriaus Emilio Mlynarskio (1870-1935). Ilguva tuomet tapo mėgstama muzikų susibūrimo vieta.

Mediniai dvaro rūmai pastatyti XVIII a. pabaigoje karaliaus Stanislovo Augusto dvaro šambeliono Jono Grincevičiaus. Pastatas, atgręžtas į Nemuną stovi ant aukšto 80 m aukščio skardžio. Mūrinės kolonos laiko trikampį frontoną priskiriamą liaudiškajam klasicizmui.