Muziejus įsteigtas 1993 m. 1993–2001 m. jis buvo Kėdainių krašto muziejaus padalinys.

Nuo 2001 liepos 1 d. muziejumi rūpinasi Gudžiūnų seniūnija.

Muziejaus ekspozicija pasakoja apie 1863 m. sukilimo eigą, jo vadus, kunigą A. Mackevičių.

Eksponuojami Lietuvos menininkų darbai, skirti sukilimui ir Paberžei.

Čia organizuojami dailininkų plenerai, rengiamos parodos, vyksta kiti kultūriniai renginiai, aptarnaujamos ekskursijos.

Muziejus įsikūręs buvusiame baronų Šilingų dvare. Muziejų supa gražus parkas, kuriame yra tautodailininko Genriko Galvanausko sukurtos medžio skulptūros, skirtos žuvusiems sukilėliams iš Paberžės apylinkių.