Původní tvrz vypadala jako čtvercová věžovitá stavba, měla 190 cm silné zdivo. Věž sloužila svému účelu nejméně do konce 14. století. Došlo k jejímu stržení. Vyhloubením příkopu a po jeho naplnění vodou vznikl umělý ostrůvek, na němž byla nově postavena izolovaná jednopatrová stavba 30m dlouhá a 20m široká. Byla vysoká 8 m a šířka zdí byla a 3,30 m. Tvrz byla postavena z neopracovaného, převážně metakvarcitního lomového kamene.
Koncem 17. století došlo k několika stavebním úpravám tvrze. Byl opraven padací most, nově pokryta střecha věže. V r. 1727 byla budova těžce poškozena požárem. Přestavba přisoudila budově charakter zámku.
Po válce, v červnu 1945, byl v zámku zřízen sklad konfiskovaného majetku a o rok později byla celá budova uvolněna pro okresní vlastivědné muzeum. Od roku 1970 se provádí obnova této historické památky.
V r. 1996 muzeum získává statut Vlastivědného muzea Jesenicka. Další změnu v životě tvrze by mělo přinést uvažované znovu napuštění vody do ochranného příkopu, která by místu navrátila i jeho původní název Vodní tvrz.