Původní pozdně gotickou tvrz postavil v letech 1520 až 1530 zástavní pán Petr ze Žerotína. Do dědičného držení Královské panství zakoupil roku 1583 vzdělaný štýrský šlechtic Ferdinand Hoffmann z Grünbüchlu, president dvorské komory, dvořan, osobní přítel Rudolfa II. a bratranec posledních Rožmberků Viléma a Petra Voka.
Počínaje rokem 1586 začaly stavební práce a tvrz se změnila na příjemný renesanční zámek. Když Ferdinand opustil pražský císařský dvůr pro luteránskou víru, vybudoval na panství hutě podle štýrské předlohy a dal tak impulz k modernizaci celého železářství v našich zemích. Mezi lety 1656 a 1658 přibyla k zámku kaple v podobě rondelu a roku 1663 přestavěl zámek stavitel Alessandro Cannevalo v raně barokním duchu. V roce 1721 připadl zámek do vlastnictví jilemnických hrabat Harrachů a zámek se stal vedlejším sídlem českého rodu. Ferdinand Bonaventura provedl ve 40. letech 18. století zásadní přestavbu zámku s pomocí významného stavitele Gottfrieda Weissera v pozdně barokním slohu. V 19. a ve 20. století proběhly vnitřní úpravy a poslední vnější úpravy pochází z roku 1901.
Zámek se stal trvalým sídlem janovické linie Harrachů za Karla Alfréda v druhé půli 19. století. Poslední majitelkou zámku byla Anna Marie, dcera významného zemědělského znalce a filantropa Františka Arnošta a žena maďarského diplomata Františka Zikmunda Rosty - Forgache z Barkocz. Po roce 1945 byla rodině nemovitost zabavena, část mobiliáře vyvezena do Maďarska a část umístěna na zámku Liběchov, většina vybavení však byla zničena nebo rozkradena. Od roku 1949 v budově sídlil archív Olomouckého kraje, od roku 2002 je však zámek prázdný a nevyužívaný.
V současné době je někdejší Cínový sál v přední části zámku využíván jako obřadní místnost města. V zachovalém a funkčním stavu je budova bývalé správy janovického velkostatku, jež dosud slouží lesní správě, méně dobrý je stav budovy pivovaru. Městské muzeum Rýmařov v letní sezóně oživuje zámek výstavami a kulturními akcemi. Od roku 2018 je vlastníkem zámku Národní památkový ústav, který plánuje rekonstrukci a postupné zpřístupnění celého objektu.
