Původní pozdně gotickou tvrz postavil v letech 1520 až 1530 zástavní pán Petr ze Žerotína. Do dědičného držení Královské panství zakoupil roku 1583 vzdělaný štýrský šlechtic Ferdinand Hoffmann z Grünbüchlu, president dvorské komory, dvořan, osobní přítel Rudolfa II. a bratranec posledních Rožmberků Viléma a Petra Voka.

V areálu Podhorské nemocnice v Rýmařově se nachází pomník věnovaný rumunskému vojáku a letci Gheorghe Bănciulescovi (1898-1935), prvnímu pilotovi na světě, který vzlétl s protézami místo nohou. Pomník byl vybudován k uctění památky letce a jako projev velkého uznání lékařům rýmařovské nemocnice, kteří mu pod vedením dr. Julia Boeseho na podzim roku 1926 zachránili život.

V Janovicích - místní části Rýmařova - se nachází vila, kterou si koncem dvacátých let minulého století nechal postavit v místě svého rodiště obchodní ředitel slévárny Vítkovického horního a hutního težířstva Julius Spitzer (1871 – 1956), syn výrobce kořalek a likérů Leopolda Spitzera.

Rýmařovská fara je jednou z dominant historického jádra města. Patří k nejpůvodnějším a nejcennějším budovám a je kulturní památkou.

Stavební vývoj důležité správní budovy uprostřed náměstí Míru byl velmi složitý. Zasáhly do něj všechny slohy od gotiky po klasicismus, potřeba přizpůsobovat objekt aktuálním funkcím a také několik živelních katastrof, zejména ničivých požárů.

Z památek zůstal v osadě zachován kovaný kříž na zdobeném pískovcovém podstavci z poloviny 19. století u dnešního Dětského domova, údajný výrobek janovických železáren, spíše však tepaná kovářská práce.

Dřevěná zvonice v Jamarticích stojí na pravém břehu Podolského potoka uprostřed obce. O její historii se dochovalo velmi málo zpráv (s břidličenským starokatolickým kostelíkem ji spojuje minimální pozornost literárních pramenů), jejich zdroje se navíc neshodují ani v dataci stavby.