Filiální kostel Navštívení Panny Marie zvaný kaple V Lipkách je nazýván perlou severomoravského baroka a vznikl na místě starší církevní stavby v letech 1710-1715 v sousedství staré poustevny.
Autorem nezvyklé oválné stavby byl nadaný rýmařovský stavitel Friedrich Hösler. Nad hlavním vchodem byl po roce 1721 umístěn alianční znak hraběte Aloise Harracha a jeho druhé ženy Marie Arnoštky z Gallasu, jež poskytla ke stavbě svatyně velké finanční prostředky. Vysoko nad ním je v nice umístěno sousoší Panny Marie a její matky sv. Anny.
Skvostný interiér upoutá směle klenutým stropem na čtyřech masivních sloupech s umělým mramorem. Prostor především zaujme freskami, jejichž autorem byl olomoucký malíř Ferdinand Naboth (asi 1664-1714) se svým nadaným tovaryšem Janem Kryštofem Handkem (1694 - 1774) z blízkých Janovic, který po předčasné smrti mistra výzdobu kaple dokončil roku 1715 a stal se jeho nástupcem v Olomouci. Fresková výzdoba s textovými páskami představuje ilustraci latinské verze známé modlitby k Panně Marii Zdrávas královno a doplňují ji oválné medailony světců, kteří ochraňují proti moru a živelným pohromám. Přímo nad vchodem je rozměrná freska, jež se stylově vymyká ostatním a je jedinou samostatnou Handkovou nástropní prací. Handke je však též autorem skvělého monumentálního obrazu hlavního oltáře, který doplňují plastiky zemských světců. Zcela nezvyklá je též oválná tribuna, která obíhá celý prostor kaple a je přístupná dvěma úzkými vchody. Obdélné fresky, jež ji lemují, jsou pozdější práce anonyma, a nedosahují kvality starších autorů. Kaple je vybavena též pěti bočními oltáři zčásti barokními a vysoce kvalitní kazatelnou. Varhany byly instalovány roku 1718.
Kapli zachránil před osudem jiných církevních staveb na Rýmařovsku především rýmařovský farář ThDr. František Vaňák, posléze arcibiskup olomoucký a metropolita moravský. Kvalitně restaurovaná kaple, jež nebyla nikdy vážněji poškozena, je včetně vybavení jedinečným dokladem původní barokní stavby. Pouze helmice zvoničky se změnila po požáru střechy roku 1883. Kaple byla v minulosti vždy cílem prosebných procesí z celého kraje v dobách válek, morů a živelných pohrom. V předpolí kaple bychom našli společné hroby obětí morů z okolních vesnic. Za pozornost též stojí zdařilá pozdně barokní socha Panny Marie Immaculaty (1774) a lidové sousoší Ukřižování (1812) v prostoru před kaplí.
Kaple slouží nejen k církevním obřadům, ale je také důstojným prostorem pro konání významných kulturních a společenských akcí. Od roku 2011 je kaple přístupná veřejnosti prostřednictví Městského muzea Rýmařov.
Město Rýmařov vydalo v roce 2010 neprodejnou obrazovou publikaci Kaple V Lipkách objektivem Miloslava Marka.
Z dostupných zdrojů zpracoval M. Marek
