A pozsonyi (1868), árvai (1868), kassai (1872) és trencséni (1877) múzeumok után a rimaszombati az 5. legrégebbi múzeum a mai Szlovákia területén. A Gömörmegyei Múzeum alapítói az intézmény első igazgatóján, Fábry Jánoson kívül Groó Vilmos, Hűvössy Lajos és Terray István voltak. A gyűjtemény 1910-ben költözött jelenlegi helyére, az egykor tüzérségi kaszárnyaként szolgált, 1850-ben épült klasszicista épületbe. A kaszárnyát Miks Ferenc, budapesti építész tervezte, kinek nevéhez több rimaszombati középület terve is fűződik.
Az épület jelenlegi, klasszicista homlokzatának kialakítása a rimaszombati építész, Kalla Mihály nevéhez köthető. A múzeum épülete, mint nemzeti kulturális emlék helyet kapott a Műemlékek központi jegyzékében. Az intézmény első állandó kiállítása is ebben az épületben nyílott meg, 1913. május 18-án.