Múzeum v Rimavskej Sobote vzniklo 3. septembra 1882. Počiatky prvých múzejných snáh v meste sú však omnoho staršie. Vznik múzea je spojený s Umelecko-archeologickou výstavou Gemerskej župy otvorenou 3. septembra 1882, ktorou boli položené základy múzea a zároveň bol zriadený Gemersko-malohontský muzeálny spolok. Základom zbierkového fondu sa stalo 568 predmetov, ktoré boli darované alebo deponované po ukončení výstavy novovzniknutému múzeu rôznymi osobnosťami a inštitúciami. Prvým darcom sa stala „Petöfiho budapeštianska sochárska komisia“. Výstava bola realizovaná vo vtedy opustenej budove delostreleckých kasární, do ktorých sa múzeum opäť a definitívne vrátilo v roku 1910, kedy sa v nej uvoľnili priestory po bývalej dievčenskej škole. Medzitým vystriedalo priestory v obecnej chlapčenskej škole, evanjelickej škole a neskôr v budovách župy. V roku 1900 vystavovalo múzeum svoje zbierky na Všeobecnej výstave v Paríži, kde získalo diplom, ktorý bol prvýkrát prezentovaný na výstave venovanej 120. rokom Gemersko-malohontského múzea v Rimavskej Sobote.
Po múzeách v Bratislave (1868), na Orave (1868), v Košiciach (1872) a Trenčíne (1877) je múzeum
v Rimavskej Sobote piatym najstarším múzeom na Slovensku. Zakladateľmi Gemerského župného múzea boli okrem prvého
riaditeľa Jána Fábryho, Viliam Groó, Ľudovít Hüvossy a Štefan Terray. V klasicistickej budove bývalých
delostreleckých kasární z roku 1850 sídli múzeum od roku 1910.
Budovu projektoval budapeštiansky architekt Ferencz Miks, ktorý je autorom viacerých verejných stavieb v meste
Rimavská Sobota. Súčasné, klasicisticky ladené priečelie budovy bolo realizované rimavskosobotským staviteľom
Mihályom Kallom. Prvá stála expozícia bola v tejto budove verejnosti sprístupnená 18. mája 1913. Budova múzea je
zapísaná v Ústrednom zozname pamiatok, ako Národná kultúrna pamiatka.
V roku 1925 dochádza k obnoveniu Spolku gemerského župného múzea, a v roku 1926 k jeho následnej reorganizácii na Gemersko-malohontský muzeálny spolok. Jeho hlavnou úlohou bolo starať sa o existujúce múzeum, rozvíjať ho a sprístupňovať zbierky širokej verejnosti. Viedenskou arbitrážou sa Rimavská Sobota stáva súčasťou Maďarska, tým zaniká i dovtedajšia činnosť Spolku. Vojnové udalosti rokov 1944 a 1945 nešťastne zasiahli i do existencie múzea. Pri bombardovaní mesta 19. decembra 1944 bola vážne poškodená budova múzea. Následne bolo viacero zbierkových predmetov a kníh z historickej knižnice odcudzených.
Od roku 1996 sa múzeum na základe zriaďovacej listiny špecializuje na dokumentáciu hmotnej a duchovnej kultúry Rómov
širšieho regiónu Gemera a Malohontu. Vyústením dovtedajšieho snaženia bola výstava „Ľudová architektúra a spôsob
bývania Rómov v Gemeri a Malohonte“, ktorá bola, spolu s výstavou dnes už nežijúceho rómskeho rezbára Dezidera
Fertöa (1921-1996), v roku 2005 pri príležitosti Medzinárodného dňa múzeí predstavená v Gradskom múzeu v Bjelovare v
Chorvátsku, následne i v Muzeu romské kultury v Brne, v Novohradskom múzeu a galérii Lučenec a SNM Múzeu kultúry
Rómov na Slovensku v Martine.
Z hľadiska svojej špecializácie na dokumentáciu hmotnej a nehmotnej kultúry Rómov, múzeum spolupracuje v Čechách s
Muzeom romské kultury v Brne, v Poľsku s Múzeom Okregowe v Tarnove, v Maďarsku s Ottó Herman múzeom v Miškolci,
s
múzeom Palócov v Balašských Ďarmotách a Nógrádi múzeom v Šalgotariáne.
Prehľad doterajších riaditeľov múzea:
1882
– 1907 Ján Fábry
1908 – 1935 Eduard Loysch
1936 – 1945 Viliam Fabián
1945 – 1959 Mikuláš Holéczy
1960 – 1965 Eugen Wágner
1965 – 1975 Vladimír Kmeť
1975 – 1990 Jaroslav Svoreň
1990 – 1994 István B. Kovács
1995 – 1999 Svetlana Bornayová
1999 - Oľga Bodorová
Ján Fábry (*1830 – †1907)