Szkolnictwo muzyczne w Rudzie Śląskiej swoją genezą sięga okresu dwudziestolecia międzywojennego. W Nowym Bytomiu działały wówczas dwa ośrodki artystyczne: prywatna szkoła muzyczna, będąca jedną z 7 podobnych placówek na Śląsku oraz filia Ludowej Szkoły Muzycznej z Chorzowa, założonej w roku 1934. Rozwój tych oraz wszelkich innych szkół kulturalnych zakończył się niestety wraz z wybuchem drugiej wojny światowej. Bezpośrednio po wyzwoleniu z okupacji hitlerowskiej ruch muzyczny na Śląsku zaczął się jednak prężnie odradzać a jego organizatorem stał się Stefan Marian Stoiński.
W roku 1946 została w Rudzie Śląskiej powołana do życia Zawodowa Szkoła Muzyczna imienia Mieczysława Karłowicza, która – rozpoczynając swoją działalność 1 lutego pod patronatem huty „Pokój” – była jedną z czternastu niepaństwowych placówek w okręgu. Dyrektorem nowo założonej szkoły został Marian Łęgowski, a jej siedzibą został budynek huty przy ulicy Marchlewskiego 16 (obecna ul. Piotra Niedurnego).
W związku z reorganizacją szkolnictwa artystycznego w latach 1949-1951 Zawodowa Szkoła Muzyczna w Rudzie Śląskiej została przekształcona najpierw w Miejskie, a następnie w Państwowe Ognisko Muzyczne. W tej formie funkcjonowało do roku1970 ajego dyrektorem został Zbigniew Lipski. W grudniu 1968 placówka otrzymała od władz miasta pomieszczenia w budynku przy ulicy 1 Maja w Czarnym Lesie. W późniejszym okresie na cele szkolne został przeznaczony cały budynek i po przeprowadzonej adaptacji lokali ognisko pracowało w nim do roku 1990.
27 października 1970 Ministerstwo Kultury i Sztuki przekształciło Państwowe Ognisko Muzyczne w Państwową Szkołę Muzyczną I stopnia i tym samym zobowiązało się do jej finansowania. W roku 1978 dyrektorem szkoły został Zbigniew Wojciechowski, w roku 1983 stanowisko to objęła Urszula Ryszka.
W latach osiemdziesiątych prawie stuletni budynek, w którym mieściła się dotychczas szkoła, z powodu szkód górniczych, zaczął stanowić realne zagrożenie dla uczniów i nauczycieli. Dyrekcja zmuszona więc była rozpocząć starania o nowe, bezpieczne lokale, które też uzyskała w roku 1990. Placówka została wówczas przeniesiona do Nowego Bytomia i zajęła parter, pierwsze i drugie piętro budynku przy ulicy Piotra Niedurnego 36. Lokalizacja ta pozostała niezmienna do dnia dzisiejszego.
W roku 1996 szkoła otrzymała patrona w osobie wielce zasłużonego kompozytora i wieloletniego dyrygenta kapeli katedry warszawskiej Grzegorza Gerwazego Gorczyckiego. W roku 2007 kierownictwo szkoły obejmuje – pracujący w placówce od 1990 – Mirosław Krause. Dzięki jego staraniom, już po 3 latach, udało się przekonać władze miasta do utworzenia Miejskiej Szkoły Muzycznej II stopnia, która swoją działalność rozpoczęła w roku 2010 pod kierownictwem Aleksandry Rymarz. Dalsze działania doprowadziły w szybkim tempie do połączenia szkoły I i II stopnia, czego skutkiem była inauguracja w marcu 2011 roku Zespołu Szkół Muzycznych I i II stopnia w Rudzie Śląskiej. Dyrektorem placówki pozostaje do dnia dzisiejszego Mirosław Krause.
Dynamiczny rozwój szkoły powoduje niemal dwukrotne zwiększenie liczby uczniów i nauczycieli, prowadząc w rezultacie do pozyskania dwóch dodatkowych kondygnacji budynku. W roku 2015 placówka przeszła termomodernizację lokali, a na cele szkolne został przeznaczony cały budynek.