Historie českého hudebního školství na Ostravsku se odvíjí od založení první české soukromé hudební školy Rudolfem Kadlečkem v roce 1890. V roce 1907 byla v Ostravě - Mariánských Horách založena Hudební a varhanická škola Matice školské, která poskytla odborné hudební vzdělání muzikantům z širokého okolí Slezska a také ze Slovenska.
Tato škola, která se později transformovala na Masarykův ústav hudby a zpěvu, poskytla spolu s Hudební školou dr. Leoše Janáčka (založena r. 1935) podmínky pro vznik a úspěšnou činnost Vyšší hudebně pedagogické školy - dnešní Janáčkovy konzervatoře. K tomu došlo výnosem státního výboru pro umění č. 40.719/53 ze dne 14. srpna 1953.
Statut konzervatoře získala škola oficiálně až roku 1959, kdy byla zároveň zrušena Vyšší hudebně-pedagogická škola. Od září 1996 se konzervatoř přestěhovala do nového areálu budov na ulici Českobratrské v Ostravě 1 a nese jméno slavného skladatele - Leoše Janáčka.
Nová budova je tvořena historickou školní budovou a novou přístavbou, které jsou sjednoceny užitím režného cihlového zdiva v kombinaci s omítanými plochami. Budova celkově navazuje na nedaleký Polský dům a obecně na výraz řady ostravských staveb z přelomu století. Na budově je také umístěn emblém školy - lyra. Architektonická koncepce byla dotažena i v interiérech, které působí harmonicky a elegantně zároveň.
