Родился в селе Бараново Старооскольского уезда Курской губернии (ныне – Горшеченский район Курской области).
М. Эрденко в пятилетнем возрасте дал свой первый концерт из сорока пьес в Харькове, выступал с концертами в Ростове и Екатеринославе.
По рекомендации курского музыканта и педагога А. Абазы, М. Эрденко взяли в музыкальную школу при Московской консерватории имени П. И. Чайковского с назначением стипендии, которое он окончил в 1904 году с малой золотой медалью и занесением имени на мраморную доску консерватории.
В 1904–1905 годах М. Эрденко преподавал в музыкальном училище в Самаре. После 1907 года музыкант гастролировал с концертами на Донбассе, в Курске, Самаре, Киеве, Одессе, Вологде, Архангельске, Оренбурге; Средней Азии и на Кавказе, где наряду с выступлениями в больших городах и престижных концертных залах давал благотворительные концерты в пользу шахтеров, рабочих и студентов.
В 1910 году он стал лауреатом Московского конкурса скрипачей имени И. В. Гржимали и получил приглашение преподавать в Киевском музыкальном училище (с 1913 года – консерватория). В училище он одновременно преподавал и возглавлял квартет. Выступал как солист и дирижер в Киеве и в других городах.
В апреле 1917 года М. Г. Эрденко присудили звание профессора Киевской консерватории. Он стал одним из первых советских музыкантов, гастролировавших за рубежом. На 1920–1930-е годы пришелся пик его гастрольной деятельности: с женой пианисткой он выступал в Польше, Эстонии, Латвии, Литве, в Китае и Японии. С 1935 года М. Г. Эрденко – профессор Московской консерватории.
Похоронен на Новодевичьем кладбище в Москве.
Увековечение памяти
В честь Эрденко назвали улицы в Белгороде и Старом Осколе.
В память о музыканте в Белгороде проводится Международный детский конкурс скрипачей.
В 1956 году в Старом Осколе была открыта детская школа искусств имени М. Г. Эрденко. Доступ https://www.culture.ru/institutes/38040/detskaya-shkola-iskusstv-im-m-g-erdenko-1-g-staryi-oskol?ysclid=mdabnu7ac1850058660