Путь Михаила Моисеевича Язмира, начался в Белорусском городе Витебскe. Он родился 21 марта 1931 года в бедной, но интеллигентной семье. Отец, Моисей Борисович Язмир, работал простым портным. Он владел неплохим голосом и пел в синагоге и мечтал отдать Михаила в музыкальную школу. Мать, Ода Абрамовна Таубинская познала нужду еще в детстве и была вынуждена работать с восьмилетнего возраста.