GoodMan
Микс, только развитый. Когда научится писать музыку для оркестров - тогда помотрим. А пока больше похоже на продвинутые миди-генераторы только с вокалом)
Да кстати там не генератор нот. Принцип работы совершенно другой на самом деле, он генерирует все целиком, причем начинает с общей структуры, потом детализирует, детализирует пока не получит нужный результат. В процессе детализации оценивает на каждом этапе насколько полученное соответствует запросу. Так что в целом он работает примерно так-же как и композитор, которому задано написать песню на заданную тему в заданном стиле. Ну и не только композитор, но и музыканты и вокалист.
Прикольно то, что никаких нот там нет, он про ноты ничего не знает абсолютно, в него это не заложено и не закладывалось никаким образом, никто их там не программировал, никаких "крутые сочетания нот" не закладывал, так-же как и не закладывали звучание разных инструментов и т.п. Знания о нотах, вокале, звучании инструментов, композиции он сам вывел при обучении из целых композиция. Учили с "чистого листа" Поэтому все-же принцип совершенно не похож на генераторы миди. Тут реально работает как человек, который слушал бы тот же самый набор музыки что "прослушал" ИИ. На основании обучения (опыта) у него наработалось понятие что такое хорошая музыка, хорошая музыка в стиле кантри, гитарные проигрыши и т.п.
И уж тем более этот ИИ не хранит никаких кусков записи музыки, он не может их хранить в принципе, так-же как модель SD XL объемом 6Гб не содержит конечно бесконечного набора изображений всего на свете в разных ракурсах и положениях чтобы их потом "склеивать". Это невозможно технически. Восстановление идет именно из шума. Если бы его обучали на музыке пришельцев, у которых другая музыкальная система, о которой люди, создатели этого ИИ, не имеют ни малейшего понятия, он с такой-же легкостью справился-бы и генерировал бы отличные песни на инопланетном языке в их музыкальной системе, хотя мы и не могли бы ничего ему об этой системе рассказать. Понимаете в чем разница между миксингом, "генераторами нот" и этим сервисом? Мы можем его обучить на любых наборах данных, даже если мы сами не знаем каким образом они друг с другом связаны....
Единственный, прям существенный минус современных нейросетей, что они работают уже по факту обученными. И если хотите засунуть в него новую "фишку", нужно его "дообучать", затратив опять много процессорного времени. Обучение - реально трудозатратная операция. Делать это в реальном времени - очень сложно, и именно для этого компании разрабатывающие ИИ следующего поколения инвестируют триллионы долларов, чтобы получить системы которые будут обладать достаточными мощностями чтобы обучаться дальше "на ходу".
Опять-же если мы говорим о огромных моделях. Более компактные, специализированные, вполне уже сегодня до обучать в реальном времени. Архитектуры нейросетей совершенствуются каждый год, как и алгоритмы их обучения. Так что в принципе никаких особых ограничений получить ИИ который генерирует прям вот "творчество" нет. Проблема больше в подходах и инструментах. Было бы не очень если бы ChatGPT начал бы рассуждать о том что "хорошо бы убить всех людей", правильно?
Поэтому компании сами предпочитают использовать такие модели и архитектуры, которые дают не мегакреативный, но зато " предсказуемый и политически корректный, приятный для пользователя" результат. А не потому-что нельзя этого делать. Больше опасаются что результат выйдет из-под контроля, настолько необычными он может оказаться ) Будет вам генерить инопланетную музыку офигенной креативности, а вы скажете "а че это он какой-то шум непонятный мне выдает, где мой тыц-тыц...?". Такой ИИ компаниям, которые хотят заработать бабки, не нужен.
Энтузиасты на коленках с нейросетями делают чудеса, просто нужно немного быть в теме, а не только читать об ИИ на популярных сайтах. Море потрясающих ресурсов, уже 3д модели делают очень круто из картинки, буквально месяц назад новая какая-то прорывная штука у одного чел была, видел на ютубе, сейчас ссылку не припомню. Жду когда зарелизят, сразу бомба будет, чувствую, сразу говорить начнут везде. А глядишь за это время кто-то еще более крутую штуку уже запилил. Скорость развития просто потрясающая...Два года назад про генерацию музыки такого качества никто и подумать не мог. Генераторы нот, говорили они....
Оркестры... ну поищите там по фильтру classical music, полно всего, причем иногда аж у-х-х-х.
В топе например есть композиция:
https://www.udio.com/songs/ocYMEPXWYkD19egp8ivZZJ
