Runway озвучивает видео, не трогая диалоги

Runway подключил к своей платформе Mirelo SFX 2.0 — модель, которая строит звуковую дорожку по изображению: читает действие, тайминг и акустику сцены, расставляет шаги, удары, фоли и эмбиенс по происходящему в кадре и при этом сохраняет речь в ролике. Mirelo выпустила версию 2.0 14 октября 2026 года, Runway объявил о её появлении у себя двумя днями позже.

Для генеративного видеопайплайна это закрывает слабое звено. Картинку собирают моделями, а звук остаётся ручной работой: монтажёр уводит клип в Premiere Pro или DaVinci Resolve и вручную ищет, подрезает и выравнивает библиотечные эффекты. Mirelo предлагает сделать этот проход автоматически — поверх уже готового монтажа, без перегенерации видео.

Речь оказалась сложнее, чем сами эффекты

Главная проблема автоматического саунд-дизайна — не синтез шума шагов, а то, чтобы не затоптать уже записанную речь: автоматические SFX-инструменты обычно кладут сгенерированный слой поверх диалога. Mirelo SFX 2.0 определяет речь в клипе и сохраняет её в итоговой дорожке, вычищая остальной недиалоговый звук — включая музыку, которую видеомодель добавила сама, — а новые эффекты строит вокруг реплик, обрабатывая в том числе даккинг.

Сохранение речи включено по умолчанию для video-to-SFX-запросов; его можно отключить, если нужны только эффекты. Отдельного переключателя «убрать музыку» нет — удаление недиалогового звука заложено в саму логику модели.

Что умеет модель и где её границы

Модель выпущена в трёх вариантах:

• video-to-sound — основной режим: один связный звуковой слой, синхронизированный с видео и выстроенный вокруг существующей речи.
• text-to-sound — когда синхронизация с кадром не нужна (например, эмбиенс) или нужно добавить закадровый звук, который потом выравнивается вручную.
• stem — генерация по одному синхронному звуку за раз, чтобы собирать микс послойно; режим заявлен как готовящийся.

Через Mirelo Studio и API верхняя планка — 10 минут видео; компания заявляет, что звук держит связность на всей этой длине и не распадается на границах склеек, так что готовый монтаж не нужно резать на короткие фрагменты. Для более длинного материала предлагается корпоративный тариф по запросу.

Насколько это лучше того, что уже есть

Mirelo опубликовала результаты слепого сравнения: по 25 привлечённых слушателей на каждую пару, по 30 роликов, выбор между двумя дорожками по качеству звука и попаданию в происходящее на экране, с опцией «ничья». Слушателей набирали на краудсорсинговой платформе с предварительным отбором по точности в аудиотестах. По этим данным SFX 2.0 предпочли дорожке Sony Woosh в 81% случаев, Kling Foley — в 63%, Sonilo — в 46%. В сравнении со звуком, который видеомодели генерируют сами, разрыв меньше: Veo 3.1 Fast — 57%, MiniMax H3 Max — 49%, Flux 3 — 48%, Seedance 2.5 — 47%, Kling — 45%. Тест проведён самим вендором, независимых замеров пока нет, так что цифры стоит воспринимать как заявку компании, а не как внешнее измерение.

Где взять

Помимо Runway и fal, Mirelo SFX 2.0 доступна в собственном плеграунде и редакторе компании, через API и MCP, а также плагинами для Adobe Premiere Pro и DaVinci Resolve; версию для Roblox заявили как готовящуюся. Остальные платформы компания обещает подключить позже.

Почему Runway берёт чужую модель для звука

Платформа с собственной аудиогенерацией добавляет стороннюю. У Runway есть свои инструменты для звука и видеомодели, выдающие аудио нативно, но все они отталкиваются от промпта или от собственной генерации видео, а Mirelo работает от готового кадра — включая тот, который пришёл из чужой модели или с камеры. Для платформы, которая методично подключает к себе модели партнёров, это логичное дополнение: звук перестаёт быть побочным продуктом видеогенератора и становится отдельным слоем, который можно переделать, не трогая картинку.

За этим просматривается более широкий сдвиг. Пока видеомодели учились выдавать звук сразу вместе с картинкой, часть индустрии ставила на обратное — на специализированные модели для аудиослоя, которые работают уже после монтажа. Логика с обеих сторон сходится в одну точку: разделение генеративного ролика на управляемые слои вместо одной неразбираемой выдачи. Сама Mirelo явно целится в этот рынок — её API продаётся командам, которые строят видеоагентов и видеогенеративные платформы.

Практический итог: рутинная часть озвучивания — черновой фоли и эмбиенс под готовый монтаж — становится делом одного прохода. Вероятно, сильнее всего это давит на стоковые библиотеки эффектов и подрядчиков на простых задачах. Выигрывают монтажёры и небольшие команды, которым раньше приходилось выбирать между тишиной и чужой музыкой. Звукорежиссёрская работа при этом остаётся: модель отдаёт сведённый слой, который ещё предстоит вписать в микс, а послойная выдача у вендора пока только в планах.

Что из Mirelo SFX 2.0 заберёте в работу первым?

• Удаление музыки без потери речи
• Фоли по кадрам