Render.ru
Поддержать
10.1 KЗаписей
68.3 KСледят
33.3 MЗаходов
Кирилл Неподобный

AI восстанавливает лица, используя аудиозаписи

Разное

Ещё более ужасающие в некоторой степени новости из мира AI: сложные алгоритмы теперь могут воссоздавать изображение лица по аудиозаписи говорящего. В статье под названием "Speech2Face: изучение лица по голосу" группа исследователей изучила подход, который может позволить определить черты лица с помощью аудиозаписей.

"Насколько точно мы можем предугадать внешность человека по тому, как он говорит? В этой статье мы изучаем задачу восстановления образа лица человека по короткой аудиозаписи говорящего", — говорится в описании.

Команда, работающая над документом, разработала и обучила нейронную сеть использовать миллионы видео в интернете и в частности на YouTube, на которых говорят люди. Во время обучения их модель выучила корреляции между голосом и лицом, что позволяет ей создавать изображения, которые "отражают различные физические характеристики говорящих, такие как возраст, пол и этническая принадлежность". Как говорится в статье, это делается самоконтролируемым образом с использованием естественного совпадения лиц и речи в интернет-видео без необходимости явного моделирования атрибутов.

1-6.png

2-5-768x1039.png


Буквально на этой неделе мы писали о том, что AI анимирует движение головы по одному кадру.

208
Ещё по теме:
AI создаёт анимации персонажей по записям речи
Adobe учат AI выявлять манипуляции на лице
AI анимирует движение головы по одному кадру
Google учит AI предсказывать глубину в движении
Комментарии:35
по поступлению
1
Alexandre Petrov
30.05.2019 16:10
при распознавании по голосу вообще ни одного попадания, попадает только по этническим и возрастным признакам
0
Бред )
0
Alexandre, форма рта вполне себе совпадает.
1
Alexandre Petrov
30.05.2019 17:05
Илья, вы статью откройте, превьюшка - кликбейт
0
Alexandre, я сдуил по этому изображению из статьи.
0
Alexandre Petrov
30.05.2019 17:07
Илья, смотреть колонку reconstruction from audio
0
Alexandre, я про неё и говорю, что форма рта вполне себе совпадают.
0
Там если почитать, то алгорит работает правильно, если только человек говорить нормальным голосом (соотвествующим внешности человека) на радном языке. Если говорит с акцентом, на другом языке, меняет тембр голоса, то уже будут несовпадения. https://arxiv.org/pdf/1905.09773v1.pdf
0
Забавно, кажется в людях на неосознанном уровне подобный алгоритм есть. Если голос не понравился, к человеку потом симпатия вряд ли уже проявиться.
1
Скоро и не пёрнешь на улице, узнают кто 😎
0
Денис Кезель
30.05.2019 19:37
Полный бред Фото робот грабителей в масках в студию!
0
Денис Кезель
30.05.2019 19:39
Анна, может в вк стоит оставлять звукозапись своей речи на страничке?
0
Денис, если есть необходимость, возможности позволяют.
0
Денис Кезель
30.05.2019 19:41
Анна, а вы оставьте у себя, а я посмотрю (:
0
Артем Никитин
30.05.2019 20:16
Анна, есть и обратное, люди знакомятся в слепую, общаются по телефону, голос просто райский, в реале встречаешься и больше никогда не звонишь )
1
Артем, вроде бы, в этой ситуации, при определенных условиях шансов возникновения все равно больше.
0
Артем Никитин
30.05.2019 20:30
Анна, все очень субъективно
4
1
Алексей, 👍🏻😸
0
Areo Ann
31.05.2019 1:31
Дима, почему?
0
Areo Ann
31.05.2019 1:32
Денис, почему бред? Смысл тот же, что и в случае со статистическим переводом.
111
0
Sun Wind
31.05.2019 2:08
Анна ЧернядьеваЗабавно, кажется в людях на неосознанном уровне подобный алгоритм есть. Если голос не понравился, к человеку потом симпатия вряд ли уже проявиться.

Удивительно точно подмечено.Сам такое,не раз в жизни наблюдал...
111
0
Sun Wind
31.05.2019 2:13
Полный трындец...Вотжеш,матрица не отпускает...и держит и держит...и держит и держит...и держит и держит...🤯🤯🤯🤯🤯🤯🤯
0
Areo, как длина волос и разрез глаз влияют на силу натяжения связок
0
Areo Ann
31.05.2019 8:02
Дима, https://vk.com/wall-168717779_2684 по тем же принципам. Это ведь статистический анализ.
0
Егор Попов
31.05.2019 12:42
Areo, по каким принципам? Например, взять 1 человека, записать его голос, восстановить его портрет (даже допустим, что он будет правильным). А потом возьмём и пострижем его налысо). И каким таким образом его портрет изменится? Голос же одинаковый
0
Areo, хрень а не анализ... Если девушку налысо подстричь она чё басом заговорит???
356
0
Kaplia Pavel
01.06.2019 22:09
Главный вопрос - Нейронка восстановила лица по речи людей на которой ее, собственно, обучали, или по речи людей, которую ей прежде не показывали? Т.к. в первом случае она может просто находить соответствие в своей базе.
106
0
simon310
03.06.2019 11:03
Редкая туфта и выкачивание денег .Вокруг него шуму много, а толка ноль. Все эти "достижения AI" пустые развлечения для недалеких людей, и отличный доход для хитрых проходимцев. Мол, "Смотрите, прототип какой, почти работает. Дайте нам 10 лет и миллиард долларов"). И тут пошли гранты от правительства.
316
0
Мятный Дворецкий
03.06.2019 11:08
Серебряный спонсор
simon310Редкая туфта и выкачивание денег .Вокруг него шуму много, а толка ноль. Все эти "достижения AI" пустые развлечения для недалеких людей, и отличный доход для хитрых проходимцев. Мол, "Смотрите, прототип какой, почти работает. Дайте нам 10 лет и миллиард долларов"). И тут пошли гранты от правительства.

Такие же люди как вы, также говорили про машины, самолеты, антибиотики, полеты в космос.
106
0
simon310
03.06.2019 11:18
Мятный Лакей
Такие же люди как вы, также говорили про машины, самолеты, антибиотики, полеты в космос.

Это не имеет ничего общего ни с машинами, на с самолетами, ни с антибиотиками. При этом, заметьте - ни одно их этих изобретений не получало грантов). ДВС сделали параллельно несколько изобретателей на "коленке". Братья Райт сами построили и сами полетели. Антибиотики вообще случайно открыли. Реактивная тяга известна была давно, просто благодаря военному финансированию это технически довели до ума.
AI совсем иная сфера, это как и "стволовые клетки" в медицине. Т.е идея отличная! Но тысячи ушлых медиков по всему миру, используя страсть людей к "омоложению" и "вечной" жизни десятилетиями получают гранты, очень красиво и убедительно выступают. Только никакого толка, одни разоблачения и подтасовки исследований.
Есть наука, а есть полукоммерческая околонаука (лженаука).
4
0
netgoblin
03.06.2019 12:58
Исследователи не солгали. Эксперимент ещё идёт и пока всё что они могут это определить пол, возраст и этногруппу. В любом случае это прогресс для железки. Но восстановление лица по голосу навряд ли возможно.
0
Алексей, 😄
104
0
Amfitrion
05.06.2019 14:28
Серебряный спонсор
Радует, что прическа тоже распознается
2
0
netgoblinИсследователи не солгали. Эксперимент ещё идёт и пока всё что они могут это определить пол, возраст и этногруппу. В любом случае это прогресс для железки. Но восстановление лица по голосу навряд ли возможно.

Во всяком случае, цель эксперимента - определение общих черт, а не полное определение личности.
2
0
Дима ВасилевскийAreo, как длина волос и разрез глаз влияют на силу натяжения связок

Никак. Человек может менять форму и длину прически по собственному усмотрению благодаря времени и парикмахерам. Кстати, все зависит от того, как человек обучался тому или иному языку с детства. Например, есть азиаты, которые говорят на русском превосходно без акцента. Однако, при этом, у них ужасный акцент по своему родному языку. Или, например, европейцы, которые говорят на якутском. Хотя, акцент у тех и других все равно будет заметен частично. Или нет?
Kaplia PavelГлавный вопрос - Нейронка восстановила лица по речи людей на которой ее, собственно, обучали, или по речи людей, которую ей прежде не показывали? Т.к. в первом случае она может просто находить соответствие в своей базе.
Цель нейронной сети - нахождение различий между этническими группами по голосу. Да, данные вносятся в базу, но конечная цель - выстраивание корреляции на основе собранных данных. Однако, это будет для него нелегкой задачей.