Microsoft научился имитировать голос человека

Microsoft объявила новую модель искусственного интеллекта для преобразования текста в речь под названием VALL-E, которая может точно имитировать голос человека при трехсекундном звуковом образце.

Модель генератора речи может сохранять эмоциональный тон говорящего и акустическую среду. Для точного подражания оригиналу, необходим лишь тестовый семпл (голосовой образец ) длинною всего три секунды. Как только VALL-E выучит конкретный голос, он может воспроизводить речь и эмоциональный тон говорящего.

Создатели – ИИ можно использовать для высококачественных приложений преобразования текста в речь, для редактирования, озвучивания текстовых файлов, и для создания аудио контента. Обсуждение клиентов банка на счет звонков в банк от имени клиентов ведут опасение снятие наличных со счетов по голосу с любого банка мира.

Разработчики называют VALL-E «языковой моделью нейронного кодека», основана на технологии EnCodec, о которой Meta* объявила в октябре 2022 года. В отличие от других методов преобразования текста в речь, новая разработка анализирует, как звучит голос человека, делит эту информацию на отдельные компоненты (называемые «токенами»). Затем он использует данные из звукового семпла для «понимания» как должны звучать другие фразы.

Microsoft обучила возможности синтеза речи VALL-E на звуковой библиотеке LibriLight, собранной Meta*. Она содержит 60 000 часов англоязычной речи от более чем 7 000 носителей, в основном взятых из общедоступных аудиокниг.

Компания не предоставила исходный код синтезатора речи для экспериментов, возможно потому что исследователи осознают потенциальный вред, который может принести эта технология. Многие комментаторы поддерживают такую точку зрения.

Признана экстремистской организацией и запрещена на территории РФ.