Клонирование голоса нейросетью: как это работает и какие сервисы попробовать

Как работает клонирование голоса

Нейросеть для клонирования голоса берёт образец записи и учится на нём. Образец это обычно 10-30 секунд чистой речи без фонового шума. Дальше модель анализирует три вещи: тембр (как голос звучит), интонацию (как меняется тон в предложении) и артикуляцию (как произносятся конкретные звуки).

После обучения модель может прочитать любой текст этим голосом. Чем длиннее образец, тем точнее результат. На 10 секундах голос будет похож, но звучать слегка механически. На минуте записи разница с оригиналом почти исчезает.

Технология стала доступной благодаря двум вещам. Первое: появились Text-to-Speech модели которые работают с маленькими датасетами. Раньше для клонирования голоса нужны были часы записей, теперь хватает нескольких секунд. Второе: облачные сервисы убрали технический барьер. Не нужно собирать ферму из видеокарт, всё считается на стороне сервера.

Совет: Для лучшего результата запишите образец в тихой комнате на хороший микрофон. Телефонный микрофон тоже подойдёт, но голос получится более плоским. И говорите в своём обычном темпе, не пытайтесь читать «как диктор».

Бесплатные сервисы для клонирования голоса на русском

Самый популярный бесплатный вариант — ElevenLabs. Дают 10 000 символов в месяц бесплатно, русский язык поддерживается хорошо. Загружаете образец голоса, вводите текст и через пару секунд получаете озвучку. Качество на уровне «не отличить от живого человека», особенно если записать хороший образец.

Второй вариант — Kits AI. Изначально делался для музыкантов (клонирование вокала), но отлично справляется и с обычной речью. Бесплатно дают несколько генераций в месяц, на русском работает достойно. Интерфейс попроще чем у ElevenLabs, но для первых экспериментов хватает.

Третий — Speechify. Это скорее читалка текста с функцией клонирования голоса. Бесплатный тариф ограничен, но клонирование голоса есть. Хорош если вам нужно озвучивать длинные тексты: статьи, документы, книги. Качество русского чуть хуже чем у ElevenLabs, но для озвучки контента норм.

Есть ещё OpenVoice — open-source решение от команды MyShell. Можно развернуть локально, если есть видеокарта с минимум 8 ГБ VRAM. Качество ниже чем у ElevenLabs, но зато бесплатно без ограничений и никто не хранит ваши голосовые данные на стороннем сервере.

Ключевой вывод

Для русского языка лучший бесплатный вариант — ElevenLabs. Если нужно озвучивать много контента, смотрите в сторону локального OpenVoice: настройка сложнее, зато без ограничений и абонентской платы.

Что можно и что нельзя делать с клонированным голосом

С юридической точки зрения ситуация простая: клонировать свой голос можно, чужой без разрешения нельзя. В России пока нет отдельного закона про клонирование голоса, но есть статья 152.1 ГК РФ об охране изображения и голоса гражданина. Если вы склонировали голос другого человека и использовали его публично без согласия, это нарушение.

Практические применения совершенно легальны. Озвучка собственных видео и подкастов: не нужно перезаписывать если ошиблись в одном слове, просто генерируете исправление клонированным голосом. Озвучка презентаций и обучающих материалов. Создание голосового ассистента со своим голосом для умного дома.

А вот выдача клонированного голоса за настоящего при звонке, использование в мошеннических схемах или создание фейковых аудиозаписей — уголовно наказуемо. И технологии определения дипфейков развиваются быстрее чем технологии их создания, так что обмануть систему безопасности голосом из ElevenLabs скорее всего не получится.

Как получить хороший результат

Первое правило: образец должен быть чистым. Никакого эха, фоновой музыки, разговоров на заднем плане. Запишите голос в комнате с мягкой мебелью, ковром и шторами. Они гасят отражения звука и делают запись чище. Телефон для этого вполне годится, главное держите его на расстоянии 15-20 см от лица.

Второе: говорите естественно. Если вы читаете текст для образца монотонно как робот, клон будет говорить так же. Лучше взять фрагмент из живого разговора или прочитать текст с выражением, как вы обычно говорите.

Третье: для русского языка важна артикуляция согласных. ElevenLabs и аналоги иногда «проглатывают» окончания слов, особенно мягкие знаки. Если заметили такое, добавьте в образец слова с трудными сочетаниями: «встреча», «здравствуйте», «чувство». Это поможет модели лучше отработать сложные моменты.

Четвёртое: всегда слушайте результат перед публикацией. Даже лучшие сервисы могут странно поставить ударение в незнакомом слове или запнуться на аббревиатуре. Одного нажатия «сгенерировать» недостаточно, нужен человеческий контроль.

Заметка: Не загружайте один и тот же образец в десять разных сервисов ради теста. Каждый сервис хранит загруженные голоса, и вы теряете контроль над тем где находится ваш голосовой слепок. Выберите один-два сервиса которым доверяете, и работайте в них.

Что дальше

Клонирование голоса быстро дешевеет и улучшается. Ещё пару лет назад нужна была студийная запись на час и команда разработчиков. Сейчас вы записываете 30 секунд на телефон и через минуту получаете голос который не отличить от настоящего.

Следующий шаг который уже появляется в бетах — клонирование с эмоциями. Не просто «прочитай этот текст», а «прочитай грустно», «прочитай с сарказмом», «прочитай как ведущий новостей». ElevenLabs уже тестирует такое для английского, до русского дойдёт через полгода-год.

Если вам нужно просто озвучить текст без привязки к конкретному голосу, клонирование избыточно. Обычные TTS-сервисы вроде SaluteSpeech от Сбера дают отличное качество русского голоса без танцев с образцами. Клонирование нужно когда важен именно конкретный голос — ваш или бренда.