Sora AI: что умеет нейросеть для генерации видео от OpenAI

Что такое Sora и как она работает

Sora превращает текст в видео. Не набор статичных кадров как старые генераторы, а связную сцену. Персонаж вышел из кадра и вернулся. Он тот же самый, не другой человек в похожей одежде. Это сложнее чем кажется.

Под капотом диффузионная модель на трансформерах. Нейросеть отсмотрела миллионы видео и выучила как предметы ведут себя в трёхмерном пространстве. Она не склеивает картинки друг с другом. Она строит сцену целиком: кадры, движение, свет. Видео разбивается на пространственно-временные патчи, модель убирает шум и предсказывает чистый результат. На выходе можно получить любое разрешение и соотношение сторон без переобучения.

Техническая деталь: Sora работает на diffusion transformers (DiT). Старые модели использовали U-Net и выдавали рваные 2-секундные клипы. Трансформеры лучше улавливают дальние зависимости в данных, поэтому видео получаются длинными и связными.

Что Sora умеет прямо сейчас

Главное что цепляет: длина. Минута видео. Не четыре секунды как у конкурентов, где даже эти четыре приходится склеивать. Минута. Можно развернуть полноценную сцену с началом и концом.

По картинке где-то между хорошим 3D-рендером и почти фотореализмом. Пейзажи выходят красиво, городские съёмки тоже, животные отлично. С людьми сложнее: пальцы иногда изгибаются в странные стороны, мимика плывёт. Но если сравнить с тем что было год назад, прогресс огромный.

Ещё Sora умеет:

• Продолжать существующее видео. Загружаете ролик, а нейросеть достраивает продолжение в том же стиле
• Смешивать две сцены в одну с плавным переходом
• Менять стиль видео. Сняли на телефон, превратили в мультфильм. Или наоборот
• Генерировать в разных форматах: от вертикалки для TikTok до широкоэкранного

Чего Sora пока не может

Сложные взаимодействия. Человек в кадре кусает печенье, а следа от укуса нет. Предметы проходят сквозь друг друга. Ткани и жидкости до сих пор слабое звено.

Текст в кадре нечитаемый. Попросите вывеску с названием магазина, получите мешанину из псевдобукв. Логотипы и надписи не для Sora.

Скорость кусается. Минута видео генерируется десятки минут. Для работы с дедлайнами не годится: ждёшь полчаса, видишь что пальцы поплыли, перезапускаешь.

Управления камерой считай что нет. Режиссёрских инструментов минимум. Не скажешь «сними слева и медленно наезжай». Просто задаёшь текст и надеешься на удачный результат.

Как получить доступ к Sora

На старте Sora была только у тестировщиков и партнёров вроде киностудий. Сейчас OpenAI понемногу открывает доступ владельцам ChatGPT Plus и Pro. Бесплатного тарифа нет и не предвидится.

Для работы нужен аккаунт OpenAI и подписка Plus примерно за $20 в месяц. Сколько генераций входит в тариф, OpenAI не раскрывает. Pro-пользователи получают больше попыток и приоритет в очереди.

Мобильного приложения нет. Только веб-интерфейс на сайте OpenAI. Из России морока: нужен зарубежный номер для регистрации и иностранная карта для оплаты подписки.

Совет: Если прямой доступ к OpenAI заблокирован, можно попробовать сервисы-посредники. Они дают доступ к API или веб-версии Sora через свой интерфейс. Качество генерации то же самое, но цена выше за счёт наценки посредника.

Альтернативы Sora

Пока Sora остаётся полузакрытой, на рынке есть другие сервисы. Они уступают по качеству, зато работают здесь и сейчас.

Если нужно генерировать видео прямо сейчас, Kling AI даёт лучший реализм, Runway Gen-3 хорош в стилизации. Оба проигрывают Sora по длине ролика в 6-12 раз. Зато быстрее и без заморочек с регистрацией.

Ключевой вывод

Sora — сильнейшая видеонейросеть прямо сейчас. Минутные ролики с такой физикой и светом никто из конкурентов не тянет. Но минусов хватает: доступ ограничен, генерация медленная, из России подключаться неудобно. Если видео нужно здесь и сейчас, берите Kling AI или Runway. Если готовы повозиться с регистрацией, Sora стоит усилий.