Новая модель ИИ от Stability AI превращает фотографии в 3D-сцены
Stability AI выпустила новую модель ИИ, Stable Virtual Camera, которая, как утверждает компания, способна трансформировать 2D-изображения в «иммерсивные» видео с реалистичной глубиной и перспективой.
Особенности Stable Virtual Camera
Виртуальные камеры часто используются в цифровом кинопроизводстве и 3D-анимации для захвата и навигации по сценам в реальном времени. С помощью Stable Virtual Camera Stability стремилась добавить генеративный ИИ в микс, чтобы обеспечить больший контроль и настраиваемость, говорится в заявлении компании в блоге.
Stable Virtual Camera генерирует «новые виды» сцены из одного или нескольких изображений (до 32 в общей сложности) под заданными пользователем углами камеры. Модель может создавать видео, перемещающиеся по «динамическим» путям камеры или предустановкам, таким как «Спираль», «Долли Зум», «Движение» и «Панорама».
Ограничения и доступность
Стоит отметить, что текущая версия Stable Virtual Camera, находящаяся в статусе исследовательского предпросмотра, может создавать видео в квадратном (1:1), портретном (9:16) и ландшафтном (16:9) форматах с длиной до 1000 кадров. Stability предупреждает, что модель может давать результаты с более низким качеством в определенных сценариях, особенно с изображениями людей, животных или «динамическими текстурами», такими как вода.
«Сильно неоднозначные сцены, сложные пути камеры, пересекающие объекты или поверхности, и объекты с нерегулярной формой могут вызвать мерцания», — отмечает Stability в своем блоге, — «особенно когда целевые точки зрения значительно отличаются от входных изображений».
Stable Virtual Camera доступна для исследовательского использования по некорпоративной лицензии. Её можно скачать с платформы разработчиков ИИ Hugging Face.
История Stability AI
Stability, компания за популярной моделью генерации изображений Stable Diffusion, в прошлом году привлекла новые средства, когда инвесторы, включая Эрика Шмидта и основателя Napster Шона Паркера, стремились возродить бизнес. Эмад Мостак, сооснователь и бывший генеральный директор Stability, по сообщениям, довел компанию до финансового краха, что привело к увольнению сотрудников, срыву партнерства с Canva и росту обеспокоенности инвесторов перспективами компании.
В последние месяцы Stability наняла нового генерального директора, назначила режиссера «Титаника» Джеймса Кэмерона в совет директоров и выпустила несколько новых моделей генерации изображений. В начале марта компания в сотрудничестве с производителем чипов Arm представила ИИ модель, способную генерировать аудио, включая звуковые эффекты, для мобильных устройств с чипами Arm.
