Seedance 2.0: полный разбор мультимодального ввода
Если вы всё ещё делаете AI-видео с «только текстовыми промптами и бесконечными перегенерациями», вы, вероятно, упускаете ключевое обновление Seedance 2.0. Построенный на единой мультимодальной AV-архитектуре, Seedance 2.0 принимает текст, изображения, аудио и видео в одном workflow — до 12 референсных файлов одновременно (9 изображений + 3 видео + 3 аудиодорожки + инструкции на естественном языке). Для создателей, которым нужен контроль внешности персонажа, движения камеры и AV-синхронизации, мультимодальный ввод — не опция, а прямое влияние на качество результата.
Этот урок Seedance разбирает все четыре модальности ввода, систему @-референсов и типичные производственные сценарии — в том числе через интерфейс китайской версии Seedance.
1. Почему мультимодальный ввод важен сейчас
Многие ранние инструменты принимали только текст. Чем точнее описание, тем больше модель должна была угадывать — внешность, движения камеры, темп музыки. В реальных проектах у команд уже есть look-кадры, референсные клипы, BGM или озвучка, которые нельзя было напрямую подать в модель.
Seedance 2.0 объединяет четыре модальности в одном пути генерации: модель читает семантику текста, визуал изображений, движение видео и язык камеры, а также ритм аудио, затем выдаёт видео с нативными аудиодорожками. По сравнению с 1.5 сложные сцены взаимодействия и движения более применимы — ближе к рекламе, коротким драмам и social workflow.
2. Четыре модальности ввода
2.1 Текст: чётко формулируйте намерение
Текст остаётся основой, но Seedance 2.0 гораздо лучше обрабатывает длинные инструкции, списки планов и стилевые ключевые слова. Вы можете:
- писать полные сценические нarratives (субъект, среда, действие, камера, стиль);
- использовать storyboard-описания нескольких планов;
- связывать @-референсы, назначая каждому ассету роль.
Пример: «@Image1 для лица главного героя, @Video1 для follow-cam движения, @Audio1 как фоновая музыка — персонаж идёт по неоновому ночному рынку, камера следует сзади, затем поворачивается и улыбается в объектив.»
2.2 Изображения: фиксация персонажа и визуального стиля
Изображения — самый частый тип референса. После загрузки look-кадров, сценических досок, бренд-VI или style plates модель извлекает лицо, одежду, цвет и композицию и держит их относительно стабильными между планами.
| Типичное использование | Примечания |
|---|---|
| Образ персонажа | Воспроизведение лица и наряда между планами |
| Референс сцены | Фиксация среды, света и палитры |
| Style plate | Единый визуал рекламы и e-commerce |
| Первый кадр | Контроль opening-композиции |
До 9 изображений; JPG, PNG, WebP.
2.3 Аудио: ритм, диалог и настроение
Seedance 2.0 принимает загруженное аудио и может выводить нативные синхронизированные дорожки. Аудио используется для:
- Фоновой музыки: монтаж и pacing по beat;
- Voiceover/диалога: lip-sync (мандарин, кантонский, английский и др.);
- Ambient SFX: более сильная атмосфера сцены.
До 3 аудиодорожек, общая длина обычно в пределах 15 секунд; MP3, WAV, M4A.
2.4 Видео: визуальный референс камеры и движения
Референсные клипы дают движение камеры, телодвижения, ритм и VFX-стиль — без перевода всего в текст. Типичные случаи:
- follow, orbit, dolly или push-pull камера;
- хореография танца или action;
- продление или дополнение сцен из существующего footage.
До 3 видео, лимиты на клип и суммарно (обычно ≤ 15 с); MP4, MOV.
В реальном производстве комбинируйте modalности под deliverable: короткая реклама часто нуждается в изображении + тексте; музыкальные клипы приоритизируют @Audio1; action-сцены выигрывают от @Video1. Не обязательно загружать все 12 файлов — начните с минимума и добавляйте референсы только при drift.
3. Система @-референсов: каждому ассету — задача
@-референсы делают мультимодальный ввод практичным. После загрузки отметьте @Image1, @Video1, @Audio1 в промпте, чтобы модель знала роль каждого файла, а не угадывала.
| Тег | Типичная роль |
|---|---|
| @Image1 | Лицо / одежда / сцена |
| @Video1 | Движение камеры / темп action |
| @Audio1 | BGM / lip-sync voiceover |
| Текст | История, стиль, длительность |
Комбинированный пример (изображение + видео + аудио):
Использовать first-person framing @Video1 на протяжении всего клипа.
@Audio1 как фоновая музыка, монтаж по beat.
Персонаж из @Image1 идёт по неоновому ночному рынку, камера следует сзади,
стиль движения как в @Video1 — пауза, поворот, улыбка.
Кинематографичный ночной look, насыщенный цвет, малая глубина резкости.Чёткие @-роли значительно улучшают управляемость.
В сложных промптах перечисляйте @-роли до narrative, чтобы заякорить ссылки. В multi-shot описаниях повторяйте теги при смене сцены — напр. «@Image1 сохраняется в shot 2» — чтобы снизить drift. Если audio задаёт ритм, укажите «@Audio1 on the beat»; для camera-heavy работы начните с языка движения @Video1 до действия субъекта. Сначала тестируйте 4–6 с на каждый @, затем расширяйте до 15 с.
4. Ключевые характеристики
| Пункт | Спецификация |
|---|---|
| Модальности ввода | Текст + изображение + видео + аудио |
| Лимит референсных файлов | 12 всего (9 изображений + 3 видео + 3 аудио) |
| Длина клипа | 4–15 секунд |
| Разрешение | 480p / 720p / 1080p (Pro до 2K) |
| Соотношения сторон | 16:9, 9:16, 1:1, 4:3, 3:4, 21:9 |
| Аудио | Нативная AV-синхронизация, многоязычный lip-sync |
| Частота кадров | 24 fps |
5. Три типичных производственных сценария
5.1 Короткий и social контент
Командам часто нужен объём с той же IP и look. Фиксируйте персонажа изображениями, язык камеры — видеореференсом, варьируйте сценарии текстом — быстрее итерации с меньшим числом rerolls.
5.2 Маркетинговые ассеты бренда
Бренды требуют VI-консистентности. Логотип, key visuals и style boards плюс текстовые промпты для рекламных или social клипов с единым тоном — надёжнее, чем только текст.
5.3 Образовательное и knowledge-видео
Загрузите аудио лекции или narration для lip-sync визуала; добавьте референсные изображения сцен — недорогой мультимодальный учебный контент.
6. Старт: workflow из четырёх шагов
- Определите deliverable: реклама, короткая драма, social clip; длительность и aspect ratio.
- Подготовьте референсы: персонаж, камера, BGM по необходимости — не нужны все 12 файлов каждый раз.
- Напишите prompt + @: сначала история, затем привязка ассетов; избегайте противоречивых инструкций.
- Итерируйте малыми шагами: 4–6 с для проверки персонажа и камеры, затем расширение до 10–15 с.
FAQ
В: Нужно ли использовать все четыре модальности?
О: Нет. Достаточно только текста; одного-двух изображений хватит. Комбинируйте по необходимости.
В: Как сопоставляются номера @?
О: По порядку загрузки — первое изображение @Image1, первое видео @Video1 и т.д. Держите нумерацию согласованной в промпте.
В: Гарантируют ли изображения 100% консистентность?
О: Multi-shot консистентность сильно превосходит только текст; сложные multi-subject или экстремальные углы могут drift — используйте фиксированный test set.
В: Появляется ли загруженное аудио в финальном клипе?
О: Модель может следовать ритму аудио и также генерировать нативный диалог, SFX и музыку в зависимости от промпта и режима.
Готовы протестировать мультимодальный ввод? Нажмите кнопку ниже, чтобы открыть Seedance 2.0 — полный мультимодальный workflow, включая интерфейс китайской версии Seedance.
Похожие запросы: Seedance 2.0, урок Seedance, китайская версия Seedance, мультимодальное AI-видео, промпты @ референс.