Автоматический монтаж сторис ИИ: поручаем нарезку видео агенту
«Зачем мне расписывать ему секунды для нарезки, это капец как долго». Так отреагировала совладелица туристической компании на встрече, когда мы обсуждали нарезку роликов для соцсетей.
Ее супруг тратит свободные вечера на просмотр длинных исходников. Он ищет удачные моменты, режет их по несколько десятков секунд и собирает видео. Семья из-за этого постоянно теряет личное время. Совладелица пришла с запросом на автоматический монтаж сторис нейросетью, чтобы загружать видео и получать готовый результат.
Она переживала насчет точных команд для нейросети. Например, отрезать с пятой минуты по седьмую, склеить с десятой минутой и наложить фильтр. Такой подход не решает проблему. Человеку все равно нужно отсмотреть исходник от начала до конца.
Я предложил сделать ИИ-агента.
В чем отличие агента от обычной программы
Обычная программа выполняет жесткий сценарий. Вы даете ей файл и просите нарезать куски по тридцать секунд каждые две минуты. Она нарежет. В этих кусках может оказаться тишина, смазанный кадр или половина слова. Программа не понимает смысл происходящего на экране.
Агент работает иначе. Он получает длинное видео на сервере и текстовое описание результата. Дальше он действует как живой помощник.
Возьмем для примера работу стажера. Вы просите его сделать смешной ролик на полминуты про горы. Стажер садится, смотрит весь материал, находит шутки, красивые виды и собирает ролик. Агент делает ровно то же самое, только быстрее и без перерывов на кофе.
Как агент выбирает кадры
«Хочу, чтобы он не глядя сам выбирал крутые файлы и моменты на тридцать секунд.»
Именно так автоматический монтаж сторис нейросетью работает на практике. Вы не прописываете тайминги. Вы пишете агенту задачу. В ней вы подробно указываете критерии крутого момента для вашего бизнеса.
Например, просите искать кадры со смеющимися на фоне моря туристами. Или моменты с забавными байками от гида.
Агент переводит голос из видео в текст и анализирует кадры. Он читает расшифровку, находит нужную байку, понимает место ее начала и конца. Затем берет этот фрагмент, вырезает его и накладывает субтитры.
- Вы загружаете сырой материал на сервер
- Пишете задачу простыми словами
- Агент сам смотрит исходник, режет его и отдает готовый файл
Если ролик получился скучным, вы не переделываете его руками. Вы пишете агенту задачу добавить больше динамики или убрать длинные паузы. Он пересобирает видео по новым правилам.
Мы договорились попробовать такой подход для туристической компании. Супругу больше не придется сидеть с видеоредактором по вечерам.
Люди часто боятся поручать задачи нейросетям из-за страха стать программистами. Им кажется обязательным писать сложный код или высчитывать секунды до миллисекунд. На практике вы общаетесь с агентом как с толковым сотрудником, который не устает от рутинной работы.