Сейчас мы расскажем о том, как "умные" эффекты созданные нейросетью способствовали созданию творцами Likee нового тренда в отрасли.
Революция машин под управлением искусственного интеллекта не за горами. И это вовсе не сценарий очередного голливудского фентезийного экшна. Речь идёт о приложении Likee, демонстрирующем короткие ролики. И если ещё пару лет тому назад электронный разум мог лишь рекомендовать материалы, например, в лентах социальных сетей или видеохостингов, то сегодня они уже вполне серьезно положили глаз на святая святых - создание спецэффектов.
И вот уже в августе 2020-го ребята из Likee презентовали внушительный пакет этих самых спецефектов под именем ComicBeats. Они помогут пользователям сети стать героями комиксов, со своими уникальными внешними данными (мимикой и т.п.) спроектированными на образ героя мультфильма. О мотивах сподвигших творцов Likee сваять такое чудо техники и чем оно может быть полезно миру, читайте далее в нашей публикации.
Искусственный интеллект. Почему именно он?
Несмотря на наличие кучи "примочек" для тюнинга роликов в приложениях типа Likee, все эти дополнения грешат одним существенным багом. Они не научены должным образом считывать черты человеческих лиц и их мимику. Ведь по большей части в основе большинства этих программных компонентов заложен мэппинг. То есть эта штука отыщет положение "компонентов" лица и проанализировав полученную информацию выполняет обработку изображения.
Такие вещи может создавать даже полный новичок, но эти творения будут смотреться буднично и универсально на всех персонажах. И тут нас осенило, что если мы и дальше желаем генерировать высококачественные эффекты на нашем сервисе, значит с этой бедой надо что-то делать.
И живые люди-человеки уж точно не могли вдохнуть в нашу идею новую жизнь. Оставалась одна надежда на искусственный интеллект. Он мог не просто совмещать рисунки с людскими лицами, а и в режиме реального времени работать с видео транслируемым прямо с камер и творить из него совершенно необыкновенные вещи, с сохранением индивидуальных особенностей фигурирующих в роликах героев.
Но ещё одним не менее важным преимуществом использования искусственного интеллекта в деле создания спецэффектов является его способность научиться творить такие вещи без нашей помощи. Искусственному интеллекту для работы в этом направлении достаточно предоставить датасет. Это ни что иное, как рисунки из которых впоследствии он сгенерирует будущие эффекты. Следовательно, теперь не нужно тратиться на рисование, а пользователей смартфонов ждёт нечто новое и крутое.
Как мы докатились до американских комиксов
Описанное выше ноу-хау было решено испытывать на комиксах. Мы проанализировали информацию и уяснили для себя, что подобных тематических фильтров на эту тему рынок приложений для трансляции коротких видеороликов до нас не знал. И ближе всех к этому была маска по теме манга, правда невысокого качества и имела уже знакомый нам существенный баг: не делала акцент на индивидуальных чертах людей.
Тогда было принято решение бросить все усилия на изучение американских комиксов с их практически вековым опытом начавшимся ещё в так называемом "Золотом веке" и дошедшим до нашего времени, вдохновляющим многих творцов дорогих полотен. А их фирменная манера рисования в стиле поп-арт просто уникальна. Так мы и пришли к идее создания пакета спецэффектов впоследствии обревшего известность под именем ComicBeats.
Наш процесс творения искусственного интеллекта
С этой, на первый взгляд непростой задачей мы управились примерно месяца за два. Причем, половину этого срока наша команда посвятила написанию алгоритмов.
Над этим проектом работало инженерное бюро в составе полутора десятков специалистов по движкам нейросетей, обучению моделей и созданию дорожных карт на будущее. Они решали три главные проблемы:
обучения искусственного интеллекта методике творения рисунков конкретных стилей с сохранением мимики и антропологии людских лиц;
предельного улучшения опыта пользователей;
оптимизации деятельности системы искусственного интеллекта на всех типах устройств, независимо от их технических параметров.
И именно с последним пунктом у нас возникли ощутимые сложности. Приложению Likee популярности не занимать: у него многомиллионная армия пользователей с разными смартфонами, которые сильно варьируются по мощностям процессоров. Потому, чтобы эффекты шли даже на самых слабых моделях нам пришлось взять на вооружение нейросеть каскадного типа. В нее входит ряд нейронных сетей, и все они поочередно анализируют инфу полученную от своих "предшественниц", а также пакет исходных данных. Таким образом нам удалось существенно разгрузить процессоры при работе с приложением. Для этого нам пришлось генерировать ежедневно по полсотни нейросетей и проверять их на смартфонах разной мощности.
В итоге нашу final version "тянут" даже самые захудалые смартфоны выдающие частоты не более пяти кадров в секунду. Но, и этого хватает для использования эффекта и съёмки нескольких фотографий.
К тому же, настоящей головной болью для нас стала отладка искусственного интеллекта на предмет сохранения конечным продуктом личностных индивидуальных характеристик, а не нивелирования их наложением спецэффектов.
Правда, первые версии наших нейросетей показали себя не с лучшей стороны окрашивая губы мужикам в яркие красные тона и добавляя на женские лица усы.
Что же касается final version, то она уже отлично распознает лица и их мимику и может работать с этим материалом. Ей под силу определить разрез и расположение глаз, пол, цвет кожи и т.п.
Анализируя эту информацию искусственный интеллект уже успешно создал примерно полмиллиона неповторимых рисунков а-ля american comics. Эту возможность удалось реализовать благодаря обучению проведенному очень последовательно: мы занимались генерацией моделей по нарастающей, пока до нашего искусственного интеллекта не дошло, чего же нам надо.
С целью обеспечения скорости и качества работы системы нейросеть была обучена технологии интегрированного моделирования. Она даёт возможность софту производить анализ промежуточных итогов своей деятельности, а в случае необходимости, скорректировать их с оглядкой на датасет (т.е. на примеры комиксов продемонстрированные нами искусственному интеллекту на старте творческого процесса).
К тому же, мы научили нейросеть видеть компьютерным зрением. Таким образом, он теперь обучен фиксировать черты лица и его выражение, положение рук, а также движение в кадре. А дальше работа ведётся в два этапа:
детекция движений;
отслеживание этих перемещений.
Но, прежде чем перейти к обучению мы в ручном режиме проанализировали сотни тысяч документов. Это были комиксы всех времён: начиная с Золотого Века и заканчивая нашими днями. Их мы и положили в основу нашего датасета. И первое, что требовалось от нового интеллектуальной комплекса была разбивка по категориям: перед отправкой американских комиксов она должна была указать ряд стилевых особенностей этого направления.
Проанализировав исходники искусственный интеллект установил, что все образцы имеют ряд общих компонентов: скажем, свободные мазки кистей и применение точечной техники Ben-Day предусматривающей создание черных, желтых, пурпурных и голубых точек, предназначенных для уменьшения стоимости создания дополнительных тонов). Скомпонировав эти навыки с готовой версией искусственного интеллекта нам удалось создать первый набор эффектов на основе ИИ - ComicBeats.
Методика применения технологии
Наш пак ComicBeats состоит из трёх эффектов.
1. Comic Transfo
Искусственный интеллект использует этот эффект с целью распознавания лица пользователя и дальнейшей его стилизации под рисунки из комиксов, чуть лишь заметив момент попадания раскрытой ладони в кадр. И тот час же и человек, и окружающий его антураж будут прорисованы в аутентичной стилистике American comics.
2. Comic Star
А этот эффект можно активировать несколько иным жестом. Кивнув можно переместиться на страницы комиксов, а над головой героя станет виден поп-артовский стикер с эмоциями. Стикеры можно менять по своему усмотрению даже когда записывается видео.
3. Comic Poster
Смысл действия эффекта отображает его название: он способен превращать фото в идеальные поп-арт портреты. И чтобы он сработал хватит и улыбки: нейросеть ее тут же считает и сделает фотку со смартфона стильным постером.
Что в итоге
Новинки эффектов пользователи Likee могли оценить уже с конца августа 2020-го. И в первый месяц после выхода они привлекли внимание 400.000 юзеров, создавших примерно 510.000 роликов. Эти работы были просмотрены 34,6 млн. чел. суммарно около 130 млн. раз.
Русский хэштег #ГеройКомикса дал 4 млн. переходов. А свои поп-арт ролики распространили даже такие звезды российского шоу-бизнеса как RASA, Rauf и Faik и прочие.
Ясное дело, что основным продуктом создателей был все же не пак со спецэффектами, а именно искусственный интеллект. Он может создавать фильтры в любом количестве и с каждым разом это будет происходить все быстрее.
Скажем, если будет необходимость в создании фильтра стиля гжель потребуется дать искусственному интеллекту требуемый объем исходной информации (книжных обложек, изображений тарелок, картин), которая поможет нейросети установить закономерности характерные для этого стиля искусства.
Нам вертится, что созданная нами технология откроет новые творческие перспективы не только перед участниками сети Likee, но и перед маркетологами. Наше творение сделает существенно дешевле процесс создания эффектов высокого качества. К тому же, система находится в постоянном развитии. Уже в обозримом будущем запланировано научить искусственный интеллект узнавать второе лицо попавшее в кадр.
