Що таке ротоскопія? Ротоскопія - це техніка анімації та візуальних ефектів, коли художники обводять кадри живої дії, отримуючи реалістичний рух[1]. Простими словами, вона передбачає ручне малювання або маскування елементів у кожному кадрі відео, щоб ці елементи могли бути ізольовані або стилізовані. Спочатку аніматори проектували фільми на скляну панель і обводили контури на папері, використовуючи пристрій, званий ротоскоп, винайдений Максом Флейшером у 1915 році[1]. Сьогодні цей процес є цифровим, але назва “ротоскопія” досі застосовується. Технічно, сучасна ротоскопія часто означає створення точного мату (маски) для об'єкта у відео, щоб його можна було екстрагувати з фону та комбінувати на іншому фоні[2]. Ця техніка широко використовується у кіновиробництві, відеопродукції та навіть цифровому маркетингу для досягнення ефектів, які було б важко або неможливо отримати в одному кадрі.

У цьому всеосяжному посібнику ми розглянемо ротоскопію як у простих, так і в технічних термінах, дослідимо її історію від ранньої анімації до сучасних візуальних ефектів і обговоримо звичайні вживання в кіно, відео та маркетингу. Ми також підкреслимо труднощі виконання ротоскопії вручну та те, як нові інструменти на основі ШІ революціонізували робочий процес. Детальний розділ представить Онлайн інструмент для ротоскопії VIIDO – його можливості, переваги та ідеальних користувачів – як яскравий приклад сучасних технологій ротоскопії. Ми порівняємо ручну та AI ротоскопію, надамо практичні приклади і підсумуємо все це закликом до дії, щоб використовувати сучасні інструменти ротоскопії.

Розуміння техніки ротоскопії

В основі ротоскопії лежить обведення або маскування відеоматеріалів кадр за кадром. У класичному контексті анімації художник буквально малює на кінозйомці, щоб створити анімаційні послідовності з реалістичним рухом[1]. Наприклад, ранні аніматори знімали живого актора, який виконує дії, потім проектували фільм на поверхню і обводили контур актора в кожному кадрі. Цей накладний процес створює дуже реалістичну анімацію, оскільки захоплює нюанси реального руху.

У сучасних візуальних ефектах (VFX), ротоскопія зазвичай означає ручне створення непрозорого мата або маски навколо об’єкта у відео[2]. Обводячи контур людини або об'єкта (часто за допомогою програмного забезпечення), художник VFX отримує вирізка цього елемента. Цю маску можна потім використовувати для ізоляції елемента від його фону, щоб його можна було помістити на інший фон або щоб ефекти могли бути застосовані до нього незалежно[2]. Наприклад, художник ефектів може ротоскопувати актора з сцени, щоб вставити інший фон за ним або щоб застосувати корекцію кольору лише до актора.

Простими словами: Ротоскопія схожа на цифрове вирізання елементів з відео. Якщо ви коли-небудь використовували функцію “видалення фону” на фото, уявіть, що ви робите те ж саме на кожному кадрі відео – традиційно вручну. Це дозволяє кінематографістам та редакторам об’єднувати окремі візуали, змінювати фони або створювати уявні послідовності. Незалежно від того, виконується це вручну або за допомогою програмного забезпечення, ротоскопія вимагає уважного ставлення до деталей, щоб забезпечити точність обведених контурів, поки об'єкт рухається у відео.

Історія ротоскопії: Від ранньої анімації до сучасної VFX

Ротоскопія має багатий історичний фон, що починається на початку 20-го століття. Цю техніку винайшов аніматор Макс Флейшер у 1915 році як спосіб зробити анімацію мультфільмів більш реалістичною[3]. Оригінальний пристрій ротоскопа Флейшера проектував кадри живого фільму на скляну підставку, на якій аніматор міг обводити зображення. Використовуючи цей метод, Флейшер славно зняв свого брата Дейва (одягненого як клоун) і обводив кадри, щоб створити одного з перших ротоскопованих персонажів мультфільму: Коко-клоуна[4]. У той час це було революційно – це дозволило створювати плавний, реалістичний рух у анімаційних фільмах, що було важко досягти, малюючи лише з уяви.

Незважаючи на те, що ротоскопія була задумана як коротка технологія для аніматорів, рання ротоскопія виявилася надзвичайно трудомісткою та затратною, оскільки кожен кадр все ще доводилося малювати з точністю[5]. Насправді, цей процес був настільки трудомістким, що в певному сенсі це не виправдовувало сенс бути «швидким шляхом». Флейшер спочатку зберіг техніку ротоскопії ексклюзивною для своєї студії (іноді її називали «Процес Флейшера»). Але після того, як його патент сплив у 1934 році, інші студії з радістю взяли ротоскопію[6]. Наприклад, Студія Уолта Діснея широко використовувала ротоскопію у Снігуронька та сім гномів (1937), щоб досягти більш реалістичної анімації людей[6]. Багато сцен Снігуроньки – як танці та рухи принца – були намальовані, обводячи кадри з живих зйомок акторів[7]. Це призвело до вражаюче плавного руху, хоча це також сприяло перевищенню бюджету фільму через складність техніки[6].

Протягом середини 20 ст. ротоскопію продовжували використовувати в анімації та спеціальних сценах. Кілька відомих прикладів підкреслюють її креативні застосування. Режисер Ральф Бакші сильно покладався на анімацію ротоскопії у своїх фільмах 1970-х та 80-х років – таких як Чарівники (1977) та Володар перснів (1978) – щоб досягти складних бойових сцен та реалістичного руху на обмеженому бюджеті[8]. Ці фільми включали зйомки живих акторів, а потім їх обводили, щоб створити стилізовані анімаційні фантастичні послідовності. Ця техніка надає анімації Бакші жорсткий, реалістичний відтінок, який відрізняє їх від більш традиційних мультфільмів.

Ротоскопія також знайшла своє місце в експериментальному мистецтві та музичних медіа. Яскравим прикладом є музичне відео “Take On Me” гурту a-ha 1985 року, яке поєднало живі дії з анімацією в стилі олівця через ротоскопію. У цьому культовому відео аніматори старанно обводили близько 3 000 кадрів живих зйомок, щоб об’єднати намальований світ з реальністю[9][10]. Результат був візуально приголомшливим і став лауреатом премій, що зачарувало глядачів – справжня демонстрація унікальної естетики анімації ротоскопії.

До кінця 20 століття та в 2000-х роках ротоскопія перетворилася з чисто анімаційної техніки на основний елемент візуальних ефектів і пост-продукції. З появою комп’ютерів та цифрових композитних інструментів процес ротоскопії став трохи простішим та точнішим (без проектів на скло та нерівних ліній – художники тепер могли малювати маски за допомогою програмного забезпечення). Однак у багатьох випадках це залишалося ручним завданням кадр за кадром. Навіть коли техніки блакитного/зеленого екрану (хрома-ключ) стали звичними для розділення акторів від фону, ротоскопія все ще широко використовувалася для налаштування та очищення матів або для обробки випадків, коли зелені екрани не були виправдані[11].

Класичним прикладом з історії кіно, що підкреслює важливість ротоскопії у VFX, є створення ефектів світлового меча в оригінальній трилогії Зоряних війн. У Зоряні війни: Епізод IV – Нова надія (1977) світячася енергія меча була досягнута шляхом ротоскопії кожного кадру фільму[12]. Актори тримали справжні палички як реквізити, і художники ефектів обводили паличку в кожному кадрі і потім додавали світловий ореол до цього контуру[13]. Ця трудомістка рутинна ротоскопія наділила зброю джедаїв її культовим яскравим сяйвом[12]. Те ж саме було зроблено для наступних фільмів Зоряних війн; наприклад, ротоскопію використовувались для вставки AT-AT пішоходів на Хоті та для композитування принцеси Леи в сцени Rogue One, використовуючи кадри з більш старих фільмів[14]. Ці приклади показують, як ротоскопія переплітає реальне з фантастичним в кінематографі.

Протягом більш ніж століття ротоскопія довела свою універсальність: спочатку надаючи реалістичний анімований рух, а пізніше - забезпечуючи безшовні візуальні ефекти у фільмах живої дії. Процес завжди був ретельним – в старі часи армії художників проводили тижні, обводячи кадри вручну. Сьогодні комп’ютери замінили ручку та папір, але до нещодавнього часу роботи ротоскоперів все ще потрібно було малювати маски практично на кожному кадрі. Ця довга історія закладає основу для того, як зараз використовується ротоскопія і чому недавні досягнення (такі як автоматизація) мають таке велике значення.

Загальні вживання ротоскопії у кіновиробництві та відеопродукції

Ротоскопія відіграє значну роль у кіновиробництві та відеопродукції, особливо в сфері візуальних ефектів. В основному, коли кінематографісти потребують відокремлення або зміни частини кадру після його зйомки, ротоскопія є однією з технік. Ось деякі з найбільш поширених вживань:

• Створення матів для композитингу: У візуальних ефектах однією з основних функцій ротоскопії є створення мата (маски) для конкретного елемента, щоб його можна було об'єднати з різними фонами або елементами. Кінематографісти використовують ротоскопію, щоб екстрагувати персонажів або об'єкти з однієї сцени та помістити їх в іншу[15]. Наприклад, акторів, знятих на місці, можна ротоскопувати та потім композитувати на цифровому фоні пізніше. Це корисно, якщо зелений екран не використовувався або якщо потрібно додаткове ізоляція. Ротоскопія також використовується для видалення фонів з кадрів або для ізоляції елементів переднього плану для кольорокорекції (щоб можна було коригувати колір актора окремо від фону).
• Візуальні ефекти та фантастичні сцени: Ротоскопія дозволяє створювати всілякі креативні ефекти, які виконуються шляхом малювання або анімації поверх живої дії. Як згадувалося, світлові мечі з Зоряних війн були ручними ротоскопами для додавання ефекту свічення світла на мечі реквізиту акторів[12]. Інший приклад: у фільмі Хто підставив Роджера Рабіта (1988), хоча більша частина використовувала анімацію та композитинг, ротоскопія, ймовірно, використовувалася в місцях, щоб точно налаштувати взаємодію між анімованими персонажами та живими кадрами. Кожен раз, коли ви бачите ефект, як світловий ореол навколо людини, блискавки, магічні енергетичні поля тощо, існує велика ймовірність, що художники ротоскопували частини кадру, щоб або додати ефект, або замаскувати персонажів, щоб ефект міг з'явитися позаду або навколо них. Ротоскопія надає кінематографістам можливість створювати сцени або ефекти, які в іншому випадку було б важко, дорого або неможливо зняти в кадрі[16]. Це рамка безпеки та креативний інструмент – від приховування тросів каскадерів до додавання уявних істот.
• Видалення небажаних елементів (Paint-Out): Ще одне поширене використання - це робота з "paint-out" або видалення об'єктів. Припустимо, мікрофон опускається у кадр, або видно трос каскадера, або (знамените) на зйомках залишена кава – VFX художники можуть ротоскопувати цю область та замалювати її. Наприклад, режисер Мартін Скорсезе вдався до ротоскопії на етапі постпродакшну, щоб видалити шматок бруду (або шматок кокаїну), що застряг на обличчі актора, обводячи та видаляючи цей елемент кадр за кадром[17]. Маски ротоскопів визначають область для внесення змін. Аналогічно, троси, що використовуються в сценах з каскадерами, часто видаляються шляхом ротоскопування навколо актора та видалення троса в кожному кадрі.
• Моушн графіка та стилізовані відеоефекти: Поза важкими VFX, ротоскопія також використовується в загальному відеопродукції та моушн графіці. Редактори можуть ротоскопувати людину у відео, щоб створити ефект вирізаного силуету, перетворити кадри в стилізований "мультяшний" вигляд або застосувати різні обробки фонів. Наприклад, музичне відео може ізолювати танцюриста з кадру, а потім замінити фон крутючими кольорами або графіками – ця ізоляція може бути зроблена шляхом ротоскопії танцюриста.
• Креативні переходи: Ротоскопія може використовуватися для створення креативних переходів під час монтування. Уявіть сцену, де актор стрибає, і під час стрибка фон змінюється – редактор може ротоскопувати актора і переходити до фону під ним під час стрибка. Це своєрідний технічний магічний трюк для глядача, виконаний з ретельним маскуванням.

У підсумку, ротоскопія у кіно/відео зазвичай стосується контролю. Вона надає творцям можливість хірургічно маніпулювати візуалами: чи то замінюючи фони, накладаючи елементи, перефарбовуючи конкретні частини сцени чи додаючи намальовані деталі. Артист ротоскопії в студії VFX може проводити свій день, обводячи акторів, реквізити та тіні, кадр за кадром, щоб допомогти інтегрувати всі елементи складного кадру.

Щоб підкреслити важливість ротоскопії у виробництві, варто зазначити, що навіть з сучасними цифровими інструментами, такими як хрома-ключ, багато блокбастерів досі покладаються на команди ротоскоперів. Великі фільми з багатьма VFX (подумайте про Marvel або науково-фантастичні епопеї) часто мають послідовності, де актори не були зняті на зеленому екрані, але їх потрібно згодом відокремити від оригінального фону – ротоскопія є рішенням. Це трудомістко, але дозволяє режисерам отримати величезну гнучкість на етапі постпродакшну.

Конкретний приклад: в Avengers: Endgame, якщо кадр супергероя спочатку не містив зеленого екрану, але режисери пізніше вирішують підсилити фон за допомогою CGI-руйнування, художники ротоскопують акторів з оригінального кадру, щоб CGI-вибухи чи силует могли бути вставлені позаду них. Це використання є поширеним у сучасному кіномистецтві.

Ротоскопія в цифровому маркетингу та рекламі

Окрім кіно та телебачення, ротоскопія також стала популярною технікою в цифровому маркетингу, рекламі та іншому креативному відео. Маркетологи та рекламодавці завжди шукають візуально привабливі способи розповісти історію або представити продукт, а ротоскопна анімація пропонує унікальне поєднання реалістичності та художності, яке може привернути увагу аудиторії.

Однією з основних переваг ротоскопії в маркетингу є те, що вона зливає реальність з уявою в безшовний спосіб[18]. Оскільки техніка починається з реальних кадрів, результат зберігає відчуття реалістичності – реальні людські рухи, реальні деталі продукту – але, обводячи або стилізуючи це відео, фінальний вигляд отримує художній, майже ручний відтінок. Ця впізнавана естетика відразу ж виділяється серед типовим відео з живими акторими[19]. Глядачі можуть помітити, що щось виглядає як реальність, але також як мультфільм одночасно, що може бути дуже привабливим. Наприклад, деякі бренди використовували часткові ефекти ротоскопу, де живий актор раптом переходить у анімований ескіз або має анімовані елементи навколо себе; це створює пам’ятний візуал, що залишається в пам’яті глядачів.

Сценарії використання реклами: Ротоскопія часто використовується для підкреслення продуктів або людей у рекламних роликах. Рекламодавець може ротоскопувати продукт (скажімо, автомобіль або взуття), щоб ізолювати його, а потім помістити його в усілякі фони або графічні середовища без повторних зйомок кожного разу. У світі рекламних роликів, ротоскопія може створити безшовне поєднання продукту з будь-яким обраним фоном – змушуючи виглядати так, ніби продукт дійсно був відзнятий в цій обстановці[20]. Наприклад, автомобіль у рекламному ролику може бути знятий на простому фоні, а потім ротоскопений, щоб вставити автомобіль у екзотичні місця або сюрреалістичні пейзажі в постпродакшн. Аудиторія бачить автомобіль, який ідеально інтегрований у нову сцену, і це виглядає реалістично, оскільки зображення автомобіля реальні – лише фон був змінений.

Анімація ротоскопа також була прийнята як стилістичний вибір для розповіді бренду. Вартий уваги кейс у рекламі – серія рекламних роликів Charles Schwab “Talk to Chuck” (близько 2008 року). Ці реклами були зняті в живу, але потім ротоскоповані в стиль анімації з високим контрастом і ескізом. Результат був естетично привабливим; насправді, CMO Charles Schwab зазначив, що багато глядачів могли згадати сцени та діалоги з реклами, оскільки візуальний стиль був таким відмінним[21]. Вигляд ротоскопу допоміг простій рекламі фінансових послуг прорватися через засміченість, відчуваючи себе як рухомий графічний роман. Це демонструє, як рекламні агентства використовують анімацію ротоскопії, щоб зробити реклами більш пам’ятними та привабливими[22][23]. Ця техніка дозволила підкреслити певні деталі в анімації (як акцентування уваги на спікері), використовуючи природний рух та вирази живих акторів для автентичності.

Соціальні медіа та цифровий контент: У епоху Instagram, TikTok та YouTube, маркетологи та творці контенту також звертаються до ротоскопії (або ефектів подібного до ротоскопії), щоб створити візуали, які можна поділитися. Коротке відео в соціальних мережах може ротоскопувати основний об'єкт, щоб застосувати креативний фільтр або замінити фон елементами бренду тощо. Оскільки ротоскопія може бути трудомісткою, її не використовують для кожної дрібниці, але коли бренд хоче ефект «вау» – можливо, анімований інфографік, змішаний з реальним відео або реклама у стилі музичного відео – це потужний підхід. Більше того, сучасне програмне забезпечення та ШІ почали спрощувати процес ротоскопії, роблячи його швидшим і доступнішим для маркетингових команд на термінах[24]. Це означає, що навіть короткі рекламні кампанії або більш дрібні бренди можуть задуматися про використання ефектів ротоскопу без обтяжливих витрат або часу.

Чому маркетологи люблять анімацію ротоскопу:

• Вона приваблює увагу: напіванімований вигляд може зупинити прокручування пальців на соціальних платформах. Відео ротоскопу часто має "креативну" або "художню" атмосферу, що інтригує глядачів, ведучи до кращої взаємодії[19].
• Вона покращує розповідь: маркетологи можуть ілюструвати абстрактні концепції, малюючи над реальністю. Наприклад, реклама охорони здоров'я може мати ротоскопованого персонажа з анімованими діаграмами, що обертаються навколо них, щоб показати внутрішній процес – поєднуючи справжню людину з ілюстративною графікою.
• Вона може спростити виробництво: Несподівано, ротоскопія може бути економічною в деяких сценаріях[25][23]. Якщо у вас вже є живі кадри, застосування анімації ротоскопу може бути дешевшим, ніж створення повністю анімованого відео з нуля або створення дорогих сетів для зйомки. Це дозволяє використовувати "існуюче відео" новими креативними способами, потенційно заощаджуючи на повторних зйомках або витратах на місце[25]. Багато брендів повторно використовували старий відео-контент, ротоскопуючи його та надаючи йому свіжий анімований вигляд.
• Вона є універсальною в різних галузях: Модні бренди використовують ротоскопію, щоб живі моделі виглядали як рухомі ескізи в останніх дизайнах. Технічні компанії можуть використовувати це для візуалізації даних або процесів над реальними офісними кадрами. Музичні відео, фінансові реклами, неприбуткові організації – всі знайшли унікальні способи реалізації контенту в стилі ротоскопу для передачі своїх повідомлень у привабливому візуальному форматі[26][27].

Щоб привести ще один приклад впливу: Музичне відео/реклама для серіалу Amazon Prime Undone (2019) використовувало повну ротоскопну анімацію (так само як A Scanner Darkly у 2006 році) для створення мрійливого, сюрреалістичного вигляду, який розмиває реальність – ідеально підходить для історії про подорожі в часі та особисту драму. Рекламна кампанія використала той же стилю ротоскопування для виділення на глядачів[28]. Це підкреслює остаточний момент: ротоскопія може викликати емоції та настрій, які можуть бути недоступними для чистої живої дії або чистої анімації. Вона живе в гібридному просторі, який може бути ностальгічним, художнім або надприродним, залежно від виконання.

У підсумку, для маркетингу та реклами ротоскопія пропонує палітру креативних можливостей: одну, яка поєднує достовірність реальних кадрів з художньою свободою анімації. Вона допомагає брендам розповідати історії в привабливих візуальних способах, будь то пояснення складної ідеї з ясністю або створення сміливого художнього висловлювання. Оскільки технології покращуються, навіть маленькі команди можуть експериментувати з ротоскопією, щоб відрізнити свій контент – тенденція, яка, ймовірно, зросте з автоматизацією.

Виклики ручної ротоскопії

Тепер вже зрозуміло, що ротоскопія є потужною, але також важливо зрозуміти, чому вона здобула репутацію однієї з найнудніших задач у кіновиробництві та відеопродукції. Традиційна ротоскопія (і навіть цифрова ручна ротоскопія) є зловісно часозатратною та трудомісткою[29].

Уявіть собі 10-секундний відеокліп, знятий зі швидкістю 24 кадри на секунду – це 240 окремих кадрів. Якщо вам потрібно обвести об’єкт у кожному з цих кадрів, вам доведеться намалювати 240 окремих масок, коригуючи кожну для руху об’єкта. Для 5-хвилинної сцени це тисячі кадрів, з якими потрібно впоратися. В результаті, ручна ротоскопія може займати години або навіть дні роботи лише для кількох секунд відео[29]. Художники VFX часто згадують ротоскопію як “трудомістка” – це кропітка, що вимагає серйозної концентрації, і часто відчувається так, ніби лягаєш на цифрове обведення або нарізання на тривалі розтягування.

Деякі ключові виклики виконання ротоскопії вручну включають:

• Коригування кадр за кадром: Навіть за допомогою програмних інструментів для малювання масок художник часто мусить коригувати маску для кожного кадру (або кожних кількох кадрів), щоб підтримувати її вирівняння з рухом об’єкта. Люди та об'єкти у відео рідко мають однакову форму або розмір через зміни перспективи, розмиття руху та рух камери. Тож маска, яка підходила навколо людини на кадрі 1, не підходить ідеально на кадрі 5 – її потрібно коригувати. Це означає величезну кількість повторювальної роботи.
• Ретельна увага до деталей: Хороша ротоскопія вимагає точності. Якщо мат (маска) навіть трохи помилково, ви можете побачити "оракли" або частини фону, які просвічуються, коли ви композируєте об’єкт на новому фоні. Тонкі деталі, такі як волосся, напівпрозорі тканини чи краї з розмиттям руху, особливо важкі. Художник може витратити надмірну кількість часу, обережно аніміруючи мастику навколо волосся, яке дме на вітрі, або навколо перекриваючих кінців групи людей. Це щось на кшталт цифрової хірургії з дуже маленьким скальпелем.
• Втома та людська помилка: Повторювальний характер обведення кадру за кадром може призвести до втоми, а втома може призвести до помилок. Легко для ротоскопера втратити контроль за якимось пунктом і допустити, щоб форма маски колихалася або відпливала. Ці “коливання” або непослідовності потім вимагають повторного відвідування та виправлення, що є втрачений час[5]. Послідовність є критично важливою – форма мата повинна залишатися стабільною, якщо об'єкт сам по собі дійсно не змінює свою форму. Переконатися у цій послідовності важко, коли виконується вручну.
• Високі вимоги до навичок: Хоча ротоскопія може бути навчена молодшим художникам, якісно її виконати - це навичка. Досвідчені артисти ротоскопії знають техніки, що пришвидшують роботу (як-от використання трекінгу руху для допомоги, або розбивання складного об’єкта на кілька простіших масок). Вони також розвивають око для того, щоб впоратися зі складними моментами. Однак через те, що це так трудомістко, студії часто призначають молодших художників або аутсорсінг завдання ротоскопії ротоскоперам-спеціалістам[30]. Це тому, що час досвідчених артистів є дорогим, а ротоскопія, будучи по суті механічною роботою, вважається такою, що можна віддати на аутсорсинг. Але навіть так якість потрібно перевіряти, і внесення змін - звична справа.
• Часові та витратні наслідки: Усі вищезгадані фактори означають, що ручна ротоскопія може стати вузьким місцем у пост-продукції. Якщо проект має багато потреб у ротоскопії, це або сповільнює графік, або вимагає найму більшої кількості артистів для розподілу роботи. Це зумовлено підвищенням витрат. В індустрії є анекдоти про кадри, які вимагали тижні ротоскопійської роботи лише для кількох секунд відео. Наприклад, музичне відео Take On Me, що ми згадували, зайняло 16 тижнів для команди аніматорів – хоча й у дуже художній манері, але це ілюструє крайні зусилля, які можуть знадобитися[31]. У VFX команди іноді проводять місяці, ротоскопуючи складні бійцівські сцени або сцени натовпу, коли інші методи (як зелений екран або матриці різниці) не є доступними.

З огляду на ці виклики, не дивно, що ротоскопія часто вважається “необхідним злом” у кіновиробництві. Це важливо для багатьох ефектів, але з художньої точки зору це нудно. Насправді, історично більшість ротоскопії виконувалося за допомогою програмного забезпечення, такого як Adobe After Effects, Nuke або Silhouette – всі з яких надають кращі інструменти для малювання та трекінгу, ніж робити це на папері, але все ще вимагають, щоб художник малював форми і анімував їх з часом. Ви можете обвести щось на кадрі 1 і кадрі 10 та дозволити комп'ютеру интерполювати, але потім потрібно виправляти проміжні кадри тощо.

Щоб узагальнити цю муку: ручна ротоскопія - це трохи як анімація у зворотному напрямку. У звичайній анімації ви малюєте об'єкт, що рухається. У ротоскопії об'єкт рухається в кадрі, а ви малюєте контури, щоб відповідати йому. Це повільно, це засноване на деталях, і це повинно бути ідеально, щоб виглядати правильно. Один джерело описує це як “кропіткий ручний процес, що вимагає ретельної уваги, часто вимагаючи годин або навіть днів часу та зусиль відеоредактора, щоб удосконалити лише одну сцену”[29]. Це вдало відображає ситуацію – одна сцена, багато днів.

Саме тому існував інтерес до спрощення ротоскопії. І ось тут технології в останні роки почали запропонувати полегшення: автоматизація та ШІ.

Як автоматизація та ШІ покращили робочі процеси ротоскопії

Протягом останніх кількох років сучасні досягнення в програмному забезпеченні та штучному інтелекті почали революціонізувати ротоскопію. Завдання, які раніше займали години, тепер можуть виконуватися за кілька хвилин (або секунд) завдяки інтелектуальним алгоритмам, навченим виявляти та відстежувати об'єкти. Цей зсув є переворотом для відеоредакторів та художників VFX, перетворюючи ротоскопію з важкої роботи на більш спрощену частину робочого процесу[32][24].

Сучасні програмні засоби для допомоги в ротоскопії: Навіть перед тим, як ШІ став модним словом, було розроблено інструменти для допомоги в ротоскопії. Наприклад, трекинг руху міг допомогти, відстежуючи точку або форму, таким чином, щоб художникові не доводилося вручну переміщати маску на кожному кадрі. Планарні трекери (як той, що в Mocha Pro) могли відстежувати пласкі поверхні або об'єкти та поширювати ротошейпи по кадрам. Ці інструменти економили час, але все ще вимагали ручного коригування. Функції "тунельного взгляду" дозволяли художникам бачити попередній та наступний кадри накладеними, щоб коригувати форми більш послідовно[33]. Все це зробило ротоскопію менш болісною, але це було еволюційним, а не революційним.

Вступ ШІ та машинного навчання: Тепер ми в епосі, коли штучний інтелект значно впливає на ротоскопію. Ротоскопія на основі ШІ (часто звані “роото допомога на основі ШІ” або просто “авто маскування”) передбачає алгоритми, що були навчены на великій кількості зображень і відео, щоб розпізнавати певні об'єкти (як людина, тварина тощо) та відокремлювати їх від фону. Основна ідея полягає в тому, що ШІ може автоматизувати виявлення та маскування об'єктів у кадрах[34].

Ось як зазвичай працює ротоскопія на основі ШІ:

1. Виявлення та сегментація об'єктів: ШІ вивчає кожен кадр і намагається ідентифікувати об'єкт інтересу (або кілька об'єктів). Наприклад, модель ШІ може бути навчена виявляти людей у відеокадрах і генерувати маску навколо їх силуету. Це схоже на те, як ваша смартфонна камера може розпізнавати обличчя або людину для фотознімків в портретному режимі. З достатньою кількістю даних для навчання ШІ може робити освітлення про те, що на кадрі є передній план або фон.
2. Часове трекінг: Щойно ШІ знає, що потрібно замаскувати в одному кадрі, воно відстежує цей об'єкт через наступні кадри. Використовуючи оптичний потік або глибоке навчання, він передбачає, куди об'єкт перемістився в наступному кадрі, та відповідно коригує маску[34]. По суті, він автоматично робить те, що робить вручну художник ротоскопії - відслідковує рух об'єкта.
3. Поліпшення маски: Хороші інструменти ШІ також працюють над уточненням країв маски, обробляючи деякі з хитрих частин, такі як коригування для розмиття руху або тонкі деталі. Деякі системи ШІ спеціально вирішують проблеми з волоссям, використовуючи нейронні мережі, які добре захоплюють злегка прозорі області (тим, чим людям важко впоратися під час ротоскопії). Мета полягає у отриманні маски, яка є майже такою ж точною, як би її намалював досвідчений художник.

Результат цих ШІ кроків може бути досить вражаючим та швидким. Як зазначає один джерело, сучасні інструменти використовують алгоритми для автоматичного виявлення та обведення об'єктів по кадрам, що заощаджує години ручної роботи та часто забезпечує результати, які змагаються з ручними методами[35]. Наприклад, Adobe After Effects ввела Roto Brush 2 (анімований на основі Adobe Sensei AI), що дозволяє редактору приблизно обвести об'єкт один раз, а потім ШІ розповсюджує це вибір на десятки або сотні кадрів, зазвичай отримуючи хорошу маску, що потребує лише невеличкого налаштування[36]. Подібно, Boris FX's Mocha Pro інтегрована в модуль на основі ШІ для створення матів. Навіть Blackmagic Fusion та DaVinci Resolve додали функцію, звану Magic Mask, яка використовує машинне навчання для автоматичного трекінгу та маскування людей.

Що це означає на практиці? Це означає, що завдання, які були б нічним кошмаром вручну, тепер є здійсненними. Редактор може, наприклад, взяти 4K-кадр людини, що проходить через натовп, та ізолювати цю людину набагато швидше, використовуючи ШІ – те, що, можливо, було б дуже дорого реалізувати вручну на тисячах кадрів. Конкретним прикладом є появлення Runway ML, зручного для користувача ресурс вертикального редагування відео: за кілька кліків інструмент ротоскопії Runway може ізолювати рухомого людину з фону. Процес, який міг зайняти день, тепер займає кілька хвилин обчислень, плюс трошки очищення.

Однак, це ще не магія. Інструменти ротоскопії на основі ШІ мають свої сильні та слабкі сторони. Ось короткий розподіл:

• Сильні сторони ШІ ротоскопії: Очевидне – це швидкість. Це значно прискорює робочий процес, забезпечуючи видалення фону або ізоляції об’єкта майже в реальному часі[37]. Це не тільки економить час, але також зменшує важку роботу для художників, які можуть сконцентруватися на творчих налаштуваннях замість на механічну працю. ШІ також надзвичайно добре справляється з послідовними, висококонтрастними ситуаціями – наприклад, людина, що рухається на досить чіткому фоні, чи виразні об'єкти на передньому плані. Деякі інструменти ШІ можуть навіть справлятися з складними краями досить добре (наприклад, контур кучерявого волосся або колеса велосипеда), оскільки навчалися з величезних наборів даних[38]. ШІ також байдужий – він не втомлюється або не неуважний, тому якщо алгоритм ефективний, він застосує маску послідовно в кожному кадрі (без коливань, якщо суб'єкт сам не коливається).
• Інтеграція робочого процесу: Багато інструментів ШІ ротоскопії інтегруються в програмне забезпечення, яким редактори вже користуються (інструменти Adobe у After Effects/Premiere, або плагіни OFX для Nuke тощо), що означає, що ви можете впровадити їх без повної зміни своїх робочих процесів. Це полегшило впровадження. Навіть самостійні онлайн-інструменти (такі, як той, що ми розглянемо з VIIDO) часто створені простими: Завантажте відео, отримаєте швидкий результат, завантажте маску або відредаговане відео. Таким чином, навіть редактори, які не є фахівцями VFX, можуть спробувати такі завдання, як видалення фону, які раніше вимагали спеціального художника.
• Обмеження та виклики: ШІ не досконалий. Вона може зіткнутися з складними сценами, де багато накладених елементів, хаотичний рух або схожі кольори між суб'єктом і фоном[39]. Наприклад, якщо хтось частково закритий іншим (чи об’єктом), ШІ може втратити за ними спостереження або об’єднати два об'єкти в одну маску. Дуже швидкий рух (розмиття руху) може збити з пантелику алгоритм – ШІ може не впевнено знати, де суб'єкт закінчився, а фон почався в розмитому кадрі. Також певні тонкі деталі, такі як пучки волосся, відображення або напівпрозорі об'єкти, залишається непростими для ШІ, щоб отримати 100% правильно[39]. У таких випадках ШІ-генерована маска може мати помилки, які все ще вимагають ручного виправлення (хоча легше налаштувати напів-добру маску, ніж створити її з нуля).
• Іншою важливою обмеженням є брак творчого судження. ШІ зазвичай може визначити очевидні суб'єкти (як "людина" або "автомобіль"), але вона не знає автоматично, який об'єкт вам важливий, якщо ви її не направите. І вона не знатиме, якщо, можливо, ви хочете виключити тінь або включити щось тонке. Люди часто приймають рішення – наприклад, чи слід включити напівпрозору тінь особи в мат або залишити її поза увагою? ШІ робить те, що навчено робити, що може не відповідати художньому задуму[40]. Тому, як правило, потрібен людський нагляд. У професійних VFX після того, як ШІ проводить перший прохід, художник зайде і уточнить маску, виправить будь-які частини, де ШІ помилився, і забезпечить відповідність якості.
• Краю випадків та узагальнення: Моделі ШІ навчаються на даних, і якщо ваші кадри лежать поза їхніми "очікуваннями", ви можете отримати бідні результати. Наприклад, інструмент ротоскопії ШІ, що навчається переважно на людях, може з труднощами обробляти, якщо ви просите його ротоскопувати дерево або абстрактну фігуру. Або якщо кадри зернисті, темноосвітлені або незвично розташовані, ШІ може помилятися[41] (деякі професіонали зазначають, що в певних хитрих випадках "швидше це зробити вручну", ніж битися з ШІ, коли вона плутається[41]).

Тим не менш, траєкторія чітка: Ротоскопія на основі ШІ швидко покращується, і багато в індустрії вважають це майбутнім (або сьогоденням!). Одна стаття викладає це таким чином: Завдяки перегляду в ШІ, ротоскопія зазнає потужних змін. Інструменти на основі ШІ можуть автоматизувати значну частину процесу, різко знижуючи час та зусилля, необхідні для ротоскопії[32]. Консенсус полягає не в тому, що ШІ повністю ліквідує ручну ротоскопію - скоріше, вона доповнює можливості художників. Найкращі результати часто досягаються в поєднанні: ШІ робить здорово 90% роботи, а потім людина очищає решту 10% та додає тонкі штрихи, які можуть пропустити алгоритми[42][40].

На практиці, те, що займало дні, тепер може займати години. Це означає, що стискі терміни стають більш керованими. Це також означає, що ротоскопія більше не є бар'єром для невеликих творців; вам не потрібно величезна команда, щоб ротоскопувати коротке відео, коли інструмент на основі ШІ може це зробити на вашому ноутбуці або через веб-сервіс. Наприклад, якщо YouTuber хоче видалити свій фон без зеленого екрану, існують тепер інструменти ротоскопії на основі ШІ, які роблять це одним кліком (і ми зупинимося на одному конкретному онлайн-інструменті далі).

У завершенні цього розділу можна сказати: дні, коли витрачалися безліч годин на ротоскопію кадр за кадром, минули[43]. ШІ діє як каталізатор, а не повне заміщення для ротоскопії. Це забирає трудомістку роботу, дозволяючи художникам та редакторам зосереджуватись більше на творчих рішеннях та остаточній поліровці. В кінці, ротоскопія залишилася мистецтвом – людський дотик все ще має вирішальне значення для досягнення досконалості – але сучасні інструменти зрештою почали значно полегшувати життя ротоскоперів[43].

Онлайн інструмент для ротоскопії VIIDO: ротоскоп легко на основі ШІ

Одним з найцікавіших розробок у сфері ротоскопії стало проникнення доступних онлайн-інструментів, які використовують ШІ, щоб дозволити практично будь-кому виконувати завдання ротоскопії. Онлайн інструмент для ротоскопії VIIDO (доступний на vidio.ai) є яскравим прикладом того, на скільки далеко все завдяки. Цей інструмент втілює багато вдосконалень, про які ми говорили, об'єднуючи потужні алгоритми ШІ у простому веб-інтерфейсі, щоб навіть початківці могли швидко ізолювати суб'єктів та замінювати фони з мінімальними зусиллями.

Ранішній ротоскопер в допередавальному етапі обводить кадри живої дії на освітленому столі (приблизно 1980-ті). Сучасні інструменти на основі ШІ, такі як VIIDO, перетворили цей трудомісткий процес у кілька кліків, автоматично виявляючи та маскуючи рухомі об'єкти.

Основні функції та як це працює: Інструмент ротоскопії VIIDO спроектований так, щоб бути зрозумілим. Робочий процес зазвичай складається з кількох етапів:

1. Завантажте свій відеокліп. Оскільки це онлайн-інструмент, вам не потрібно встановлювати жодного програмного забезпечення – ви просто перетаскуєте або вибираєте відеофайл на веб-сайті. Інструмент обробляє складні дані в хмарі, і він навіть демонструє вам прогрес в реальному часі, коли ваше відео завантажується та обробляється (так що ви не залишитесь у підозрі)[44].
2. Ідентифікуйте об'єкт на передньому плані одним кліком. Як тільки відео завантажене, інтерфейс дозволяє вам клікнути на об'єкт або людину, яку ви хочете ізолювати. Інструмент VIIDO використовує ШІ, щоб інтерпретувати ваш клік і зрозуміти, який об'єкт ви маєте на увазі (наприклад, людина в кадрі в порівнянні з фоном). У