ロトスコーピングとは何ですか? 定義、歴史、そして現代のツールについて説明します


Rotoscopingとは? Rotoscopingは、アニメーションおよび視覚効果の技術で、アーティストが実写映像をフレームごとにトレースしてリアルな動きを生み出します[1]。簡単に言えば、これは各フレームのビデオ内の要素を手動で描画またはマスキングすることを含み、それによってそれらの要素を孤立させたりスタイライズしたりできるようにします。元々、アニメーターはフィルムをガラスパネルに投影し、紙の上に輪郭をトレースしました - 1915年にマックス・フライシャーによって発明されたロトスコープという装置を使用して[1]。今日、このプロセスはデジタルですが、「ロトスコピング」という名前は依然として適用されます。技術的には、現代のロトスコピングは、ビデオ内のオブジェクトに対して正確なマット(マスク)を作成することを意味することが多く、それによって背景から抽出され、別の背景に合成されることができます[2]。この技術は映画製作、ビデオ制作、さらにはデジタルマーケティングにおいて、単一のショットで捉えるのが難しいまたは不可能な効果を実現するために広く使用されています。
この包括的なガイドでは、ロトスコピングを簡単な言葉と技術的な用語の両方で探求し、初期のアニメーションから現代の視覚効果までの歴史に掘り下げ、映画、ビデオ、マーケティングにおける一般的な使用法について議論します。また、手動でのロトスコピングの課題と、新しいAI駆動のツールが作業フローをどのように革新したかを強調します。詳細なセクションでは、VIIDOのオンラインロトスコピングツール – その特徴、利点、理想的なユーザー – を現代のロトスコピング技術の優れた例として紹介します。手動とAIのロトスコピングを比較し、実用的な例を提供し、現代のロトスコピングツールを活用するための要約と行動を促す呼びかけで締めくくります。
ロトスコッピング技術の理解
根本的に、ロトスコッピングは、ビデオ映像をフレームごとにトレースまたはマスキングすることを含みます。クラシックなアニメーションの文脈では、アーティストはフィルム映像の上に文字通り描画し、リアルな動きのアニメーションシーケンスを作成します[1]。例えば、初期のアニメーターは、生の俳優のパフォーマンスを撮影した後、フィルムを表面に投影し、各フレームで俳優の輪郭をトレースしました。この手間のかかるプロセスは、本物の動きの微妙さを捉えて非常にリアルなアニメーションを生み出します。
現代の視覚効果(VFX)では、ロトスコピングは通常、ビデオ映像内の主題の周りに不透明なマットまたはマスクを手動で作成することを指します[2]。人や物の輪郭をトレースすることで(ほとんどの場合はソフトウェアを使用)、VFXアーティストはその要素のカットアウトを生成します。このマスクは、その要素を背景から孤立させるために使用され、異なる背景に配置されたり、独立して効果が適用されたりすることができます[2]。例えば、エフェクトアーティストは、異なる背景の背後に挿入したり、俳優に対する色補正を適用するために、シーンの俳優をロトスコービングすることがあります。
**簡単に言うと:**ロトスコピングは、ビデオの要素をデジタルで切り取るようなものです。もし、あなたが一度でも写真の「背景を削除」機能を使ったことがあれば、ビデオの各フレームでそれを行うことを想像してみてください - 伝統的には手作業で。この方法によって、映画制作者や編集者は、個別のビジュアルを組み合わせたり、背景を交換したり、想像力豊かなシーケンスを作成することができます。手作業で行う場合でもソフトウェアの助けを借りても、ロトスコピングは、映像内の主題が動く中で、トレースされた輪郭を正確に保つために、注意深い注意が必要です。
ロトスコピングの歴史:初期のアニメーションから現代のVFXへ
ロトスコピングは、長い歴史を持っています。その歴史は、20世紀初頭に始まります。この技術は、アニメーターのマックス・フライシャーによって1915年に発明され、カートゥーンアニメーションをよりリアルにする方法として考案されました[3]。フライシャーのオリジナルロトスコープ装置は、実写フィルムフレームをガラスイーゼルに投影し、アニメーターが画像をトレースできるようにしました。この方法を使用して、フライシャーは有名な彼の兄デイブ(道化師の格好をした)を撮影し、フレームをトレースして最初のロトスコピングカートゥーンキャラクターの一つであるココ・ザ・クラウンを作成しました[4]。当時、これは革命的でした - 純粋に想像力から描画することが難しい流動的でリアルな動きを持つアニメーション映画を可能にしました。
アニメーターのためのショートカットとして考案されたにもかかわらず、初期のロトスコピングは非常に労働集約的で時間がかかることが証明され、すべてのフレームを精密に描画する必要がありました[5]。実際、このプロセスは非常に手間がかかったため、「ショートカット」としての目的をある程度否定することになりました。フライシャーは、ロトスコープ技術を最初に彼のスタジオに限定していました(時には「フライシャープロセス」と呼ばれていました)。しかし、1934年に特許が切れた後、他のスタジオは熱心にロトスコピングを採用しました[6]。例えば、ウォルト・ディズニー・スタジオは、白雪姫と七人の小人(1937年)でロトスコピングを広範囲に使用し、よりリアルな人間アニメーションを実現しました[6]。白雪姫の多くのシーン - 踊りや王子の動きのように - は、俳優の実写リファレンス映像をトレースして描かれました[7]。これにより、非常に流動的な動きが実現されましたが、この技術の複雑さによっても映画は予算をオーバーしました[6]。
20世紀中頃には、ロトスコピングはアニメーションや特別なシーケンスで使われ続けました。いくつかの著名な例は、その創造的な応用を強調しています。監督ラルフ・バクシは、1970年代と1980年代の彼の映画(ウィザード(1977年)や指輪物語(1978年)など)でロトスコープアニメーションに大いに依存し、限られた予算で複雑な戦闘シーンやリアルな動きを実現しました[8]。これらの映画では、生の俳優を撮影した後、それをトレースしてスタイライズされたアニメーションのファンタジーシーケンスを作成しました。この技術は、バクシのアニメーションにゴシックでリアルなエッジを与え、より伝統的なカートゥーンから際立たせました。
ロトスコピングはまた、実験的なアートや音楽メディアにも広がりました。象徴的な例は、1985年のa-haによる音楽ビデオ「Take On Me」で、実写映像と鉛筆スケッチスタイルのアニメーションをロトスコピング技術で組み合わせました。このアイコニックなビデオでは、アニメーターたちは約3,000フレームの実写映像を丁寧にトレースして、描かれた世界と現実を融合させました[9][10]。その結果、視覚的に魅力的で受賞歴のある音楽ビデオが制作され、オーディエンスを魅了しました - これはロトスコーピングアニメーションの独自の美学の真のショーケースです。
20世紀末から2000年代にかけて、ロトスコピングは純粋にアニメーション技術から、視覚効果とポストプロダクションの定番にも進化しました。コンピュータとデジタル合成ツールの登場により、ロトスコピングプロセスは幾分容易で正確になりました(もうガラスに投影したり、線を振らせたりすることはなく、アーティストは今やソフトウェアを使ってマスクを描くことができました)。しかし、依然として多くの状況でフレームごとの手作業が必要でした。ブルースクリーン/グリーンスクリーン(クロマキー)技術が俳優と背景を分離するために一般的になるにつれても、ロトスコピングはマットを調整したり、グリーンスクリーンが実行不可能な場合のケースを処理するために依然として多く使用されました[11]。
映画歴史の中でロトスコピングの重要性を浮き彫りにする古典的な例は、オリジナルのスター・ウォーズ三部作におけるライトセーバー効果の作成です。スター・ウォーズ エピソードIV - 新たなる希望(1977年)では、ライトセーバーの光るエネルギーブレードは、各フレームをロトスコービングして実現されました[12]。俳優たちは小道具として実際の棒を持ち、エフェクトアーティストは毎フレームでその棒の上にトレースし、輪郭に発光オーラを追加しました[13]。この手間のかかるフレームごとのロトスコービングによって、ジェダイの武器にその象徴的な明るい光が与えられました[12]。その後のスター・ウォーズ作品でも同様の技術が用いられました。例えば、ロトスコービングを使ってホスのAT-ATウォーカーや、過去の映画の映像を使用してローグ・ワンのシーンにプリンセス・レイアを合成しました[14]。これらの例は、ロトスコピングが映画において現実と幻想のギャップを橋渡しする役割を果たしていることを示しています。
100年以上経った今、ロトスコピングは多用途な技術であることが証明されました:最初はリアルなアニメーションの動きを可能にし、その後はライブアクション映画でシームレスな視覚効果を実現しました。プロセスは常に細心の注意を要しました - 昔はアーティストの軍団が手作業で映像をトレースするために数週間を費やしました。現在、コンピュータはペンと紙に取って代わっていますが、最近まで人間のロトアーティストは依然としてほぼすべてのフレームにマスクを描く必要がありました。この長い歴史は、今日のロトスコピングの使用方法と、最近の進歩(自動化など)がなぜ大きな意味を持つのかを示しています。
映画とビデオ制作におけるロトスコニングの一般的な使用法
ロトスコピングは、映画とビデオ制作において大きな役割を果たします、特に視覚効果の領域で。基本的に、映画製作者が撮影した後にショットの一部を分離または変更する必要がある場合、ロトスコピングは一般的な技術の一つです。以下は最も一般的な使用法です:
- 合成のためのマットの作成: 視覚効果において、ロトスコピングの主な使用法の一つは特定の要素のマット(マスク)を作成し、それを他の背景や要素と組み合わせることです。映画製作者は、ロトスコピングを使用してキャラクターやオブジェクトをあるシーンから抽出し、別のシーンに置くことができます[15]。例えば、ロケ地で撮影された俳優をロトスコーピングして、後にデジタルで作成された背景に合成することができます。これは、グリーンスクリーンが使用されなかった場合や、追加の分離が必要な場合に便利です。ロトスコピングは、映像から背景を削除するためや、フォアグラウンド要素を色補正するため(俳優を背景とは別に色補正するため)にも使用されます。
- 視覚効果やファンタジーシーケンス: ロトスコピングは、実写の上に描画またはアニメーション化するような創造的な効果を実現します。すでに述べたように、スター・ウォーズのライトセーバーは、俳優の小道具の剣に光る効果を追加するために手動でロトスコービングされました[12]。別の例として、ロジャー・ラビットは誰にフレームを持った(1988年)では、ほとんどがアニメーションと合成を使用していましたが、ロトスコピングはアニメーションキャラクターと実写映像の相互作用を微調整するために多分使用されました。人の周りに光るオーラや稲妻、魔法のエネルギーフィールドのような効果を見るとき、アーティストがフレームの一部をロトスコービングして、効果を追加したり、キャラクターをマスクして効果がその後ろまたは周りに表示できるようにしている可能性が高いです。ロトスコピングは、映画製作者がカメラで捉えるのが難しく、コストがかかる、あるいは不可能であるシーンや効果を作成する機会を提供します[16]。 これは安心投資であり、創造的なツールでもあります - スタントリグを隠すことから、想像上の生き物を追加することまで。
- 不要な要素の除去(ペイントアウト): もう一つの一般的な使用法は、「ペイントアウト」またはオブジェクトの除去作業です。例えば、ブームマイクがショットに入ったり、スタントハーネスが見えたり、(有名な例では)セットに置き忘れたコーヒーカップがあったりした場合、VFXアーティストはその領域をロトスコーピングして上から塗りつぶすことができます。例えば、監督のマーティン・スコセッシは、ドキュメンタリーの中で**俳優の顔から1片のゴミ(またはつり下がったコカインの塊)を除去するためにロトスコービングを使用して、フレームごとにその要素をトレースして塗りつぶしました[17]。ロトスコープマスクは、変更される領域を定義します。同様に、スタントシーンで使用されるワイヤーは、俳優の周りをロトスコービングして、各フレームでワイヤーを塗りつぶすことによって除去されることが多くあります。
- モーショングラフィックスとスタイライズされたビデオ効果: ヘビーなVFX以外でも、ロトスコピングは一般的なビデオ制作やモーショングラフィックスにも使用されます。編集者は、ビデオ内の人をロトスコーピングしてカットアウトシルエット効果を作成したり、映像をスタイライズされた「カートゥーン」ルックに変えたり、異なる背景処理を適用したりすることがあります。例えば、音楽ビデオでは、ダンサーを映像から孤立させ、その後背景を渦巻く色やグラフィックスに置き換えることができ、この孤立はダンサーをロトスコービングすることで実現できます。
- 創造的なトランジション: ロトスコピングは、編集にクールなトランジションを作成するためにも使用できます。例えば、俳優がジャンプするシーンを想像してみてください。その間に背景が変わると、編集者は俳優をロトスコービングして、ジャンプ中にその背景を移行させることができます。これは視聴者にとって少しの技術的マジックトリックとなりますが、入念なマスキングで達成されます。
要約すると、映画/ビデオにおけるロトスコピングは、コントロールに関することが多いです。それは、ビジュアルを外科的に操作する能力を創作者に与えます:背景の交換、要素のレイヤリング、シーンの特定部分の再色付け、または手描きのフルーレを追加すること。VFXスタジオのロトスコープアーティストは、複雑なショットのすべての要素を統合するために、フレームごとに俳優、道具、影をトレースするために一日を費やすかもしれません。
制作におけるロトスコピングの重要性を挙げると、現在のデジタルツール、特にクロマキーを使用しても、多くの大ヒット映画が依然としてロトスコープアーティストのチームに依存しています。大きなVFX作品(マーベルやSF叙事詩を考えてみてください)には、俳優がグリーンスクリーンで撮影されていなかったシーケンスがしばしばあり、その背景から分離する必要があります - ロトスコピングが解決策です。手間はかかりますが、ディレクターにはポストプロダクションでの変更の自由度を提供します。
実用的な例ついて:映画アベンジャーズ:エンドゲームでは、スーパーヒーローのショットに元々グリーンスクリーンがなく、監督が後にCGIの破壊を背景に増強しようとすると、アーティストはその元のショットから俳優をロトスコービングしてCGIの爆発やスカイラインをその背後に挿入できるようにします。このような使用例は、現代映画制作において遍在しています。
デジタルマーケティングおよび広告におけるロトスコピング
映画やテレビを超えて、ロトスコピングはデジタルマーケティング、広告、その他のクリエイティブビデオコンテンツにおいても人気のある技術となっています。マーケティング担当者や広告主は、ストーリーを語ったり製品を紹介したりする視覚的に印象的な方法を常に探しており、ロトスコープアニメーションはリアリズムとアートのユニークなブレンドを提供し、観客の注意を引くことができます。
マーケティングにおけるロトスコピングの主な魅力の一つは、現実と想像をシームレスにブレンドすることです[18]。この技術は実際の映像から始まるため、結果にはリアリズムの感覚が残ります - 実際の人間の動き、実際の製品の詳細 - しかし、その映像をトレースしたりスタイライズしたりすることにより、最終的な見た目は芸術的で、ほとんど手作りのような感覚を持つようになります。この独特の美学は、典型的な実写ビデオの中で即座に目立ちます[19]。視聴者は、何かが現実のように見えるが、同時にカートゥーンのようにも見えることに気づくかもしれず、これが非常に魅力的です。例えば、一部のブランドは、実写の俳優が突然アニメーションのスケッチルックに移行したり、その周りにアニメーションのフルーレが加わるような部分的なロトスコープ効果を使用しています。これは視覚的に記憶に残り、視聴者の心に残る印象を与えます。
広告の使用例: ロトスコピングは、広告の中の製品や人物を強調するために頻繁に使用されます。広告主は、製品(例えば、車や靴)をロトスコーピングしてそれを孤立させ、その後、再撮影せずにさまざまな背景やグラフィカルな環境に配置することができます。製品コマーシャルの世界では、ロトスコピングは、任意の選択した背景と製品をシームレスにブレンドし、まるで実際にその環境に撮影されたかのように見せることができます[20]。例えば、車のコマーシャルは、平凡な背景で車を撮影し、その後、コストのかかる生撮影やロケーションの設定を回避しながら、デジタル合成でエキゾチックな場所や非現実的な風景に車をロトスコービングしてインサートすることができます。観客は新しいシーンに完全に統合された車を見て、車の画像はリアルであり、背景だけが入れ替えられたため、リアルに感じます。
ロトスコープアニメーションはまた、ブランドストーリーテリングのスタイリスティックな選択として受け入れられています。広告の注目すべき事例は、2008年頃のチャールズ・シュワブ「チャックに話して」コマーシャルのシリーズです。これらの広告は実写で撮影されましたが、その後、高コントラストでスケッチ風のアニメーションスタイルにロトスコービングされました。その結果は、多くの視聴者が記憶から広告のシーンやセリフを再現できるほど、印象的な外観に仕上がりました[21]。ロトスコープルックは、他の直接的な金融サービスの広告が混雑の中を突破するのを助け、動くグラフィックノベルのように感じさせました。これは、広告代理店がロトスコープアニメーションを使用してコマーシャルをより記憶に残りやすく、魅力的にする方法を示しています[22][23]。この技法によって、アニメーションの中で強調したい細部を強調しつつ、実写の俳優の自然な動きや表情を利用することができました。
ソーシャルメディアとデジタルコンテンツ: インスタグラム、TikTok、YouTubeの時代において、マーケターやコンテンツクリエイターは、共有価値のあるビジュアルを生み出すためにロトスコピング(またはロトスコープに類似した効果)に頼っています。短いソーシャルメディアビデオでは、主要な対象をロトスコーピングし、クリエイティブなフィルターを適用したり、背景をブランド要素に置き換えたりすることができるかもしれません。ロトスコピングは労力のかかる作業であるため、すべての事に使うわけではありませんが、ブランドが**「ワオ」効果**を求める場合 - おそらく実写映像と融合したアニメーションインフォグラフィックや音楽ビデオスタイルの広告のため - 効果的なアプローチとなります。さらに、**現代のソフトウェアやAIは、ロトスコピングプロセスを効率化し、締め切りのあるマーケティングチームがより迅速に利用できるようにしました[24]。**これにより、より短い広告キャンペーンや小規模なブランドでも、高コストや時間に縛られずにロトスコープ効果を検討できるようになります。
マーケターがロトスコープアニメーションを愛する理由:
- それは注意を引く: 半アニメーションの外観は、ソーシャルフィードでスクロールを一時停止させることができます。ロトスコープビデオは、多くの場合「クリエイティブ」または「アート的な」雰囲気を持ち、視聴者を引きつけ、より良いエンゲージメントを導きます[19]。
- それはストーリーを強化する: マーケターは、現実を描画することで抽象的な概念を説明することができます。例えば、ヘルスケアの広告は、スウォーリングするアニメーションの図が描かれたロトスコーピングされたキャラクターを持ち、内部プロセスを示すことができます - 実在の人と解説グラフィックスのブレンド。
- プロダクションを簡単にする: 驚くべきことに、ロトスコピングはあるシナリオではコスト効率が良い場合があります[25][23]。すでに実写映像がある場合、ロトスコープアニメーションを適用する方が、完全にアニメーションビデオをゼロから作成したり、ライブ撮影のための高額なセットを構築するよりも安くなるかもしれません。それは、「既存の映像」を新しい創造的な方法で使用し、再撮影やロケーションコストを節約する可能性があります[25]。多くのブランドは、古いビデオコンテンツをロトスコービングして、新しいアニメーションの演出を与えることで再利用しています。
- それは業界全体で多様性があります: ファッションブランドは、最新のデザインを着た生のモデルを動くスケッチのように見せるためにロトスコピングを使用します。テクノロジー企業は、実際のオフィス映像の上にデータやプロセスを視覚化するためにそれを使用する場合があります。音楽ビデオ、金融広告、非営利団体 - すべてが独自の方法でロトスコープスタイルのコンテンツを実装してメッセージを魅力的な視覚フォーマットで伝えています[26][27]。
影響力のある例を挙げると、アマゾンプライムシリーズアンダーン(2019年)の音楽ビデオ/広告は、フルロトスコープアニメーションを使用して(A Scanner Darklyと同様に2006年)夢のような、幻想的な外観を作成しました。これはタイムトラベルと個人的なドラマに関する物語に最適です。広告キャンペーンは、その同じロトスコームスタイルを利用して視聴者の目を引きました[28]。これは最後の点を強調しています:ロトスコピングは、純粋な実写または純粋なアニメーションでは得られない感情やトーンを引き起こすことができます。実行によっては、懐かしさや芸術性、または異世界感を持つハイブリッド空間に存在します。
要約すると、マーケティングや広告におけるロトスコピングは、創造的な可能性のパレットを提供します:実際の映像の信頼性とアニメーションのクリエイティブな自由を融合したものです。これは、複雑なアイデアを明瞭に説明するため、または大胆な芸術的表現を作成するために、ブランドが視覚的に魅力的な方法でストーリーを語るのを助けます。技術が進化する中で、少人数のチームでもロトスコピングを試みることができるようになり、これは自動化によりますます簡単になる傾向があります(次のセクションで詳しく説明します)。
手動ロトスコピングの課題
これまでに、ロトスコピングが強力であることは明らかですが、それが映画製作やビデオ制作において最も厄介な作業の一つとしての評判を得た理由を理解することも重要です。伝統的なロトスコピング(さらにはデジタル手動ロトスコピング)は、悪名高く時間がかかり、労働集約的です[29]。
10秒のビデオクリップを24フレーム/秒で撮影すると想像してみてください - それは240の個別のフレームです。各フレーム内のオブジェクトをトレースする必要がある場合、240の個別のマスクを描かなければなりません。それらの各マスクをオブジェクトの動きに合わせて調整する必要があります。5分のシーンの場合、数千のフレームを処理しなければなりません。その結果、手動ロトスコピングは、映像の数秒の作業に対して何時間、あるいは何日もかかる場合があります[29]。VFXアーティストは、ロトスコピングを「グラインド」と呼ぶことがよくあります - これは手間がかかり、集中力を要し、長い時間デジタルでトレースやカットを行っているように感じることがよくあります。
手動でロトスコピングする際の主な課題には以下のものが含まれます:
- フレームごとの調整: マスクを描くためのソフトウェアツールがあっても、アーティストはしばしば動く主題に合わせてマスクを調整しなければなりません。動画内の人やオブジェクトは、視点の変化、モーションブラー、カメラの動きによりあまり同じ形やサイズにはなりません。そのため、フレーム1で人に合ったマスクは、フレーム5で完璧には合わないのです - 調整が必要です。これにより、多くの反復作業が発生します。
- 細部への入念な注意: 良いロトスコピングは正確さを要求します。マット(マスク)がわずかにずれているだけで、主題を新しい背景に合成した時に「ハロー」や背景の一部が侵入するのが見えるかもしれません。髪、半透明の布、モーションブラーのエッジのような細部は特に難しいのです。アーティストは、少し吹いている髪の strands の周りや、数人の重なり合った肢の周りを慎重にマスクポイントをアニメーションさせるのに多くの時間を費やすかもしれません。まるで非常に小さなメスを使ったデジタル手術のようです。
- 疲れと人間のエラー: フレームごとにトレースをする反復的な性質は、疲れを引き起こし、疲労が間違いにつながることがあります。ロトスコープアーティストは、ポイントを見失ってマスクの形が揺れたり、ずれたりすることが簡単に起こることがあります。これらの「ウィグル」や不整合は、再訪して修正する必要があり、さらに多くの時間を要します[5]。一貫性が重要です - マットの形は理想的には安定しているべきです。オブジェクト自体が本当に形が変わらない限り、手作業ではこの一貫性を確保するのは困難です。
- 高いスキル要件: ロトスコピングは、ジュニアアーティストに教授することができますが、上手く行うにはスキルが必要です。熟練したロトスコープアーティストは作業を早めるテクニック(モーショントラッキングを使用する、複雑な主題を複数の簡単なマスクに分解するなど)を知っています。また、トリッキーな部分をどのように扱うかの目を持っています。しかし、それが非常に労力のかかるため、スタジオはしばしばジュニアアーティストに割り当てたり、ロトスコープ専門のベンダーに外注したりします[30]。その理由は、シニアアーティストの時間が高価であり、ロトスコピングが基本的に機械的な作業と見なされるため、外注が可能とされています。しかし、それでも品質のチェックが必要であり、修正が一般的です。
- 時間とコストの影響: 上記のすべての要因は、手動ロトスコピングがポストプロダクションのボトルネックになることを意味します。プロジェクトに多くのロトスコピングのニーズがある場合、スケジュールが遅くなるか、作業を分割するためにより多くのアーティストを雇う必要があります。これによりコストが自然に増加します。業界内には、わずか数秒の映像に対して数週間のロトスコピング作業を要するショットに関する逸話があります。例えば、前述のTake On Meの音楽ビデオでは、アニメーターのチームがロトスコービングに16週間かかりました - これは非常に芸術的な方法で行われましたが、必要である作業の極端な終わりを示しています[31]。VFXでは、他の方法(例えばグリーンスクリーンまたはディファレンスマット)が利用できない場合に、複雑な戦闘シーンや群衆シーンをロトスコービングするために、チームが数ヶ月を費やすことがあります。
これらの課題を考えると、ロトスコピングが映画制作における**“必要な悪”**と見なされることが多いのも不思議ではありません。それは多くの効果のために重要ですが、アーティストの視点からは苦痛とみなされます。実際に、歴史的に多くのロトスコピングは、Adobe After Effects、Nuke、Silhouetteなどのソフトウェアを使用して行われており、これらは手で行うよりも描画とトラッキングのツールが優れていますが、根本的にはアーティストが形を描き、それを時間経過とともにアニメーションさせる必要が依然としてあります。あなたはフレーム1およびフレーム10で何かをトレースし、コンピュータが補完させるかもしれませんが、その後は中間のフレームを修正する必要があります。
痛みを要約すると:*手動ロトスコピングは、逆にアニメーションをするようなものです。*通常のアニメーションでは、あなたは動くオブジェクトを描きます。ロトスコピングでは、映像内のオブジェクトが動いていて、あなたはそれに合わせて輪郭を描かなければなりません。それは遅く、詳細指向で、見た目を正しくするためには完璧である必要があります。あるソースはそれを「細心の注意を要する手動プロセスであり、一つのシーンを完璧にするためにビデオ編集者の時間と努力を何時間、あるいは何日も要することがある」と表現しました[29]。それによく合っています - 一つのシーン、多くの日数。
これに対して、ロトスコピングを簡単にすることへの長年の関心がありました。そこで技術は最近少しの安らぎを提供し始めています:自動化とAI。
自動化とAIがロトスコピングワークフローを改善した方法
近年、ソフトウェアおよび人工知能の進歩がロトスコピングを革命化し始めています。かつて人間が何時間もかけていた作業が、スマートなアルゴリズムによって数分(または数秒)で行えることがあります。この変化は、ビデオ編集者やVFXアーティストにとってゲームチェンジャーであり、ロトスコピングは厳しい作業からよりスムーズな作業フローの一部へと変わります[32][24]。
現代のロトスコピングソフトウェアの支援: AIが流行語になる前に、ロトスコピングのための支援ツールが開発されました。例えば、モーショントラッキングは、ポイントや形をトラックすることで、アーティストが毎フレームでマスクを手動で移動させる必要を省くことができます。平面トラッカー(Mocha Proのものなど)は、平坦な表面やオブジェクトをトラックし、ロト形状をフレームに渡って拡散させることができました。これらのツールは時間を節約しましたが、依然として手動の修正が必要でした。オンionスキン機能は、アーティストが前後のフレームを重ねて表示することで、形をより一貫して調整できるようにしました[33]。すべてがロトスコッピングをあまり苦痛にさせただけですが、それは進化的でした、革命的ではありません。
AIと機械学習の登場: 今では、AIは重要な方法でロトスコッピングに適用されています。AIベースのロトスコピング(しばしば**「AI支援ロトスコピング」や単に「オートマッティング」**と呼ばれます)は、多くの画像やビデオで特定の主題(人間や動物など)を認識し、背景から分離するように訓練されたアルゴリズムを含みます。基本的なアイデアは、AIがフレームにおける主題の識別とマスキングを自動化できるということです[34]。
AI支援ロトスコッピングが一般的にどのように機能するかを説明します:
- オブジェクト検出とセグメンテーション: AIは各フレームを調べ、関心のある主題(または複数の主題)を識別しようとします。たとえば、AIモデルはビデオフレーム内の人を検出し、そのシルエットの周りにマスクを生成するように訓練されることがあります。これは、スマートフォンカメラがポートレートモードの写真用に人や顔を識別するのと似ています。 충분한 훈련 데이터를 사용하면 AI는 프레임에서 전경과 배경 사이의 관계를 파악하는 데 학습할 수 있습니다.
- 時間追跡: AIがどのフレームでマスクをするかを把握すると、それに続くフレームでそのオブジェクトを追跡します。光学フローや深層学習を使って、次のフレームでオブジェクトの動きを予測し、そのマスクを調整します[34]。実質的には、AIが手動のロトアーティストが手作業で行うであろうことを自動的に行っています - 主題の動きを追跡しています。
- マスクの洗練: 良いAIツールはまた、マスクのエッジを洗練するために取り組み、モーションブラーや細部調整などのトリッキーな部分を処理します。一部のAIシステムは、ふわふわで半透明の領域を捕えるのが得意なニューラルネットワークを使用して髪の毛を特に処理します(これはロトで人間が苦労する点です)。目的は、熟練した人間の描いたマスクにほぼ匹敵する精度のマスクを生成することです。
これらのAIステップの結果は、驚くほどの速さです。一つのソースは、高度なツールがアルゴリズムを使用してフレーム間のオブジェクトを自動的に識別およびトレースし、手動作業の何時間も節約し、通常は手動方法に匹敵する結果を生産することがある[35]。例えば、Adobe After EffectsはRoto Brush 2を導入しました(Adobe Sensei AIにより強化)。これにより、編集者は一度おおざっぱに対象をペイントすることで、AIがその選択を数十あるいは数百のフレームにわたって広げて処理し、通常はわずかな微調整を必要とする decent maskが得られます[36]。同様に、Boris FXのMocha Proは、マットの生成のためのAI駆動モジュールを統合しています。さらに、Blackmagic FusionとDaVinci Resolveは、機械学習を利用して自動的に人を追跡し、マスクを作成する「Magic Mask」という機能を追加しました。
これは実践においてどういう意味を持つのでしょうか?これにより、手作業では悪夢となるタスクが実行可能になります。例えば、編集者は、群衆の中を歩いている人の4K解像度クリップを使い、AIを使ってその人を隔離することができます - 何千ものフレームを手作業で処理するのが非常に高価になることがあります。具体的な例として、Runway MLのユーザーフレンドリーなAIビデオ編集ツールが登場しました:数回のクリックでRunwayのロトスコープツールは、背景から動く人を隔離することができます。1日かかる作業が、今ではコンピュータでのわずかな計算と少しの手直しでできるようになりました。
しかし、魔法ではありません(まだ)。**AIロトスコッピングツールには強みも限界もあります。**以下はの簡単な内訳です:
- AIロトスコピングの強み: 明らかなことはスピードです。作業フローを劇的に加速させ、実際のリアルタイムでの背景除去や物体孤立が可能になります[37]。これにより、時間の節約だけではなく、労働の苦痛が軽減され、アーティストはクリエイティブな微調整に集中できるようになります。AIはまた、一貫して明瞭な状況 - 例えば、比較的クリアな背景に対して動く人、または異なる前景オブジェクトに対して非常に良い仕事をしています。一部のAIツールは、教育データセットから学んだことで非常に繊細なエッジをうまく処理できる場合があります(例えば、巻き毛の輪郭や自転車の車輪など)。AIはまた、公平 - 疲れたり雑になったりしないので、アルゴリズムが効果的であれば、毎フレームにわたってマスクを一貫して適用します(被写体自体が揺れない限り、ウィグルはありません)。
- ワークフローの統合: 現在、多くのAIロトツールは、編集者がすでに使用しているソフトウェアに統合されています(AdobeのAfter Effects/Premiere内のツールや、Nuke用のOFXプラグインなど)ので、パイプラインを完全に変更しなくても使用できます。これにより、導入が容易になっています。大規模なオンラインツール(VIIDOからのツールなど)は、シンプルに設計されることが多いです:映像をアップロードして迅速な結果を得て、マスクや編集されたビデオをダウンロードします。このように、VFXのスペシャリストでない編集者でも、背景を除去するようなタスクを試みることができます。
- 制限と課題: AIは完璧ではありません。それは複雑なシーンに苦労することがあります。多くの重なり合った要素、混沌とした動き、または主題と背景の間の同様の色の場合です[39]。例えば、誰かが他の人や物に部分的に隠されている場合、AIはそれを見失ったり、2つのオブジェクトを1つのマスクに統合してしまうかもしれません。非常に**高速な動き(モーションブラー)**がアルゴリズムを混乱させる場合もあります - AIは、ぼやけたフレームの中で被写体の終わりと背景の始まりを自信を持って把握できないかもしれません。また、髪の毛の束、反射、透明なオブジェクトのような特定の細部を100%完璧に取得するのはまだ難しいです[39]。このような場合、AI生成のマスクはエラーを持ち続け、まだ手動で修正が必要です(ただし、良好なマスクを修正する方が、ゼロから作成するよりも簡単です)。
- もう一つの重要な制限は、創造的判断の欠如です。AIは通常、明らかな主題(「人」や「車」など)を識別できますが、あなたが気にしているオブジェクトが*どれかを知ることはできません。要素のマスクを作成する場合、誰かの影を含める必要があるのかそれとも除外する必要があるのかなど、判断が必要です。人間のロトアーティストは、判断を下すことが多くあります - 例えば、人物の半透明の影をマットに含めるべきかどうかは、AIにとっては何も知りません。それゆえ、通常は人間の監督が必要です。プロのVFXでは、AIが最初のパスを行った後、アーティストが入ってマスクを洗練させ、AIの推測ミスを修正し、品質基準を満たすことを確認します。
- エッジケースと一般化: AIモデルはデータに基づいて訓練されています。そのため、映像が「期待」するものから外れると、良くない結果を招くことがあります。例えば、AIロトスコーピングツールが主に人に基づいて訓練されている場合、木や抽象的な形状をロトスコービングするのは困難かもしれません。また、映像がグレイン、低光量、奇妙な角度の場合、AIはミスを犯す可能性があります[41](一部の専門家は、特定のトリッキーなケースで手動でやる方が「早い」という意見を持っています)。
それにもかかわらず、その進行方向は明確です:AI支援ロトスコピングは急速に改善されています。多くの業界関係者は、これを未来(または現実)と見なしています!ある記事では次のように言われています:AIの進歩に伴い、ロトスコピングは地震的な変化を遂げています。AI駆動のツールは、プロセスのほとんどを自動化し、ロトスコピングに必要な時間と労力を劇的に短縮しています[32]。コンセンサスは、AIが手動ロトスコピングを完全に排除するのではなく、むしろアーティストの能力を増強するということです。最も良い結果は、AIによって90%を達成し、その後、人間が残りの10%をクリアし、アルゴリズムが見逃すであろう微細なタッチを加えるときに得られます[42][40]。
実践の上で、何日かかっていた作業が今では数時間で済む可能性があります。これはタイトな締め切りをより管理可能にし、またロトスコピングがもはや中小規模のクリエイターにとっての障壁ではなくなったことを意味します。 誰もがノートパソコンやウェブサービスでAIツールを使用して短いビデオをロトスコービングする必要はないのです。例えば、YouTuberがグリーンスクリーンなしで背景を削除したい場合、AI駆動のロトスコープツールがそれを行うだけで簡単にできます(次に具体的なオンラインツールについて触れます)。
このセクションをまとめると、フレームごとのロトスコッピングに無限の時間を費やす日々が数えられるようになってきました[43]。AIはロトスコピングの仕事を引き受け、アーティストや編集者がより創造的な決定や仕上げに集中できるようにします。結局のところ、ロトスコピングはまだアートであり、あなたの目や意思決定は依然として重要ですが、ツールは実行を迅速にします。
VIIDOのオンラインロトスコピングツール:AI駆動のロト簡単に実現
ロトスコピングの領域における最もエキサイティングな発展の一つは、誰でもロトスコピングタスクを実行できるユーザーフレンドリーなオンラインツールの登場です。VIIDOのオンラインロトスコピングツール(vidio.aiで利用可能)は、どれだけ進化してきたかの主要な例です。このツールは、強力なAIアルゴリズムをシンプルなウェブインターフェースに包み込み、初心者でも迅速に主題を孤立させ、最小の労力で背景を交換できるように設計されています。
デジタル前の時代に、初期のロトスコープアーティストが照明されたデスク上で実写フィルムフレームの上にトレースしています(1980年代頃)。現代のAIツールのようなVIIDOの機能は、この手間のかかるフレームごとのプロセスを数回のクリックに変革しました。
主な機能とその使用方法: VIIDOのロトスコピングツールは、単純明快になるように設計されています。ワークフローは通常、数ステップしかありません:
- ビデオクリップをアップロード: オンライン