誰でもできる!動画をフレーム補間する方法:カクカクした動画を自然で滑らかにする!
カクカクした動画をより滑らかな動きにするため、「フレーム補間」と呼ばれる編集テクニックを目にすることがあるでしょう。
「フレーム補間とは、フレーム数の少ない動画に、新たなフレームを挿入することで滑らかな動画を作り出す技術です。」(出典:デジタル大辞泉)
近年は人工知能(AI)技術の発展により、フレーム補間はますます簡単になっています。AIを活用して動画のフレーム補間ができるツールも少しずつ出てきています。
この記事では誰でもできるフレーム補間の方法を紹介します。動画編集にプロを目指したいなら、ぜひ読んでください。
目次
フレーム補間を利用するシーン
フレーム補間する方法T、AI活用のフレーム補間ソフトを使う
フレーム補間する方法U、フレーム補間機能が付き編集ソフトを使う
フレーム補間する方法V、プラグインと連携してフレーム補間を行う
最後に
フレーム補間を利用するシーン
フレーム補間は通常、低いフレームレート(例えば:24fps/30fps)で撮影された映像から高いフレームレートの映像(例えば:60fps/120fps)を生成するために利用されています。例えば、動画をスロー再生(例えば、30fpsで再生している動画を半分の速度に)すると、1秒あたりのfpsが15となり、フレーム数が減少するため、不自然でカクカクになってしまいました。そこでフレーム補間の技術を使うと、スローモーション動画も通常速度と同じように滑らかで自然な映像を呈します。
また、動きの速いスポーツやゲームの映像、風に吹かれている髪の毛など細かい動作をブレなく見えるように、フレーム補間技術もよく使われれています。
一部のソフトウェアはフレームレートの変更ができるけど、ただフレームレートの値を30fpsから60fps/120fpsに変更すると、映像が滑らかになるわけではありません。逆にデータ量が増えて、サイズが大きくなるし、PCにも負荷をかけます。
フレーム補間はそんな簡単な技術ではないですが、通常以下のような方法でフレーム補間を実現できます。
- 1AI活用のフレーム補間ソフトを使う
- 2フレーム補間機能が付き編集ソフトを使う
- 3プラグインと連携してフレーム補間を行う
では、それぞれの代表的なソフトを使って、フレーム補間の方法を紹介します。
フレーム補間する方法T、AI活用のフレーム補間ソフトを使う
動画のフレーム補間を行うには、最も簡単な方法はフレーム補間に特化したソフトを使うことです。AI技術を活用するため、よりクオリティの高いぬるぬる動画を作れます。
以下ご紹介するフレーム補間ソフトは全部AI技術をサポートしています。
ソフト名 | 動作環境 | 価格 | 日本語対応 |
VideoProc Converter AI | Windows 11/10/8.1/8/7 | 無料体験版あり;永久ライセンス5,480円/PC1台 | 対応済み |
Dain-App | NVIDIAビデオカード付きのWindows PC | 無料あり;有料9.90ドル | 対応不可 |
Flowframes | Windows 10/11 | 無料あり;2.50ドル/月 | 対応不可 |
DVDFab Smoother AI | Windows 11/10/8.1/8/7 | 19,320円(買い切り) | 対応済み |
❶ VideoProc Converter AI
VideoProc Converter AI(旧名:VideoProc Converter)は多機能な動画処理ソフトで、動画&音声変換として知名度が高いです。嬉しいことに、10月24日にリリースされた最近バージョンでは、動画制作の質を次のレベルに引き上げるようにAI技術を導入しました。(WindowsのみAI機能が利用できますのでご注意ください。)
今回のアップデートでは、AI動画高画質化、AIフレーム補間、AI手ぶれ補正という3つのAIモードが利用可能になりました。「AIフレーム補間」を利用して、中間フレームを自動で補間し、ソース動画のフレームレートを上げることができます。フレームレートの倍率を2倍、3倍、4倍さらに5倍まで設定して出力できます。24fpsなど低フレームの動画をフレーム補間して、フレームレートを適当に増やすることで、元の動画よりスムーズになります。
*VideoProc Converter AIに内蔵するAI機能は充分に活用するには、グラフィックドライバを最新にアップグレードする必要があります。
- VideoProc Converter AIでフレーム補間を行う手順
- VideoProc Converter AIを最新のバージョンに更新したら、起動します。ホーム画面の「AIフレーム補間」をクリックします。
- ➊ 「動画追加」またはフレーム補間をしたい動画ファイルをドラッグ&ドロップしてソフトの中央に追加します。すると、ソフトが自動で動画のフレーム補間を実行します。
- ➋ 必要に応じて、「AIフレーム補間」の下にある「FPS」で補間したいフレームの倍率を設定します。例えば、元動画のフレームレートは30FPSに場合、
- 【2x】30fps→60 fps
- 【3x】30fps→90fps
- 【4x】30fps→120fps
- 【5x】30fps→150fps
- ➌ ほかの設定はデフォルトのままでいいです。最後は「参照」により保存先を指定して、「RUN」をクリックします。後は動画のフレーム補間作業を完了まで待ちます。
❷ Dain-App
Dain-Appは、AIを活用した動画のフレーム補間ができるソフトです。無料で使用するのが可能で、有料でも比較的低価格で入手できます。このソフトを使って映画、ストップモーション動画、アニメなど様々な動画のフレームレートを補間してより滑らかな再生を実現できます。
一つ注意してほしいところは、パソコンにCUDA 5を備えたNVIDIAのグラフィックボードがないと、実行することができません。
- Dain-Appでフレーム補間を行う手順
- Dain-Appを起動して、以下のように設定を行いましょう。
- ➊ Input Fileで変換元の動画ファイルを選択します。
- ➋ Output Folderで出力先を指定します。
- ➌ 「Interpolate 2X」「Interpolate 4X」「Interpolate 8X」から補間したいフレームの倍率を設定します。(例えば、30fpsの場合で「InterpolateをX2」にすると、出力される動画は60fpsになります。)
- ➍ 最後に下部の「Render」を押して出力します。
*「Out of Memory」が提示されて正しく動作できない場合、ファイルが大きすぎるのは原因かもしれません。「Split」オプションを選択して動画を切り離し、一つずつレンダリングすることにしましょう。
❸ Flowframes
Flowframesは、動画の中間フレームをAIプログラムで自動的に推定&補間してくれるフレーム補間ソフトです。RIFE / FLAVR / DAIN / XVFIといったAIフレームワークを使用して、既存のフレームに基づいて欠落しているフレームを自動的に生成してスムーズに繋がる映像を作成してくれます。Flowframesは無料で使えてバージョンが古いですが、より高速で高品質な新しいAIモデルとより多くの機能を使用するには、Patreon に参加することでできます。
- Flowframesでフレーム補間を行う手順
- ➊ ソフトを起動して、上部にある「Interpolation」タブをクリックして開きます。一番上の「Interpolation AI」で、使用する AI フレームワークを選択します。
- RIFEを使用することがおすすめしますが、「RIFE - CUDA」はNVidia製の GPU を使用している場合のみ利用可能です。
- ➋ 次に、右端にあるBrowse (Video) を選択し、フレーム補間を行う動画を選択します。
- ➌ 「Set FPS / Interpolation Factor」欄の真ん中にあるプルダウンメニューをクリックし、フレームレートを何倍にするのかを選択します。(使用するフレーム補間アルゴリズムにより、指定可能な倍率は異なります)
- 続いて、下の「AI Model」で、「Recommended」を選択します。下の「Output Mode」で、出力先のフォーマットを選択します。
- ➍ 画面右下の「When Done」で「Do Nothing」を選択します。
- ➎ 準備が整ったら、画面左下にある「Interpolate!」ボタンをクリックします。
しばらく待ち、左下の「Status」に「Done interpolating!」と表示されたら処理完了です。
❹ DVDFab Smoother AI
DVDFab Smoother AIは、AIを利用したフレーム補間で最大60fpsまで向上させます。DVDFab 12の内蔵モジュールとして組み込まれており、スタンドアロン型のソフトではありません。
Smoother AIは、NVidia、AMD、Intel GPU、及びVulkanのあるマルチスレッドCPUなどハードウェアGPUアクセラレーションに対応しています。そのため、処理が高速になりますので、アップスケール作業がより効率的に行えます。有料版は若干お高めですが、無料体験版を提供しております。
- DVDFab Smoother AIでフレーム補間を行う手順
- ➊ DVDFab 12を起動し、「リッピング」モードに移動します。
- 変換したいディスクやファイルを読み込み、「Smoother AI」関連のプロファイルMP4またはMKVを選択します。
- ➋ プロファイルを選択したら、出力フレームレートなどを変更することができます。
- ➌ 最後は右下のスタートボタンを押すだけで完了です。
フレーム補間する方法U、フレーム補間機能が付き編集ソフトを使う
現状、「フレーム補間」が出来る編集ソフトと言えば、動画編集をしたことがある人なら一度は聞いたことがあるほど有名な、AdobeのPremiere ProとDaVinci Resolve Studioがあります。
まだ使ったことがないけれど、動画編集のスキルを磨き続けたいと考えているのであれば、この2つの編集ソフトを入手することをお勧めします。
ソフト名 | 動作環境 | 価格 | 日本語対応 |
Adobe Premiere Pro | Windows 10またはそれ以降;macOS 11.0以降 | 2,480円(月額) | 対応済み |
DaVinci Resolve Studio | Windows 10/11;macOS 10.13.6 High Sierra以上 | 33,980円(買い切り) | 対応済み |
❶ Adobe Premiere Pro
Premier Proでは、以下の3つの補間を選ぶことが出来ます。
フレームサンプリング:直近のフレームをそのまま補間フレームにコピーするものです。
フレームブレンド:前後のフレームを合成し、新しいフレームを自動生成して補間します。
オプティカルフロー:前後のフレームから物体の動きをピクセル単位で推定して、より精度の高いフレームを自動生成して補間します。
対象となる映像に対してどの補間方法がよいのか、上記の補間技術を理解した上で、いろいろ試してから予想できるかもしれません。難しいと思いますが、まずはオプティカルフローで試してみて、問題があったらフレームブレンドにしてください。
- Adobe Premiere Proでフレーム補間を行う手順
- ➊ まずは、「Adobe Premiere Pro」を開いて、フレーム補間をしたいクリップをシーケンスに入れましょう。
- ➋ クリップをダブルクリックして、「補間」を選択します。「フレームブレンド」か「オプティカルフロー」のどちらかの補間方法を選択します。
- ➌ 最後に「Enter」を押して、レンダリングをすれば終了です。
❷ DaVinci Resolve Studio
DaVinci Resolveは、初心者でも簡単で覚えやすく、プロユーザー向けのパワフルさも兼ね備えている動画編集ソフトです。macOSやWindows、Linuxに対応しており、無料で使い始めることが可能です。
DaVinci Resolve Studioに搭載された高度なスピードワープ機能は、極めて滑らかで鮮明な品質を提供します。ただ、「スピードワープ」 の利用は有償版のDaVinci Resolve Studioが必要です。無償版を利用されている場合は、その他の「高品質(画質優先)」をお試しください。
- DaVinci Resolve Studioでフレーム補間を行う手順
- ➊ まずはDaVinci Resolveを起動して、新規プロジェクトを作成します。
- ➋ 「Shift+9」でプロジェクト設定を開き、「タイムラインフレームレート」でフレームレートを「59.94」か「60」に指定して、「保存」を押します。
- ➌ 低いフレームレートの素材(例えば29.97 fpsか30fps)をドラッグ&ドロップでソフトに読み込みます。
- ➍ エディットページで「インスペクタ」に入って、「リタイム処理」の項目で「オプティカルフロー」、「動き推定」で「スピードワープ」を選択すると、AIフレーム補完機能が発動します。
フレーム補間する方法V、プラグインと連携してフレーム補間を行う
プラグインと連携してフレーム補間を行うに定番なのはAviUtlです。基本的に、「AviSynth」、「MVTools」、「warpsharp」といったプラグインやスクリプトと併用したら、AviUtlを使ってフレームを補間することができるようになります。
AviUtlでフレーム補間の方法は上記の記事を読んでください。今回は「SmoothVideo Project (SVP)」というソフトでフレーム補間の方法を紹介します。
SmoothVideo Project (SVP4)
Smooth Video Projectは再生ソフトと連携して、リアルタイムで動画を見ながらフレーム補間をしてくれるツールです。対応しているOSは幅広く、Windows、macOS、Linux、Androidで使用することができます。また、このソフトはビデオのフレームレートを60FPS以上に向上させることができます。Smooth Video Projectを使うには、一定のスペックが要求されています。
30日間のトライアル版がありますが、有料版は$19.99(2,620円)となります。
- SVP4でフレーム補間を行う手順
- Smooth Video Projectのインストール画面に、Avisynthやffdshowなど必要な拡張機能にチェックを入れてインストールする必要があります。
- また、再生ソフトのMPC-HC、MPC-BE、PotPlayerのどちらかを選択してインストールしておきましょう。
- ➊ ここでは、MPC-HCを例として紹介します。再生ソフトを起動して、上部の「表示」> 「オプション」メインメニュー項目を開きます。
- ➋ 「外部フィルター」から「フィルターを追加...」をクリックし、リストで「AviSynth Filtersかffdshow raw video filter」を選択して「OK」を押します。続いて、画面右側にある「優先する」にチェックを入れます。
- ➌ そして、左メニュー内の「内部フィルタ」を選択し、画面下部の「ビデオデコーダ」をクリックします。設定画面が表示されますので、画面右上の「Hardware Decoder to use」欄で「DXVA2 (copy-back)」を選択して、右下の「OK」ボタンをクリックします。
- 以後、各種メディアプレイヤー上で動画を再生すると、「SVP」によるフレーム補完が有効になっています。
最後に
以上は、動画をフレーム補間する方法を紹介しました。フレームレートを変換したとき、もしくはスピードを変更してスローモーションを加えたときには、フレームの補間技術が必要になります。
技術の進歩によりフレーム補間はこれからもっと簡単になっていくでしょう。
以上のフレーム補間ツールから使えそうなものを使って、より美しい自然な動画を作り始めましょう。