Update: Resolume v7.28 – Background Removal, Depth Effects

ResolumeのArena、Avenue、Wireがアップデートされ、コンピュータービジョン機能がResolumeに追加されました。

Resolume v7.28の新機能

バージョン7.28.0では、Resolumeにコンピュータービジョンを導入。Wireには、より高度な映像処理を構築するための低レベルな機能ブロックとして、**Human Segmentation（人物セグメンテーション）とDepth Estimation（深度推定）**の2つの新ノードが追加されました。

さらに、ArenaとAvenueには、これらの機能を活用した新しいエフェクトやブレンドモードが登場。Background Removal、Depth Estimation、Depth Blur、Depth Field、Depth Displace、Depth Pixelation、Depth Shiftに加え、Depthブレンドモードが利用できるようになりました。

人物の切り抜きや映像の奥行きを利用したエフェクトなど、コンピュータービジョンを活用したリアルタイム映像表現を、Resolume上でより柔軟に構築できます。

 

Background Removal

Human Segmentation（人物セグメンテーション）モデルを使用して、映像内の人物などの被写体と背景を自動的に分離します。生成したマスクは出力できるほか、反転、エッジのスムージング、マスク境界の調整にも対応。不要な部分を整えながら、よりきれいな切り抜き結果を作成できます。

Depth Estimation

2D画像から**深度マップ（Depth Map）**を生成します。映像のフレーム間で発生しやすいちらつきを抑えるため、**時間方向のフィルタリング（Temporal Filtering）**とスムージング機能を搭載。映像の奥行きを利用したリアルタイムエフェクトの作成に活用できます。

Depth Blur

被写界深度を再現したソフトなぼかしエフェクトです。ピントを合わせる位置を指定すると、手前や奥にある部分が徐々にボケていき、明るい部分は光る円形の**ボケ（Bokeh）**として表現されます。入力映像からリアルタイムに深度情報を取得するため、さまざまなクリップに適用可能です。

Depth Field

2段階の深度エフェクトです。

「Ghost」では、映像の彩度や明るさを落とし、必要に応じて反転することで、背景側へ退いていくような表現を作成できます。

「Xray」では、指定した深度にある領域を発光するスラブ状のハイライトとして表示。深度をスライドさせることで、シーン内の特定の距離にあるオブジェクトを強調できます。

Ghostによる背景の抑制と、Xrayによる前景の強調を組み合わせることで、深度情報を活用したX線のようなビジュアルエフェクトを作成できます。

Depth Displace

深度情報を利用して映像を歪ませるディスプレイスメントエフェクトです。内部ノイズによって元映像を変形させ、深度情報を利用して歪みを適用する範囲をコントロールします。

「Slice」を動かしてシーン内の特定の深度にエフェクトを集中させることができ、Falloffで変化の滑らかさを調整できます。また、Min / Maxで歪みの強度を設定し、ノイズのDetail / Speedによって動きの細かさや速度をコントロールできます。

水中のような揺らぎ、グリッチ系のきらめき、幻想的に溶けていくような映像表現など、深度に応じたユニークなディストーションを作成できます。

Depth Pixelation

深度情報に応じてピクセルのサイズが変化するピクセレーションエフェクトです。

遠くにある領域ほどピクセルを大きくして粗く表示し、手前の領域はシャープに保つことで、奥行きに応じてピクセル表現が変化する独特のビジュアルを作成できます。

Depth Shift

映像を深度ごとのレイヤーに分割し、それぞれを異なる量だけシフトさせることで、2D映像から3Dのようなパララックス効果を作成します。手前のレイヤーほど大きく移動し、遠くのレイヤーほど移動量が小さくなるため、平面的な映像に立体的な奥行きを加えられます。

「Colorize」を有効にすると、深度に応じて各レイヤーに色を付けることも可能。さらにエッジを強調することで、切り絵のようなグラフィカルな表現も作成できます。

Depth Blend Mode

不透明度ではなく、深度マップを基準に2つのレイヤーを合成するブレンドモードです。これにより、一方のレイヤーにある被写体を、もう一方のレイヤーの奥行きに合わせて自然に配置できます。

「Flip Depth」では手前と奥のどちらのコンテンツを優先するかを切り替え可能。「Granularity」と「Smooth」でマスクの形状を調整でき、Temporal Filterを使用すれば、フレーム間で発生するちらつきも抑えられます。

すべてのエフェクトはWireで構築

今回追加された各エフェクトとDepthブレンドモードは、すべてWireパッチとして構築されています。

パッチを開いてモデルを調整したり、コントロールを変更したり、Human SegmentationとDepth Estimationノードを使ってオリジナルのエフェクトを構築することも可能です。Resolume Wireならではの柔軟なカスタマイズを楽しめます。

Group FFT for Clip and Layer Parameters

グループ内に配置されたレイヤーやクリップで、FFTパラメーターアニメーションのソースとなるグループを選択できるようになりました。

MIDI & OSC Monitorの改善

MIDIまたはOSCモニターで、1つまたは複数のメッセージを選択してコピーできるようになりました。

特に、長いOSCアドレスをコピーして使用する場合に便利な機能です。

Wireで右クリックからデフォルト値にリセット

ArenaやAvenueでおなじみの操作がWireにも追加されました。

Wireのインレットやパラメーターを右クリックすることで、デフォルト値にリセットできるようになりました。ArenaやAvenueと同じ感覚で操作できます。

 

	Resolume Avenue VJ、AVパフォーマー、映像アーティストのためのライブビジュアルツール Avenueは、VJ、AVパフォーマー、映像アーティストのためのライブパフォーマンスツールです。 映像素材やエフェクトをすぐに呼び出せるよう手元に集約し、ライブ中でもスピーディーに映像を再生・操作できます。直感的な操作で、その場の音楽や空間に合わせた即興的なビジュアルパフォーマンスを実現します。
	Resolume Arena Media Server VJ向けソフトウェア Arenaは、VJ、AVパフォーマー、映像アーティスト向けのライブビジュアルツール「Avenue」をベースに、プロジェクションマッピングや複数プロジェクターのブレンディングに対応した高度な機能を搭載したVJソフトウェアです。 照明卓からのコントロールに対応し、SMPTEタイムコードを使ってDJのパフォーマンスと同期することも可能。ライブイベントやステージ演出、プロジェクションマッピングなど、より高度な映像演出を実現します。
	Resolume Wire Arena & Avenue用のエフェクト、ミキサー、映像ジェネレーターを作成できるノードベース環境 Resolume Wireは、ArenaやAvenueで使用するエフェクト、ミキサー、映像ジェネレーターを自由に作成できるモジュラー型のノードベース・パッチング環境です。 初めてノードベースのパッチングに取り組む方にも使いやすいよう設計されており、接続可能なノードを提案してくれるサジェスト機能を搭載。各ノードのドキュメントに加え、豊富なサンプルパッチ、詳しい解説記事、ビデオチュートリアルも用意されているため、パッチングの基本から無理なく学べます。 Wireでは、複雑な処理や高度なパッチングを自由に構築できます。完成したパッチから必要なパラメーターだけをArenaやAvenueに公開すれば、ライブパフォーマンス時の操作画面をシンプルかつ直感的に保ちながら、独自の映像表現を実現できます。