AdobeMaxから出たアップデート情報をもとにAIと画像について少し話したいと思います。

前前回もみたのですが、AdobeのAIはどう変わったか、変わっていくかの話です。
２月のAdobeMAXでは、新しいFireflyアプリケーションが紹介されました。
注目度が高かったのはまずは外部ソフトなどでこれまで対応していた、キャプションの多言語化。また音声➡文字起こしからキャプションを制作する機能から、追加翻訳言語が１７加えられ、自動で瞬時に完了するようになりました。また日本語素材から別の言語への翻訳も可能になっています。
更にスタイルブラウザから、プリセット登録したスタイルを適応することも出来るなど「簡単だけど強い工夫」が行われています。またAIで注目できるのは、素材の検索です。AI を活用した「 Media Intelligence 」検索機能というそうです。

タグ付けを自分でしなくても、例えば大量の撮影素材の中から犬が映ってる絵だけを抽出することが検索で可能になったり、更にその中で「走っているシーンだけ」をイン点とアウト点をうって、もってきてくれたりします。同時にその部分だけオブジェクトマスクのアイコンで選んでトラッキングをすることもできるようになっています。
これがどういうことかというと、細かい作業を自動化できるということです。
が……ここまでの発表を見て、ナルホドと思うものの、動かしてみると素材の特性によってまだまだ手を加える部分が必要なのも事実。今後へ期待です。

もう一つ注目したいなと思ったのが、前後の秒数を追加できる動画です。
例えばもう少しだけそのまま空にタコを上げたいな……もう少しだけ車に道路を走らせたいな……と思う部分があるとします。Premiereの画面で伸ばせるんです。素材の尺を！
これはとても助かることだと思います。

延長するクリップを選んで伸ばすたまにビデオクリップ２秒間・オーディオクリップ３秒間は必要ですが、「生成延長」が出来ます。ちなみに、生成拡張した後の動画が気に入らない場合は再度生成することで、リトライできます。特にカメラの高速の動きや、ショット内のコンテキストの変化がすくないものについてはうまくいきます。
一方で、実はここについても、問題はあって、例題として例えばバスケットのドリブルは生成延長してもカオスな動きになっていました。苦手なものと得意なものの差がかなりはっきりしているので、場合によりかなり有効だと思います。ちなみに４月２日のNAB　SHOWでもクリップの末尾をドラッグ＆ドロップで引き延ばせるこの機能が紹介されていたようで、これにて正式リリース確定です。（ちなみにGenerative Extendというそうです）

たまにやらかす、少し早く切ってしまった録画なども２秒までならリカバリーが効くようになるということで、最後の最後にフェイドさせる分の２秒を伸ばすことが可能になりそうです。

注意事項は、現在のところですが、フォーマットによるエラーが発生しており、解像度とアスペクト比によってエラーが起きるという点。いずれ治す予定ということなので、もう少し待ちたいかもしれません。後ほんの少し！のときに使えるようになるというだけで、気分が大分違いますね。※ちなみにオーディオは最大１０秒までいけるそうなので、環境音や背景音の部分での延長が一番使い勝手がよくなるのかもしれません。

ただちょっとネックなのは今回のVerリリースからしばらく期間限定で無料利用だそうですが、その後Firefly 生成クレジットが必要になるのだとか。クレジットの消費量は、ビデオのフォーマット、フレームレート、解像度によって異なるそうです。実際どのくらい使うのか、おいくらになるのかも気になりますが、まだ触ってみないと、使えるかどうかの肌感がわからないなということころです。商用利用については、安全性の確保を謳っており、基本的にAdobeストックやパブリックドメインの素材でトレーニングされた結果ができているそうですが、中には勝手にAdobeストックに登録された例もいくつか見ているので、少しだけ不安もあります。実際どこまでOKとするかは、結局、指示する側のジャッジになるので……。

ところで、それとは別に、地味に有難いのが、Premiere Pro上のダイナミック波形、カラーラベル、GPUサポートの向上と、After Effects上の高速再生エンジン、3D FBXモデルサポート、HDRモニタリング追加です。
何がどうできるか細かいことは話しませんが、これまでのようにGPUは足りてるのに、CPU依存で動かない……動きが悪いという状態をぬけてくれるだけでも御の字。
また、AEの効率的な３Dツールには本当に感謝するしかありません。３Dよわよわだったので……。個人的には環境ライトが使いやすくなるの助かるなという気持ちです。

さて、この辺りはAdobeMAXのキーノートでも語られたのて、既にベータ版で実際に使ってみた人も多いと思います。
今回注目してほしいのは、そこではなくて、スニーク……今後いれられる機能のデモです。
個人的に凄いと思ったのは光の表現でした。というのも、例えば写真があって、影にいる男だったとしましょう。明るい高原に置いて合成したい！となると、従来ではかなりの労力がいりました。色を調整し、光を調整し、馴染ませる……いうのは簡単ですが、やるのは大変です。無理ということもしばしばありました。

ところが、今はというと、見ての通りです。光源を勝手に合わせて合成してくれるという機能……これが近い将来実装されるそうです。どうしても事情により取れない天気のときなどもありますが、その点をクリアできるという意味で大変助かるなぁと思います。他にもいろいろな機能が増える予定だということですが、特に便利であると思いました。

技術職として丁寧にこのあたりを作りこんできた方もいるとおもいますが、よりアイディアだしに時間がさける意味でとてもいいなという変更です。ところで、AIがこういう方向に進むと、一般職の人ほど使いやすいソフトになる側面もあると思います。