Flowframesで動画をAI補完
おっすー(＾ω＾)
先週風邪引いて2日寝込んでその後も体調不良を引きずってました。風邪がスッと治る事ってなくなったのはやはり歳のせいなのかヽ( ﾟ▽、ﾟ)ノ 検査キット使って熱も38度超えなかったから感染症の類ではないと思う。
最近ではAIに動画を作らせるのが流行ってきてますけどうちはVRAM6GBなのでぎりぎり出力はできても時間掛かって波には乗れない感じなんですが絵を複数枚出力してその間を補完するFlowframesってものがあると知ってちょっと試してみました。
まずAIで連続する絵を出力してもらって破綻少なめに手直しをする。
次にフレーム単位で管理できるソフトで絵を順番に表示するようにして動画を作成する。今回はmohoで4フレーム毎に絵を配置して15fpsの動画を作る。
この動画をFlowframesでFPS60に補正する。詳しいやり方がyoutubeにあるのでこちら参照。
仕上がったのを並べてみる。
結構補正されてなめらかになっていると思う(＾ω＾) やってみた感想としてはAIでアニメを出力してコマ間の補正するには良いけど（大元は上記youtubeの派生動画でそういう事してた）自分で絵をいくつか出力して修正して作った動画にするのは大変だからレイヤーを作ってmohoやlive2dみたいな動画スタジオで作った方が動画はまだ楽というか思ったものが作れるかなって。AIで動画から動画へ変換もできるみたいだけど最新だとリアルタイムレンダがあるみたいだし変なゴミが入るのも少なくなってるんだろうか、ちょっとわからない。