MuRo
fanbox
新しい表現を模索してみる
🕑 Added 2023-05-01 08:40:19 +0000 UTC皆さん、こんにちは！
最近、UnityのBarracudaと言う面白そうな技術を試してました。UnityのBarracuda自体は、2020年頃からあるのですが、最近いじってみた感じです。
Barracudaとは
Barracudaは、Unityでニューラルネットワークを利用した推論を行うためのライブラリです。すごく簡単に言うと、機械学習のデータをUnity上で使えるようにする機能です。
Waifu2xBarracudaをやってみた
手始めに、Waifu2xBarracudaをやってみました。Waifu2xを使えば、低解像度の画像をAIによって高解像度に変換できます。
イイ感じ！
流石に動画だと処理負荷が大きいので、静止画に適用するのが良さそうです。例えば、Shoostでスクリーンショットや背景画像の解像度を上げるのに役立ちそう。（実装するかは決めてませんが。。）
画像から深度推定をやってみた
他にも画像から深度推定を行う技術も試してみました。
画像からDepth値を測定して、画像に奥行きの情報を追加することが出来ました。
これで何が出来るかと言うと、例えば、ライティングを付けたり、被写界深度を付けたりも出来るようになります。
↑ポイントライトを配置してみた。
↑被写界深度を入れてみた。
細かい形状を判定するのは難しいので、単純に立体表現を作成することはできませんが、表現力のちょっとした強化には使えるかもしれませんね。
この2つは、前からやってみたかったことなので、検証が出来て良かったです！うまく使えば何かが出来そうな予感がします。
というわけで、最近はいろいろな技術を試して、新しい可能性を模索していました。
今回の技術はこちらのGitHubから試せます。
Waifu2x
monocular-depth-unity
