David Garcia氏が開発した、非常に荒い解像度の写真を深層学習(ディープラーニング)を用いて高画質化するプログラムがGitHubで公開されている。
 

　 「srez」と名付けられたこのプログラムは、16×16ドットの低画質を縦横4倍の64×64ドットに引き伸ばす。その際に、深層学習で得られたパター ンを参照し、非常に高画質に仕上げる。上記の写真は、一番左が16×16ドットのもの、その右が通常のバイキュービック法で64×64ドットに引き伸ばし たもの、その右がsrezで出力されたもの、一番右が元の写真となる。
 

　結果は一目瞭然でかなりオリジナルに近い品質が得られている。ただ し、参照したデータセットが正面を向いた高画質な顔で構成されているため、顔が正面を向いていないもの、手が写っているもの、眼鏡をかけた顔などについて はまだ改善の余地があり、画質が低かったり歪んだりしている。この結果はGeForce GTX 1080を使って3時間かけて出力したという。

画像は、左から「オリジナル・ドット」「普通に拡大」「今回のプログラム」「オリジナル・写真」
眼鏡や斜めの顔は、まだまだこれからという技術ですが、正面はかなりの再現度。

コレはそのままではゲームへの使い道はほとんど無い感じですが、応用すれば「サッカーなどのスポーツゲーム」での選手モデルのクオリティが飛躍しそうです。



現在もこれからも容量の問題もあって、汎用選手モデルの出力自体は、「ダークソウル」のようなキャラエディット的に「既製パターン」から作り上げる形だから、モデル出力の場合もそのいくつかのパターンから骨格を選ばせるとすれば、現実的な速度で計算可能だと思う。

特に「FIFA」の場合は、膨大な選手の数が収録されているので、手作業じゃどうしても限界があるけれど、自動化となれば骨格の調整パターンを今の100倍以上に増やしても問題ないだろうしね。
正面からの写真に関しては登録の際に用意されているし。

それでも手作業で細かい微調整は必要になるだろうけど、EAに頑張ってもらいたいな～。