撮った風景が無重力になって浮く凄い技術！！！
撮った風景が無重力になるという凄い技術がTwitterに投稿され話題になっている。スマートフォンやタブレットで撮影すると、一定時間の処理時間を経て、車や人がオブジェクトとして認識されデバイスを傾けたり振った方向にフワフワと移動するのだ。
慣性がありまた画面の端っこに行くとぶつかるという判定もある。
ライブラリを使いオブジェクトを検出し写真内の車や人を検出して動かしている、ということのようだ。
これを応用してゲームや面白いアプリに活用すれば、邪魔なオブジェを検出して別の位置に移動させたりと簡単にできるようになるかもしれない。
撮った風景を無重力空間にしてみた。 Turn the cityscape into zero-gravity space. #AR #ArgumentedReality #MaskRCNN pic.twitter.com/QqUVoFPhXt
— TakahiroPolyHorikawa (@thorikawa) 2019年2月21日
技術的なことに興味がある人向けの解説。Mask R-CNNというDLのライブラリでオブジェクトを検出して、UnityにGameObjectとしてぶっこんで動かしてます。切り取った後の背景の欠落領域はPixMixというアルゴリズムで埋めています。オブジェクト検出はサーバー側で行い、iPadと通信してます。
— TakahiroPolyHorikawa (@thorikawa) 2019年2月22日