研究テーマ「単一画像から３Dモデルを再構築する」

宮崎大学大学院　令和4,5年度

先行研究

3D-ReConstnet
https://github.com/yonghanzhang94/A-Single-View-3D-Object-Point-Cloud-Reconstruction

環境

環境構築の手順
Ubuntu : 20.04.5
GPU : NVIDIA GeForce RTX 3060 Ti
cuda : 11.7
python : 3.7.15
numpy : 1.19.2
pytorch : 1.13.1
tensorflow : 1.13.1

生成した点群の表示はmatplotlibだと重いため、meshlabを使用する。

インストール

sudo apt -y install meshlab

実行

オブジェクト(点群,メッシュ化オブジェクト)の視覚化のできるソフトウェア

meshlabの起動コマンド

meshlab

学習からメッシュ化までの流れ

学習

train.pyファイルを使用して画像から点群を予測し、学習済みモデルを作成する。

python3 train.py

学習済みモデルはlearned_modelのフォルダに作成する。

点群の予測

predict_point_shapnet.pyファイルと学習済みモデルを使用して、画像から点群を予測する。

python3 predict_point_shapenet.py

出力はnpyファイル。

表面を生成する

convert_extension.pyファイルを使用して予測したnpyファイルをplyファイルに変換する。

python3 convert_extension.py

mesh.pyファイルを使用して点群のメッシュ化(面の生成)を行う。

python3 mesh.py -m plyファイル名

データセット

ShapeNet

データセット(以下のURLからShapeNetRendering.tgzをダウンロード)
https://cvgl.stanford.edu/data2/
スプリットデータ
https://drive.google.com/file/d/10FR-2Lbn55POB1y47MJ12euvobi6mgtc/view
pointcloud
https://drive.google.com/file/d/1cfoe521iTgcB_7-g_98GYAqO553W8Y0g/view

Pix3D

Pix3D dataset (~20 GB)
https://github.com/xingyuansun/pix3d
Pix3D pointclouds (~13 MB)
https://drive.google.com/open?id=1RZakyBu9lPbG85SyconBn4sR8r2faInV