空撮画像技术と3次元リアルタイムデータの可视化について
?Download as PPTX, PDF?
8 likes?6,266 views
生态学会自由集会の発表资料です。
空撮画像技术と3次元リアルタイムデータの可视化について
- 5. ドローンで 災害救助等に使える システム作れないか？ DFID - 英国国際開発省 CC BY 3.0 ネパール地震でのドローンを使った災害救助 https://www.flickr.com/photos/dfid/16691214064
- 11. １．v-SLAM （visual SLAM） ： リアルタイムで単眼カメラの動画 データから自己位置推定と環境地図を作成する技術。今回使ったのは LSD-SLAM。他にはORB-SLAMやSVO、PTAM等がある。これ系の技 術は大体はPTAMを親として派生した技術。 また、 LiDAR等の高価なセンサを使用せずとも安価なカメラで点群 データを得られる。最近は精度も良い。 取得したデータはどう加工するの？-1 https://www.youtube.com/watch?v=Gnu QzP3gty4 LSD-SLAM ORB-SLAM SVO PTAM https://www.youtube.com/watch?t=142& v=Y9HMn6bd-v8 https://www.youtube.com/watch?v=2YnIMfw6 bJY https://www.youtube.com/watch?v= 8DISRmsO2YQ
- 12. ２．SfM（Structure from Motion）：オルソ画像やタイル画像、DEM が必要な場合はこちら。商用で最も有名なのはAgisoftのPhotoScan。 最近だとドローン用WEBサービスのPix4Dが目立ってきている。 非商用であればVisualSfM等がある。オープンソースであれば OpenMVG、OpenSfMなどが有名。 v-SLAMと同じく安価なカメラのみで点群やその他情報を作成できる。 取得したデータはどう加工するの？-2 https://www.flickr.com/photos/crschmidt/152608885 06/ PhotoScan Pro Pix4D https://pix4d.com/ VisualSfM http://ccwu.me/vsfm/ OpenMVG OpenSfM https://github. com/mapillary /OpenSfM https://github.com/openMVG/openMVG/
- 13. ３．ワークフローSfM：画像ファイルを用意するだけでオルソ画像 や３Dモデルを作るところまでを自動化したもの。オープンソース ではOpenDroneMapが有名。 取得したデータはどう加工するの？-3
- 18. ４．ポイントクラウド：SfMやv-SLAM、 LiDARで取得した点群 データ。物体認識や障害物回避等の自動運転系で使ったりする。今 回は3次元地図に使用します。 加工した成果物はどう利用するの？-４ http://subspace.nicta.com.au/#publicDemos https://www.youtube.com/watch?v=r9LegSK6MfU 例１：Cesiumでのポイントクラウド表示例 例２：ポイントクラウドを用いた自动运転例
- 23. ? Cesiumは、プラグインなしでWebブラウザ上で3D地図や2D地図を表示す るためのJavaScriptライブラリ。WebGLに対応したブラウザ上で動作する。 ざっくり言えばGoogle Earthのオープンソース版のようなもの。 Cesiumとは？ https://cesiumjs.org/index.html https://cesiumjs.org/Cesium/Apps/Sandcastle/index. html
- 24. １．Google EarthのWEB版も最初考えたが、そもそも現時点で最新の Chromeで動作しないので候補から外れた。 ２． Google Earth等の商用アプリは基底部分をいじれないので、欲しい機能 を自前で実装できないため、オープンソースであるのは必須要件だった。 Cesiumは基底部分はもとより、UIも大幅に変更可能なのもかなりポイント高 い。 ３．WebGLに対応したブラウザであれば端末を選ばない。 ４．ドローンからのデータを扱う上で、サーバからリアルタイムで大量のデー タを扱うにはブラウザ上でWebSocketやWebRTC等のHTML5技術と親和性が 高いものが良かった。 ５．KMLやGeoJSON等馴染み深いデータソースをそのまま使えるため、過去 の資産を活かしやすい。 なぜCesium？－１
- 37. SfMの場合-9 OpenSfMの例 Fig.1 名状しがたい公園 Fig.2 名状しがたい博物馆
- 39. ① EXIF付き画像をフォルダに入れて、そのフォルダ内で OpenDroneMap/run.pl を実行することでOpenDroneMapのワークフローが実行される。 ② 実行後には点群データとオルソ画像、 3Dメッシュオブジェク トが生成される。 ③ テキチャ付き3Dメッシュオブジェクト（obj）はそのままの形 式だとcesiumに表示できないため、一旦Meshlab等でCOLLADA形 式に変換し、更にそこからcesiumライブラリ経由でglTF形式に変 換することでようやくcesium上に3Dモデルとして表示が可能とな る。 参考：SfMで作ったものをCesiumで 表示するには？-OpenDroneMap編
- 40. ① EXIF付き画像を「images」フォルダにいれて、パラメータ等が記載された「config.yaml」を用意する。 OpenSfM/bin/run_all フォルダ名 【フォルダ構造例】 testData/ └config.yaml └images/ └img_00.jpg └img_01.jpg └img_02.jpg └img_03.jpg └img_04.jpg └img_05.jpg 【実行例】 OpenSfM/bin/run_all testData ② 実行後にはJSON形式の点群データができる。デフォルトのままだとECEF座標系(地球中心?地球固定直交 座標系)で出力されるためECEF座標系?緯度経度の変換を行う必要があった。 ③ Ply形式にPythonで変換後、Cesiumで表示が可能となる。ただし建物の横から撮った写真であればジオリ ファレンスの精度はそこまで問題ではないが、航空写真のような上から撮った写真の場合は激しくずれる。高さ がハードコーディングされていたりしたので、恐らく横からの画像に特化している？ 参考：SfMで作ったものをCesiumで 表示するには？-OpenSfM編
- 41. ①任意のフォルダに画像、スクリプトファイル(下記参照)、画像同士の組み合わせを記載したXMLファイル、プロジェクションを記載したXMLファイルなどを入れる。 ②Micmacには様々なツールが入っている。 各ツールを実行するスクリプトを書く。 【例】UAS_test.sh ----------------------------------------------- #!/bin/sh BIN_DIR=$1 CHANT_DIR=$2 ${BIN_DIR}mm3d OriConvert OriTxtInFile GPS_WPK_Grand-Leez.csv Nav-Brut-RTL ChSys=DegreeWGS84@SysCoRTL.xml MTD1=1 NameCple=FileImagesNeighbour.xml CalcV=1 ImC=R0040536.JPG NbImC=25 ${BIN_DIR}mm3d Tapioca File FileImagesNeighbour.xml -1 ${BIN_DIR}mm3d Tapas RadialBasic "R0040536.JPG|R0040537.JPG|R0040535.JPG|R0040578.JPG|R0040498.JPG|R0040499.JPG|R0040579.JPG|R0040538.JPG|R0040577.JPG|R0040534.JPG|R0040497.JP G|R0040500.JPG|R0040580.JPG|R0040456.JPG|R0040616.JPG|R0040576.JPG|R0040496.JPG|R0040617.JPG|R0040455.JPG|R0040457.JPG|R0040615.JPG|R0040539.J PG|R0040501.JPG|R0040581.JPG|R0040533.JPG" Out=Sample4Calib-Rel ${BIN_DIR}mm3d AperiCloud "R0040536.JPG|R0040537.JPG|R0040535.JPG|R0040578.JPG|R0040498.JPG|R0040499.JPG|R0040579.JPG|R0040538.JPG|R0040577.JPG|R0040534.JPG|R0040497.JP G|R0040500.JPG|R0040580.JPG|R0040456.JPG|R0040616.JPG|R0040576.JPG|R0040496.JPG|R0040617.JPG|R0040455.JPG|R0040457.JPG|R0040615.JPG|R0040539.J PG|R0040501.JPG|R0040581.JPG|R0040533.JPG" Sample4Calib-Rel Out=Sample4Calib-Rel.ply ${BIN_DIR}mm3d Tapas RadialBasic "R.*.JPG" Out=All-Rel InCal=Sample4Calib-Rel ${BIN_DIR}mm3d CenterBascule "R.*.JPG" All-Rel Nav-Brut-RTL tmp CalcV=1 ${BIN_DIR}mm3d OriConvert OriTxtInFile GPS_WPK_Grand-Leez.csv Nav-adjusted-RTL ChSys=DegreeWGS84@SysCoRTL.xml MTD1=1 Delay=-0.0854304 ${BIN_DIR}mm3d CenterBascule "R.*.JPG" All-Rel Nav-adjusted-RTL All-RTL ${BIN_DIR}mm3d ChgSysCo "R.*JPG" All-RTL SysCoRTL.xml@SysCoBL72_EPSG31370.xml All-BL72 ${BIN_DIR}mm3d AperiCloud "R.*.JPG" All-BL72 Out=All-BL72-cam.ply WithPoints=0 ${BIN_DIR}mm3d Malt Ortho "R.*JPG" All-BL72 DirMEC=MEC DefCor=0 AffineLast=1 Regul=0.005 HrOr=0 LrOr=0 ZoomF=1 ${BIN_DIR}mm3d to8Bits MEC/Z_Num8_DeZoom1_STD-MALT.tif ${BIN_DIR}mm3d Nuage2Ply "MEC/NuageImProf_STD-MALT_Etape_8.xml" Scale=8 Attr="MEC/Z_Num8_DeZoom1_STD-MALT_8Bits.tif" Out=CanopySurfaceModel.ply ----------------------------------------------- ③スクリプトを実行 ./UAS_test.sh micmac/bin ※感想：PDFのマニュアルが約350ページもあり心が折れた。 参考：SfMで作ったものをCesiumで 表示するには？- Micmac編
- 47. リアルタイムデータ3顿地図のデモ
- 50. 追記 ドローンを飛ばす前に読んでおいたほうがよい資料 http://dil-opac.bosai.go.jp/publication/nied_report/PDF/81/81- 5inoue.pdf 防災科学技術研究所研究報告 第 81 号 自然災害調査研究のための マルチコプター空撮技術 著： 井上 公 内山庄一郎 鈴木比奈子 ドローンを用いた詳細DEM （0.5mメッシュ）やオルソ 画像作成と運用に対する考察 をまとめたもの。操作方法だ けではなく事故や保険などに も言及しており非常に広範で よくまとまっている。 must read!
- 55. ご清聴ありがとうございました。