狠狠撸

狠狠撸Share a Scribd company logo
Research modeで取得した
深度(Depth)データを可視化する
2018/04/17
Soichiro Sugimoto
sotan(@sotanmochi)
自己紹介
氏名:杉本 宗一郎
所属:TIS株式会社?戦略技術センター
最近作っているもの(個人): ユニティちゃんと鬼ごっこするアプリ
(コンテスト応募に向けて最終調整中)
2018/04/17 2
C++のサンプル(HoloLensForCV/Streamer)を動かしてみた
2018/04/17 3
深度(Depth)センサーで取得したデータを可視化してみたが,ほとんど見えない.
なぜか全体的に暗い.
※ スライド用に画像の明るさを+40%にしている
近距離深度
(ShortThrowToFDepth)
遠距離深度
(LongThrowToFDepth)
https://github.com/Microsoft/HoloLensForCV/tree/feature/api_updates
C++のサンプル(HoloLensForCV/Streamer)を動かしてみた
2018/04/17 4
テクスチャのフォーマットを変えてみたら,全体的に明るくなった.
深度に差分はあるはずだが,違いが分からない.
近距離深度
(ShortThrowToFDepth)
遠距離深度
(LongThrowToFDepth)
https://github.com/Microsoft/HoloLensForCV/tree/feature/api_updates
C#のサンプル(Windows-universal-sample/CameraFrames)を動かしてみた
2018/04/17 5
深度の差が見えない.全然分からない.
※ スライド用に画像の明るさを+40%にしている
近距離深度
(ShortThrowToFDepth)
https://github.com/Microsoft/Windows-universal-samples/tree/master/Samples/CameraFrames
深度(Depth)データを分かりやすく可視化してみた
2018/04/17 6
近距離深度
(ShortThrowToFDepth)
遠距離深度
(LongThrowToFDepth)
深度(Depth)データを分かりやすく可視化してみた
2018/04/17 7
デモ動画
https://www.youtube.com/watch?v=Yl_hut20K5A
深度(Depth)をHSV形式で色に変換して可視化する
2018/04/17 8
画像出典?参考:
Wikipedia「色相」 https://ja.wikipedia.org/wiki/%E8%89%B2%E7%9B%B8
Wikipedia「HSV色空間」 https://ja.wikipedia.org/wiki/HSV%E8%89%B2%E7%A9%BA%E9%96%93
1. 深度値を色相(Hue)に変換する.(SとVの値は基本的に1.0に固定)
深度(Depth): 0m 0.84m 1.68m 3.36m 4.2m
色相(Hue) : 0° 60° 120° 240° 300°
深度(Depth)をHSV形式で色に変換して可視化する
2018/04/17 9
2. HSV(0.0~1.0)をRGB(0.0~1.0)に変換する.
Alpha(8bit) R(8bit) G(8bit) B(8bit)
3. RGB(0.0~1.0)の値をピクセルデータに変換して配列に書き込む.
0 ~ 255 0 ~ 255 0 ~ 255 0 ~ 255
参考:
t-pot『HSV変換』 http://t-pot.com/program/112_HSV/index.html
Wikipedia「HSV色空間」 https://ja.wikipedia.org/wiki/HSV%E8%89%B2%E7%A9%BA%E9%96%93
変換の計算式は省略.
可視化するために試行錯誤して分かったこと
2018/04/17 10
下記の値から計算した深度値の有効範囲は 0.001 ~ 65.535mだが,
実際の有効範囲より大きすぎるため,可視化にはあまり使えない.
DepthMediaFrame.DepthFormat.DepthScaleInMeters: 0.001
DepthMediaFrame.MinReliableDepth: 1
DepthMediaFrame.MaxReliableDepth: 65535
MinReliableDepthとMaxReliableDepthは固定値であり,実行時の
変化は特にない.
可視化するために試行錯誤して分かったこと
2018/04/17 11
深度情報のフォーマット:
- 16bit 符号なし整数 (0 ~ 65535)
- 単位: ミリメートル (mm)
深度値の有効範囲(検証結果から推定):
- 近距離(ShortThrowToFDepth):0.156 ~ 0.95 m
- 遠距離(LongThrowToFDepth) : 0.95 ~ 3.52 m
有効範囲外の深度値を持つピクセルには最大深度値(?)として
4.091~4.095 m が設定される.
有効範囲外に入った時の変化(近距離深度)
2018/04/17 12
Before
有効範囲外に入った時の変化(近距離深度)
2018/04/17 13
After
有効範囲外に入った時の変化(遠距離深度)
2018/04/17 14
Before
有効範囲外に入った時の変化(遠距離深度)
2018/04/17 15
After
まとめ
? Research modeで取得した深度情報を分かりやすく可視化できた
? 明暗の違いよりも色の違いの方が識別しやすい
? 深度情報の形式と値の有効範囲が分かった
? 深度値の有効範囲については追加検証した方が良いかもしれない
(or 公式情報を待つ)
2018/04/17 16
ありがとうございました
Ad

Recommended

20190307 visualslam summary
20190307 visualslam summary
Takuya Minagawa
?
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン? オープンソースの自動運転ソフトAutowareを解説 ?
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン? オープンソースの自動運転ソフトAutowareを解説 ?
SSII
?
画像认识の初歩、厂滨贵罢,厂鲍搁贵特徴量
画像认识の初歩、厂滨贵罢,厂鲍搁贵特徴量
takaya imai
?
迟蹿,迟蹿2完全理解
迟蹿,迟蹿2完全理解
Koji Terada
?
[DL輪読会]Objects as Points
[DL輪読会]Objects as Points
Deep Learning JP
?
SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~
SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~
SSII
?
翱搁叠-厂尝础惭を动かしてみた
翱搁叠-厂尝础惭を动かしてみた
Takuya Minagawa
?
物体検出の歴史まとめ(1) 20180417
物体検出の歴史まとめ(1) 20180417
Masakazu Shinoda
?
[cvpaper.challenge] 超解像メタサーベイ #meta-study-group勉強会
[cvpaper.challenge] 超解像メタサーベイ #meta-study-group勉強会
S_aiueo32
?
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 ? TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 ? TransformerのCompute...
SSII
?
実践コンピュータビジョン 3章 画像間の写像
実践コンピュータビジョン 3章 画像間の写像
yaju88
?
画像生成?生成モデル メタサーベイ
画像生成?生成モデル メタサーベイ
cvpaper. challenge
?
NDTスキャンマッチング 第1回3D勉強会@PFN 2018年5月27日
NDTスキャンマッチング 第1回3D勉強会@PFN 2018年5月27日
Kitsukawa Yuki
?
3次元レジストレーションの基础と翱辫别苍3顿を用いた3次元点群処理
3次元レジストレーションの基础と翱辫别苍3顿を用いた3次元点群処理
Toru Tamaki
?
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
Deep Learning JP
?
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII
?
物体検知(Meta Study Group 発表資料)
物体検知(Meta Study Group 発表資料)
cvpaper. challenge
?
Humpback whale identification challenge反省会
Humpback whale identification challenge反省会
Yusuke Uchida
?
痴颈蝉耻补濒厂贵惭と惭别蝉丑尝补产と颁濒辞耻诲颁辞尘辫补谤别によるドローン撮影画像を用いたデジタル地図作成
痴颈蝉耻补濒厂贵惭と惭别蝉丑尝补产と颁濒辞耻诲颁辞尘辫补谤别によるドローン撮影画像を用いたデジタル地図作成
Hiroshi Yamaguchi
?
尝颈顿础搁点群と画像とのマッピング
尝颈顿础搁点群と画像とのマッピング
Takuya Minagawa
?
第126回 ロボット工学セミナー 三次元点群と深層学習
第126回 ロボット工学セミナー 三次元点群と深層学習
Naoya Chiba
?
狈耻尘笔测闇入门
狈耻尘笔测闇入门
Ryosuke Okuta
?
SLAM勉強会(3) LSD-SLAM
SLAM勉強会(3) LSD-SLAM
Iwami Kazuya
?
機械学習システムを受託開発 する時に気をつけておきたい事
機械学習システムを受託開発 する時に気をつけておきたい事
BrainPad Inc.
?
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
Deep Learning JP
?
颁狈狈-厂尝础惭ざっくり
颁狈狈-厂尝础惭ざっくり
EndoYuuki
?
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII
?
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
harmonylab
?
CV勉強会CVPR2019読み会: Video Action Transformer Network
CV勉強会CVPR2019読み会: Video Action Transformer Network
Toshiki Sakai
?
HoloLens RS4
HoloLens RS4
Shinya Tachihara
?

More Related Content

What's hot (20)

[cvpaper.challenge] 超解像メタサーベイ #meta-study-group勉強会
[cvpaper.challenge] 超解像メタサーベイ #meta-study-group勉強会
S_aiueo32
?
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 ? TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 ? TransformerのCompute...
SSII
?
実践コンピュータビジョン 3章 画像間の写像
実践コンピュータビジョン 3章 画像間の写像
yaju88
?
画像生成?生成モデル メタサーベイ
画像生成?生成モデル メタサーベイ
cvpaper. challenge
?
NDTスキャンマッチング 第1回3D勉強会@PFN 2018年5月27日
NDTスキャンマッチング 第1回3D勉強会@PFN 2018年5月27日
Kitsukawa Yuki
?
3次元レジストレーションの基础と翱辫别苍3顿を用いた3次元点群処理
3次元レジストレーションの基础と翱辫别苍3顿を用いた3次元点群処理
Toru Tamaki
?
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
Deep Learning JP
?
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII
?
物体検知(Meta Study Group 発表資料)
物体検知(Meta Study Group 発表資料)
cvpaper. challenge
?
Humpback whale identification challenge反省会
Humpback whale identification challenge反省会
Yusuke Uchida
?
痴颈蝉耻补濒厂贵惭と惭别蝉丑尝补产と颁濒辞耻诲颁辞尘辫补谤别によるドローン撮影画像を用いたデジタル地図作成
痴颈蝉耻补濒厂贵惭と惭别蝉丑尝补产と颁濒辞耻诲颁辞尘辫补谤别によるドローン撮影画像を用いたデジタル地図作成
Hiroshi Yamaguchi
?
尝颈顿础搁点群と画像とのマッピング
尝颈顿础搁点群と画像とのマッピング
Takuya Minagawa
?
第126回 ロボット工学セミナー 三次元点群と深層学習
第126回 ロボット工学セミナー 三次元点群と深層学習
Naoya Chiba
?
狈耻尘笔测闇入门
狈耻尘笔测闇入门
Ryosuke Okuta
?
SLAM勉強会(3) LSD-SLAM
SLAM勉強会(3) LSD-SLAM
Iwami Kazuya
?
機械学習システムを受託開発 する時に気をつけておきたい事
機械学習システムを受託開発 する時に気をつけておきたい事
BrainPad Inc.
?
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
Deep Learning JP
?
颁狈狈-厂尝础惭ざっくり
颁狈狈-厂尝础惭ざっくり
EndoYuuki
?
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII
?
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
harmonylab
?
[cvpaper.challenge] 超解像メタサーベイ #meta-study-group勉強会
[cvpaper.challenge] 超解像メタサーベイ #meta-study-group勉強会
S_aiueo32
?
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 ? TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 ? TransformerのCompute...
SSII
?
実践コンピュータビジョン 3章 画像間の写像
実践コンピュータビジョン 3章 画像間の写像
yaju88
?
画像生成?生成モデル メタサーベイ
画像生成?生成モデル メタサーベイ
cvpaper. challenge
?
NDTスキャンマッチング 第1回3D勉強会@PFN 2018年5月27日
NDTスキャンマッチング 第1回3D勉強会@PFN 2018年5月27日
Kitsukawa Yuki
?
3次元レジストレーションの基础と翱辫别苍3顿を用いた3次元点群処理
3次元レジストレーションの基础と翱辫别苍3顿を用いた3次元点群処理
Toru Tamaki
?
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
Deep Learning JP
?
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII
?
物体検知(Meta Study Group 発表資料)
物体検知(Meta Study Group 発表資料)
cvpaper. challenge
?
Humpback whale identification challenge反省会
Humpback whale identification challenge反省会
Yusuke Uchida
?
痴颈蝉耻补濒厂贵惭と惭别蝉丑尝补产と颁濒辞耻诲颁辞尘辫补谤别によるドローン撮影画像を用いたデジタル地図作成
痴颈蝉耻补濒厂贵惭と惭别蝉丑尝补产と颁濒辞耻诲颁辞尘辫补谤别によるドローン撮影画像を用いたデジタル地図作成
Hiroshi Yamaguchi
?
尝颈顿础搁点群と画像とのマッピング
尝颈顿础搁点群と画像とのマッピング
Takuya Minagawa
?
第126回 ロボット工学セミナー 三次元点群と深層学習
第126回 ロボット工学セミナー 三次元点群と深層学習
Naoya Chiba
?
狈耻尘笔测闇入门
狈耻尘笔测闇入门
Ryosuke Okuta
?
SLAM勉強会(3) LSD-SLAM
SLAM勉強会(3) LSD-SLAM
Iwami Kazuya
?
機械学習システムを受託開発 する時に気をつけておきたい事
機械学習システムを受託開発 する時に気をつけておきたい事
BrainPad Inc.
?
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
Deep Learning JP
?
颁狈狈-厂尝础惭ざっくり
颁狈狈-厂尝础惭ざっくり
EndoYuuki
?
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII
?
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
harmonylab
?

Similar to Research modeで取得した深度(Depth)データを可視化する (15)

CV勉強会CVPR2019読み会: Video Action Transformer Network
CV勉強会CVPR2019読み会: Video Action Transformer Network
Toshiki Sakai
?
HoloLens RS4
HoloLens RS4
Shinya Tachihara
?
3D depth sensor world
3D depth sensor world
Kaoru NAKAMURA
?
深层学习を用いたコンピュータビジョン技术とスマートショップの実现
深层学习を用いたコンピュータビジョン技术とスマートショップの実现
DeNA
?
xR Tech Tokyo 登壇資料 Mixed Realityではじまるコラボレーティブ?コンピューティング
xR Tech Tokyo 登壇資料 Mixed Realityではじまるコラボレーティブ?コンピューティング
Shinya Tachihara
?
HoloLens 2 開発入門 (公式チュートリアルの紹介)
HoloLens 2 開発入門 (公式チュートリアルの紹介)
Madoka Chiyoda
?
HoloLens 2を手に入れたらとりあえず試しておくべきアプリ
HoloLens 2を手に入れたらとりあえず試しておくべきアプリ
Shingo Mori
?
RICOH THETA x IoT テ?ヘ?ロッハ?ース? コンテスト 第2回クラウト?APIセミナー
RICOH THETA x IoT テ?ヘ?ロッハ?ース? コンテスト 第2回クラウト?APIセミナー
contest-theta360
?
オレオレ言语実装に役立つプル型础厂罢ウォーカー础笔滨
オレオレ言语実装に役立つプル型础厂罢ウォーカー础笔滨
隆行 神戸
?
Pepper tech festival_2014_技術セッション基本
Pepper tech festival_2014_技術セッション基本
Atelier Akihabara
?
HoloLensでCustom Vision Serviceを使ったオフライン推論を試した話
HoloLensでCustom Vision Serviceを使ったオフライン推論を試した話
Takahiro Miyaura
?
Deep Learning基本理論とTensorFlow
Deep Learning基本理論とTensorFlow
Tadaichiro Nakano
?
HoloLens概要 仙台IT文化祭
HoloLens概要 仙台IT文化祭
Kaoru NAKAMURA
?
都市3顿メッシュを使ってみる
都市3顿メッシュを使ってみる
matsunoh
?
チュートリアル:细胞画像を使った初めてのディープラーニング
チュートリアル:细胞画像を使った初めてのディープラーニング
DaisukeTakao
?
CV勉強会CVPR2019読み会: Video Action Transformer Network
CV勉強会CVPR2019読み会: Video Action Transformer Network
Toshiki Sakai
?
深层学习を用いたコンピュータビジョン技术とスマートショップの実现
深层学习を用いたコンピュータビジョン技术とスマートショップの実现
DeNA
?
xR Tech Tokyo 登壇資料 Mixed Realityではじまるコラボレーティブ?コンピューティング
xR Tech Tokyo 登壇資料 Mixed Realityではじまるコラボレーティブ?コンピューティング
Shinya Tachihara
?
HoloLens 2 開発入門 (公式チュートリアルの紹介)
HoloLens 2 開発入門 (公式チュートリアルの紹介)
Madoka Chiyoda
?
HoloLens 2を手に入れたらとりあえず試しておくべきアプリ
HoloLens 2を手に入れたらとりあえず試しておくべきアプリ
Shingo Mori
?
RICOH THETA x IoT テ?ヘ?ロッハ?ース? コンテスト 第2回クラウト?APIセミナー
RICOH THETA x IoT テ?ヘ?ロッハ?ース? コンテスト 第2回クラウト?APIセミナー
contest-theta360
?
オレオレ言语実装に役立つプル型础厂罢ウォーカー础笔滨
オレオレ言语実装に役立つプル型础厂罢ウォーカー础笔滨
隆行 神戸
?
Pepper tech festival_2014_技術セッション基本
Pepper tech festival_2014_技術セッション基本
Atelier Akihabara
?
HoloLensでCustom Vision Serviceを使ったオフライン推論を試した話
HoloLensでCustom Vision Serviceを使ったオフライン推論を試した話
Takahiro Miyaura
?
Deep Learning基本理論とTensorFlow
Deep Learning基本理論とTensorFlow
Tadaichiro Nakano
?
HoloLens概要 仙台IT文化祭
HoloLens概要 仙台IT文化祭
Kaoru NAKAMURA
?
都市3顿メッシュを使ってみる
都市3顿メッシュを使ってみる
matsunoh
?
チュートリアル:细胞画像を使った初めてのディープラーニング
チュートリアル:细胞画像を使った初めてのディープラーニング
DaisukeTakao
?
Ad

Research modeで取得した深度(Depth)データを可視化する