伝统的工芸品の世界贩売戦略を支援するためのバーチャルショウケース～テクスチャ?ツール～
?
0 likes?589 views
【地域ICT先端技術セミナー】 ● 日時：平成３０年３月２９日（木）13:30 ～ 17:00 ● 会場：新潟大学駅南キャンパスときめいと
![地域 先端技術セミナーICT 112018/3/29
処理結果の例（抜粋）
(a)原画像
(“Tex1”, “Tex4”)
(b)Peleg’s
[TIP14]
(c) Lakshman’s
[SPIC15]
(d) Sun’s
[DSP16]
(e) 提案法](https://image.slidesharecdn.com/texturesynthesis4traditionalcrafts-180519013704/85/-11-320.jpg)
![シミュレーション結果
PSNR, SSIM，処理時間
地域 先端技術セミナーICT 122018/3/29
TIP 14 S P IC 15 D S P 16 P roposed TIP 14 S P IC 15 D S P 16 P roposed TIP 14 S P IC 15 D S P 16 P roposed
Tex1 32.60 32.70 32.70 33.03 0.9265 0.9275 0.9275 0.9328 19.44 9.20 243.46 5.81
Tex2 33.74 33.84 34.07 34.64 0.9419 0.9436 0.9436 0.9469 23.62 10.83 151.95 7.05
Tex3 24.03 23.30 23.50 23.57 0.9149 0.9163 0.9203 0.9267 60.61 29.67 593.74 19.39
Tex4 24.55 24.65 24.75 25.12 0.9173 0.9124 0.9185 0.9246 34.33 16.41 358.48 10.89
Tex5 25.82 26.01 25.94 26.23 0.8891 0.8915 0.8991 0.8997 24.17 11.48 247.34 7.52
Tex6 31.85 31.93 31.75 32.24 0.8952 0.8920 0.8982 0.9040 34.75 17.25 413.20 10.57
Tex7 31.38 31.75 32.09 32.27 0.9383 0.9396 0.9398 0.9464 42.65 21.50 525.67 13.98
Tex8 26.23 26.42 26.52 26.77 0.8627 0.8655 0.8698 0.8769 17.25 8.11 210.01 5.44
Tex9 17.24 17.81 17.81 18.28 0.8728 0.8769 0.8769 0.8853 18.63 8.73 223.54 5.81
Tex10 35.02 35.49 35.49 36.20 0.9574 0.9582 0.9588 0.9642 11.74 5.16 135.62 4.54
P S N R [dB ] S S IM Tim es[s]
Im age
[TIP14] T. Peleg and M. Elad, “A statistical prediction model based on sparse representations for single image super-
resolution,” IEEE Trans. Image Process., vol. 23, no. 6, pp. 2569-2582, Jun. 2014.
[SPIC15] H. Lakshman et al. “Image interpolation using Shearlet based iterative refinement,” Signal Processing:
Image Comm., vol. 36, pp. 83-94, Aug. 2015.
[DSP16] D. Sun et al. “Image interpolation via collaging its non-local patches,” Digital Signal Process., vol. 49, pp. 33-
43, Feb. 2016.](https://image.slidesharecdn.com/texturesynthesis4traditionalcrafts-180519013704/85/-12-320.jpg)
![クラス判別結果
地域 先端技術セミナーICT 172018/3/29
判別率 [％]
分類結果
a b c d e f g
真のクラス
a 92.5 0.0 0.0 4.2 2.5 0.8 0.0
b 0.0 98.3 1.7 0.0 0.0 0.0 0.0
c 0.0 1.7 98.3 0.0 0.0 0.0 0.0
d 22.5 0.0 0.0 75.8 0.0 1.7 0.0
e 5.8 0.0 0.0 0.0 94.2 0.0 0.0
f 0.0 0.0 1.7 0.0 0.0 98.3 0.0
g 0.0 0.0 0.0 0.0 0.0 0.0 100.0
判別成功率
93.93%
別途，CNNで
分類器を設計](https://image.slidesharecdn.com/texturesynthesis4traditionalcrafts-180519013704/85/-17-320.jpg)
![DCGANの概要
2018/3/29 ICT地域 先端技術セミナー 20
??
??
???
潜在変数
（乱数） 生成器
実データ
合成データ
識別器
??
実データの
確率
Radford, A., Metz, L., & Chintala, S. (2015). Unsupervised Representation Learning with Deep Convolutional Generative
Adversarial Networks. arXiv, 1–15. https://doi.org/10.1051/0004-6361/201527329
min
??
max
??
?? ??, ?? = ?? log ??(??) + ??[log 1 ? ?? ?? ?? ]
DCNN構造を
利用したGAN](https://image.slidesharecdn.com/texturesynthesis4traditionalcrafts-180519013704/85/-20-320.jpg)
伝统的工芸品の世界贩売戦略を支援するためのバーチャルショウケース～テクスチャ?ツール～
- 1. 伝統的工芸品の世界販 売戦略を支援するための バーチャルショウケース ～ テクスチャ?ツール ～ 村松正吾（新潟大） Special thanks to 柏森翔太，陳 智雨，石井雅基，中野永人，大竹加廉 総務省戦略的情報通信研究開発推進事業
- 2. 講演概要 ? テクスチャ?ツールの課題と目的 ? 単一画像超解像 ? テクスチャ?パラメータ分析 ? DCGANテクスチャ合成 ? BRDF圧縮センシング ? 研究成果とまとめ 2018/3/29 ICT地域 先端技術セミナー 2
- 4. テクスチャ?ツールの課題と目的 2018/3/29 ICT地域 先端技術セミナー 4 拡大表示に耐えられる 高品質なCGテクスチャ合成 多様なテクスチャに対応できる 柔軟なCGテクスチャ合成 バーチャル?ショウケース(VSC)の要求に応える 伝統的工芸品のCGテクスチャ合成法を提案
- 5. テクスチャ?ツールの概要 2018/3/29 ICT地域 先端技術セミナー 5 教師データ テクスチャ 合成 3D CG合成 システム テクスチャ 学習 テクスチャ辞書 CG合成 形状情報 環境情報 実データ 設定情報 合成パラメータ 高品質なテクスチャを合成
- 6. テクスチャ?ツール提案の変遷 地域 先端技術セミナーICT 62018/3/29 単一画像超解像(SISR) テクスチャ?パラメータ分析 DCGANテクスチャ合成 BRDF圧縮センシング ? r 柏森ら 信学総大2017 Z. Chen et al., ICIP2016 柏森ら 信学総大2018 学習なし 分析器を学習 合成器を学習 双方向反射率分布関数の取得 柏森ら 信学総大2018
- 7. 研究開発環境 ? 学習用GPU計算機 ? CPU: Intel Xeon E5-1650v3(3.50GHz, 6Core) ? GPGPU: NVIDIA TESLA K80 ? Memory: 64GB, SSD: 480GB, HDD: 1TB ? 主なソフトウェア： MATLAB, Tensorflow ? 計測用PC ? CPU: Intel Core i7-6700K (4.00GHz, 4Core) ? GPGPU: NVIDIA GeForce GTX1080/8GB ? Memory: 32GB, SSD: 256GB, HDD: 2TB) ? 計測装置 ? 表面反射アナライザー：キヤノン製RA-532H ? 2次元色彩輝度計: リコー製CV-10A 2018/3/29 ICT地域 先端技術セミナー 7
- 9. 単一画像超解像(SISR)の提案 ? 提案法の概要と特徴 2018/3/29 ICT地域 先端技術セミナー 9 実データ 混成DirLOT 分析?合成 テクスチャ 学習 テクスチャ辞書 高解像度テクスチャ 高速かつ高品質なSISRの提案 事例学習なし
- 10. 混成DirLOTによる超解像処理 ? 混成DirLOT領域での適応低ランク画像復元 HL LH HH Lanczos補間 ?? 1 ?? ???? Θ ?HL LH HH HL LH HH S. Muramatsu et al.: “Directional lapped orthogonal transform: Theory and design,” IEEE Trans. on Image Process., May 2012. 2018/3/29 ICT地域 先端技術セミナー 10 低域係数パディング 混成DirLOT辞書（冗長度??） Z. Chen et al.: “Fast image super-resolution via multiple directional transforms,” Proc. of IEEE ICIP, Sept. 2016. 特異値ハード閾値処理
- 11. 地域 先端技術セミナーICT 112018/3/29 処理結果の例（抜粋） (a)原画像 (“Tex1”, “Tex4”) (b)Peleg’s [TIP14] (c) Lakshman’s [SPIC15] (d) Sun’s [DSP16] (e) 提案法
- 12. シミュレーション結果 PSNR, SSIM，処理時間 地域 先端技術セミナーICT 122018/3/29 TIP 14 S P IC 15 D S P 16 P roposed TIP 14 S P IC 15 D S P 16 P roposed TIP 14 S P IC 15 D S P 16 P roposed Tex1 32.60 32.70 32.70 33.03 0.9265 0.9275 0.9275 0.9328 19.44 9.20 243.46 5.81 Tex2 33.74 33.84 34.07 34.64 0.9419 0.9436 0.9436 0.9469 23.62 10.83 151.95 7.05 Tex3 24.03 23.30 23.50 23.57 0.9149 0.9163 0.9203 0.9267 60.61 29.67 593.74 19.39 Tex4 24.55 24.65 24.75 25.12 0.9173 0.9124 0.9185 0.9246 34.33 16.41 358.48 10.89 Tex5 25.82 26.01 25.94 26.23 0.8891 0.8915 0.8991 0.8997 24.17 11.48 247.34 7.52 Tex6 31.85 31.93 31.75 32.24 0.8952 0.8920 0.8982 0.9040 34.75 17.25 413.20 10.57 Tex7 31.38 31.75 32.09 32.27 0.9383 0.9396 0.9398 0.9464 42.65 21.50 525.67 13.98 Tex8 26.23 26.42 26.52 26.77 0.8627 0.8655 0.8698 0.8769 17.25 8.11 210.01 5.44 Tex9 17.24 17.81 17.81 18.28 0.8728 0.8769 0.8769 0.8853 18.63 8.73 223.54 5.81 Tex10 35.02 35.49 35.49 36.20 0.9574 0.9582 0.9588 0.9642 11.74 5.16 135.62 4.54 P S N R [dB ] S S IM Tim es[s] Im age [TIP14] T. Peleg and M. Elad, “A statistical prediction model based on sparse representations for single image super- resolution,” IEEE Trans. Image Process., vol. 23, no. 6, pp. 2569-2582, Jun. 2014. [SPIC15] H. Lakshman et al. “Image interpolation using Shearlet based iterative refinement,” Signal Processing: Image Comm., vol. 36, pp. 83-94, Aug. 2015. [DSP16] D. Sun et al. “Image interpolation via collaging its non-local patches,” Digital Signal Process., vol. 49, pp. 33- 43, Feb. 2016.
- 14. テクスチャ?パラメータ分析の提案 ? 提案法の概要と特徴 2018/3/29 ICT地域 先端技術セミナー 14 事例データ 分析 CNN CNN+SVR 転移学習 ネットワーク係数 実データ ネットワーク パラメータ 高品質なテクスチャを生成可能 CG合成テクスチャ CNN: 畳込みニューラルネットワーク SVR: サポートベクトル回帰 合成 ツール
- 15. AlexNet(CNN)の転移学習 ? 教師データ生成 ? 転移学習 2018/3/29 ICT地域 先端技術セミナー 15 間隔?，半径?? ランダムに104 組 合成テクスチャ画像 プロシージャル テクスチャリング （合成ツール） 栢森ら“転移学習による鎚起銅器テクスチャの合成パラメータ推定”，平成28年度電子情報通信学会総合大会（2017年3月） CGテクスチャ画像 ?7割で学習 ?3割で評価4096次元ベクトル パラメータ推定器 推定パラメータ 間隔?，半径?? AlexNet SVR
- 16. 性能評価（出力散布図） 地域 先端技術セミナーICT 162018/3/29 Haar Wavelet変換 + サポートベクター回帰 AlexNet + サポートベクター回帰 0.0108 0.0089 0.0165 0.0127 間隔? 半径?? 横軸：真のパラメータ 縦軸：推定パラメータ 平均自乗誤差
- 17. クラス判別結果 地域 先端技術セミナーICT 172018/3/29 判別率 [％] 分類結果 a b c d e f g 真のクラス a 92.5 0.0 0.0 4.2 2.5 0.8 0.0 b 0.0 98.3 1.7 0.0 0.0 0.0 0.0 c 0.0 1.7 98.3 0.0 0.0 0.0 0.0 d 22.5 0.0 0.0 75.8 0.0 1.7 0.0 e 5.8 0.0 0.0 0.0 94.2 0.0 0.0 f 0.0 0.0 1.7 0.0 0.0 98.3 0.0 g 0.0 0.0 0.0 0.0 0.0 0.0 100.0 判別成功率 93.93% 別途，CNNで 分類器を設計
- 19. DCGANテクスチャ合成の提案 ? 提案法の概要と特徴 2018/3/29 ICT地域 先端技術セミナー 19 実データ DCGAN DCGAN 学習 ネットワーク係数 設定情報 （潜在変数??) ネットワーク パラメータ テクスチャ 統一的な手続きで高品質なテクスチャを 柔軟に生成可能
- 20. DCGANの概要 2018/3/29 ICT地域 先端技術セミナー 20 ?? ?? ??? 潜在変数 （乱数） 生成器 実データ 合成データ 識別器 ?? 実データの 確率 Radford, A., Metz, L., & Chintala, S. (2015). Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks. arXiv, 1–15. https://doi.org/10.1051/0004-6361/201527329 min ?? max ?? ?? ??, ?? = ?? log ??(??) + ??[log 1 ? ?? ?? ?? ] DCNN構造を 利用したGAN
- 21. テクスチャ合成実験緒言 ? 教師画像 ? 枚数: 100（ツールの下限），画素数： 128×128 ? 鎚起銅器テクスチャ画像からマニュアル抽出 ? Epoch回数： 106 2018/3/29 ICT地域 先端技術セミナー 21 栢森ら：DCGANを利用した伝統的工芸品のテクスチャ合成，平成29年度電子情報通信学会総合大会，東京電機大 （2018年3月21日）
- 22. テクスチャ合成実験結果 ? 統一的な手続きによる 高品質なCGテクスチャ合成の可能性を示唆 2018/3/29 ICT地域 先端技術セミナー 22
- 24. BRDF圧縮センシングの提案 ? 提案法の概要と特徴 2018/3/29 ICT地域 先端技術セミナー 24 実データ テクスチャ 合成 テクスチャ 学習 テクスチャ辞書 設定情報 合成パラメータ テクスチャ BRDF テクスチャの詳細情報を取得可能
- 25. 双方向反射率分布関数（BRDF） ? 入射光に対する、出射光の割合として定義 ?? ????, ????, ????, ???? = ????(????,????) ????(????,????) 2018/3/29 ICT地域 先端技術セミナー 25 ??: 放射輝度 (Wsr-1m-2) ??: 放射照度 (Wm-2) 写実的なCGのためには不可欠
- 26. BRDF測定装置 ? ２次元グリッド上のBRDF計測 ?XYステージ?回転ステージ上に計測器を設置 2018/3/29 ICT地域 先端技術セミナー 26 Light source Sensor 測定対象 測定データ量が膨大→圧縮センシングが必要
- 27. シミュレーション結果 2018/3/29 ICT地域 先端技術セミナー 27 5 × 10?5 原データ 15×15 欠損測定 RMSE 13.884 3.130 2.436 2.491 2.831 7.200 (????, ????, ????, ????) = (60°, 0°, 60°, 180°） RMSE: ??: 1 × 10?4 5 × 10?4 1 × 10?3 5 × 10?3 正則化 パラメータ
- 29. 研究成果 ? 国際会議発表リスト（査読付き） ? Zhiyu CHEN, Shogo Muramatsu and Yoshito ABE, “Fast Image Super-Resolution via Multiple Directional Transforms,” Proc. of 2016 IEEE International Conference on Image Processing (ICIP), pp.1434-1438, DOI: 10.1109/ICIP.2016.7532595, (2016年9 月28日) ? 口頭発表リスト（査読なし） ? 栢森翔太，中野永人，長山知司，村松正吾，阿部淑人：伝統的工芸品のBRDF圧縮センシ ング，平成29年度電子情報通信学会総合大会，東京電機大（2018年3月21日） ? 栢森翔太，大竹加廉，村松正吾，阿部淑人：DCGANを利用した伝統的工芸品のテクスチャ 合成，平成29年度電子情報通信学会総合大会，東京電機大（2018年3月21日） ? 栢森翔太、村松正吾、阿部淑人、“転移学習による鎚起銅器テクスチャの合成パラメータ推 定”，平成28年度電子情報通信学会総合大会，名城大（2017年3月22日） ? 栢森翔太、村松正吾、阿部淑人、“畳込みニューラルネットを用いた鎚起銅器テクスチャ画 像の分類”，平成28年度電子情報通信学会信越支部大会（長岡技科大）（2016年10月8日） ? 石井雅基，村松正吾，陳智雨，阿部淑人“学習辞書による鎚起銅器テクスチャの超解像に 関する検討”，2015年映像メディア処理シンポジウム（修善寺）（2015年11月19日） 2018/3/29 ICT地域 先端技術セミナー 29
- 30. まとめ ? テクスチャ?ツールの課題と目的を紹介 ? テクスチャ分析?合成システムの提案 ?単一画像超解像 ?テクスチャ?パラメータ分析 ?DCGANテクスチャ合成 ? BRDF圧縮センシングの紹介 2018/3/29 ICT地域 先端技術セミナー 30 ご清聴ありがとうございました