GTC Japan 2018 Inception Award 登壇資料（ LiLz Inc. ）
?
2 likes?604 views
NVIDIA GTC Japan 2018 Inception Award 登壇資料（LiLz Inc.）
GTC Japan 2018 Inception Award 登壇資料（ LiLz Inc. ）
- 1. (C) 2018 LiLz Inc.https://lilz.jp/ Lifelong Innovation Laboratory テクノロジーをそっと傍らに https://lilz.jp/ GTC Japan 2018 Inception Awards（公開用） LiLz Inc. 代表取締役社長 大西 敬吾
- 2. https://lilz.jp/ ヤ ン バ ル ク イ ナ は 、 日 本 で 唯 一 飛 べ な い 鳥 。 沖 縄 北 部 に 生 息 し 現 在 1 5 0 0 羽 程 度 。 I U C N （ 国 際 自 然 保 護 連 合 ） の 絶 滅 危 惧 種 I B 類 （ E N ） に 指 定 さ れ て お り 、 絶 滅 を 防 ぐ た め の 保 護 活 動 が 現 在 も 行 わ れ て い る 。 http://www.iucnredlist.org/details/22692412/0
- 3. (C) 2018 LiLz Inc.https://lilz.jp/ NPO法人 どうぶつたちの病院 沖縄様、日本コカ?コーラ株式会社様、沖縄コカ?コーラボトリング株式会社様に より自動販売機に録音機を設置して数年分の環境音を録音し音解析による生態調査を開始 3
- 4. (C) 2018 LiLz Inc.https://lilz.jp/ ヤンバルクイナ カラス ヘリコプター 環境音解析は、人が複数の音を聞き分けながら解析を進める大変な労力を伴う作業 環 境 音 解 析 の 課 題 4
- 5. (C) 2018 LiLz Inc.https://lilz.jp/ LiLz Sound Search 探したい音が、すぐそこに 5
- 6. (C) 2018 LiLz Inc.https://lilz.jp/ L i L z S o u n d S e a r c h と は After 録 音 す る 考 察 LiLz Sound Search Before 人間が音を聞きながら探す 録 音 す る 解 析 考 察 LiLz Sound Searchにより、全ての音を聴きながら解析する作業から解放されます 6
- 7. (C) 2018 LiLz Inc.https://lilz.jp/ kuina解析結果 7
- 8. (C) 2018 LiLz Inc.https://lilz.jp/ helicopter 複数の音を同時に解析することで、騒音発生時にヤンバルクイナが呼応して鳴いていることなど一目で分かるように kuina解析結果 8
- 9. (C) 2018 LiLz Inc.https://lilz.jp/ A u d i o S e t の 活 用 ? AudioSetとは、Google社が公開した世界最大の音のデータセット ? https://research.google.com/audioset/ ? YouTubeから収集した200万以上の音データ ? 各音は10秒で500以上の音イベントにラベリング ? 音声分類用のモデルVGGish（VGG likeなモデル）も提供 ? https://github.com/tensorflow/models/tree/master/research/audioset
- 10. (C) 2018 LiLz Inc.https://lilz.jp/ L i L z S o u n d S e a r c h の 学 習 ? 推 論 プ ロ セ ス P r e - t r a i n e d V G G i s h M o d e l mp3/wav FFT 128 feature dimension 96x64 feature dimension M o d e l ( S u p e r v i s e d L e a r n i n g )学習 (On Premise) 推論 (Microsoft Azure) mp3/wav G P U M o d e l ( S u p e r v i s e d L e a r n i n g ) Prediction Label Prediction AudioSetで学習済みのModel（VGGish）で生成された特徴量に対してテーマに特化した オリジナルのラベルを付与して機械学習することで聞き分けづらい音や紛らわしい音なども精度高く検出可能 10
- 11. (C) 2018 LiLz Inc.https://lilz.jp/ P e r f o r m a n c e 2 2 4 39 46 62 94 755 0 200 400 600 800 90min 120mi n 3hours 1day GPU (NVIDIA GeForce GTX 1080Ti) CPU (Intel Core i7-7700K CPU) C o n v e r s i o n p e r f o r m a n c e f r o m W A V t o T F R e c o r d s E l a p s e d t i m e ( s e c o n d s ) Audiolength 11
- 12. (C) 2018 LiLz Inc.https://lilz.jp/ L i L z S o u n d S e a r c h の 特 長 （ 少 量 ア ノ テ ー シ ョ ン ） 学 習 デ ー タ ア ノ テ ー シ ョ ン モ デ ル 予 測 VGGishで生成された特 長量空間での距離 時間（10分間の音） テ ス ト デ ー タ クエリ音 ※ＰＡＴ．Ｐ 12
- 13. (C) 2018 LiLz Inc.https://lilz.jp/ L i L z S o u n d S e a r c h の 特 長 （ 少 量 ア ノ テ ー シ ョ ン ） 学 習 デ ー タ テ ス ト デ ー タ ア ノ テ ー シ ョ ン モ デ ル 予 測 クエリ音 クエリ音と距離は遠いがヤン バルクイナの確率が高いと 予測されたフレーム クエリ音と距離は近いがヤンバルクイナの確 率が低いと予測されたフレーム 距離情報を見ながら必要 最低限のアノテーション ※ＰＡＴ．Ｐ 13
- 14. (C) 2018 LiLz Inc.https://lilz.jp/ テ ス ト デ ー タ L i L z S o u n d S e a r c h の 特 長 （ 少 量 ア ノ テ ー シ ョ ン ） 学 習 デ ー タ ア ノ テ ー シ ョ ン モ デ ル 予 測 クエリ音 カラス ヤンバルクイナ ヤンバルクイナ 特長量空間の距離情報を参考に必要最低限のアノテーションを行うことで検出精度が向上 ※ＰＡＴ．Ｐ 14
- 15. (C) 2018 LiLz Inc.https://lilz.jp/ Machine Centered Design 多量アノテーション Human Centered Design 少量アノテーション L i L z S o u n d S e a r c h の 特 長 15
- 16. (C) 2018 LiLz Inc.https://lilz.jp/ 機械学習とIoTで、持続可能な社会の発展に貢献 M i s s i o n Lifelong Innovation Laboratory 16
- 17. (C) 2018 LiLz Inc.https://lilz.jp/ O u r S e r v i c e s 17 LiLz Countは、どんなモノでも少量の学 習データで高速カウンティング可能です。 交通量調査や人混み度合い分析、生態 調査など様々な調査で活用できます。 計器値 読み取り LiLz Gaugeは、設備保全向けにあらゆる 計器の値を自動で読み取るサービスです 。毎日のように実施している計器点検の 巡回の自動化を低コストで実現します。 音の検索 LiLz Sound Searchは、環境調査などで 必要な特定音の検索を効率化するサー ビスです。少ない準備で、長時間の音デ ータから全てを聴くことなく特定音を検索 することが可能です。 LiLz Sound Search LiLz Gauge LiLz Count カウンティング
- 18. (C) 2018 LiLz Inc.https://lilz.jp/ 大西 敬吾 CEO & Product Manager 広島大学大学院 工学研究科材料工学専攻 Team Kuba CTO & リード機械学習エンジニア 西銘 大喜 機械学習エンジニア 大塚 誠 Ph.D 上級研究員 UCLA B.A.Psychology/Cognitive Science NAIST Ph.D. in Engineering IBM東京基礎研究所/OIST King’s College London 機械工学専攻/OIST 琉球大学大学院 理工学系研究科 情報工学専攻 常盤木 龍治 Evangelist & Coporate Strategy Director 山路 康文 Creative Fellow SONY/秋田公立美術大学准教授 18
- 19. (C) 2018 LiLz Inc.https://lilz.jp/ ご静聴ありがとうございました LiLz Sound Search デモ https://lilz.io/soundsearch/demo/v1 19
Editor's Notes
- #5: 3:48:02.093-3:48:28:063
- #12: Audio length: 1 day [hours] === CPU ==== 755 [seconds], 12.59 [minutes], 0.21 [hours] === GPU ==== 39 [seconds], 0.65 [minutes], 0.01 [hours] Audio length: 1 month (= 30 days) [hours] === CPU ==== 22682 [seconds], 378.04 [minutes], 6.30 [hours] === GPU ==== 1202 [seconds], 20.03 [minutes], 0.33 [hours] Audio length: 1 year [hours] === CPU ==== 275980 [seconds], 4599.67 [minutes], 76.66 [hours] === GPU ==== 14633 [seconds], 243.89 [minutes], 4.06 [hours]