JAWSUG 20191028
0 likes387 views
2019年10月28日にCodeBase Nagoyaで開催されるイベント「データ分析の勉強会」で使う資料です。データ分析に関する初心者向けの内容です。
More Related Content
What's hot (20)
Similar to JAWSUG 20191028 (20)
![【ウェブ セミナー】AI / アナリティクスを支えるビッグデータ基盤 Azure Data Lake [概要編]](https://cdn.slidesharecdn.com/ss_thumbnails/webinaradl20180215-180219043331-thumbnail.jpg?width=560&fit=bounds)
More from 陽平 山口 (20)
Recently uploaded (15)
JAWSUG 20191028
- 1. 初 心 者 は だ ま っ て A m a z o n A t h e n a C o d e B a s e N a g o y a 2 0 1 9 . 1 0 . 2 8 来 栖 川 電 算 取 締 役 山 口 陽 平 J A W S - U G 名 古 屋 デ ー タ 分 析 の 勉 強 会 # j a w s u g
- 2. 話の流れ 1. はじめに 2. Amazon Athena 3. まとめ 4. 付録 2
- 4. 山 口 陽 平 @melleo1978 ? 所属 – 有限会社 来栖川電算 取締役 – 名古屋工業大学大学院博士前期課程修了 ? 実績 – IPA 未踏ソフトウェア創造事業採択 – Mashup Awards 9 優秀賞受賞 ? 興味 – 機械学習，強化学習，UI/UX – 高速化，省資源化，並列分散 ※実物に髪の毛はありません 4
- 5. 山 口 陽 平 @melleo1978 ? ［実践］画像認識 を執筆 WEB+DB PRESS Vol.83 – これから画像認識をはじめる人におススメ 5 – OpenCV の使い 方や実装例 – SIFTなどの各種 アルゴリズムや 特定物体認識の しくみ – 精度改善への取 り組み方
- 6. 来栖川電算 設立 2003年（名古屋工業大学発ベンチャー） 従業員 66人 ? SF 世界の技術を実現し、社会に役立てる – AI 技術のライセンス販売?研究?SI ? 文字認識，物体認識，動作認識，行動認識 – スマホアプリの企画?制作?運営 スマートライフ技術 NTTドコモ様との共同研究 スマートドライブ技術 大手自動車メーカー様むけ メイドさん もふくめて 6
- 7. 7 AR付箋 書籍の中身を検索するアプリ Cellars ワインラベルで情報検索するアプリ 画像認識API 商品パッケージで情報検索するAPI 生活情報調査 道路沿いの視覚情報を収集し、活用 交通情報調査 道路沿いの視覚情報を収集し、活用 研究開発支援 タンゴチュウ 写真に写る単語を抽出するサービス 走行データ解析 周辺環境を認識し、様々な解析に活用 地図生成 オルソ画像から地物?交通規則を抽出 動作推定API 加速度センサで人の行動を推定 毎朝体操 腕の動きで体操採点するアプリ ヒーローの動きでゲームを制御 なりきり2.0 ー シ ョ ン 認 識 研究開発支援 研究開発支援 AHAB 大量の実験と計算資源を効率的に管理 ANNOFAB 高品質なアノテーションを大量に生産可能 DNNコンパイラ DNNの推論を10～1000倍も効率化 GameControllerizer プログラマブル?ゲームコントローラ 研究開発支援 類似検索 類似検索 類似検索 文字認識 物体認識 物体認識 物体認識 物体認識 モーション認識 モーション認識 モーション認識物体認識 瞳孔位置推定 眼球運動を監視し、眠気の推定に活用
- 9. 技術者集団 様々なアルゴリズムや知識で課題解決 ? 最先端の AI 技術 – 文字認識，物体認識，モーション認識 ? 限界性能を引き出す優れた実装技術 – 機械学習?コンパイラ?データベースなどの アルゴリズムやバイナリハックを駆使した高 精度化?高速化?省資源化?並列化?分散化 ? 高品質なソフトウェアを実現する技術 – 言語?アーキテクチャ?プロセスに対する深 い理解に基づく設計と計画 9
- 11. Amazon Athena S3 にあるファイルに SQL で問い合わせできる 11
- 12. Amazon Athena S3にあるファイルに SQL で問い合わせできる ? 様々なファイル形式?圧縮形式に対応 – Presto（OSS の問い合わせエンジ）のおかげ ? CSV, TSV, JSON, ORC, Parquet, … ? パーティショニングに対応 – 時系列データを時刻で分割することが多い ? 頻繁に問い合わせしないなら安い – 5 $/TB + S3 費用 ? クエリのスキャン量に比例する ? 10MB 以下のクエリは 10MB 扱いになる 12
- 13. 使い方は簡単 S3 条のデータをインポートし、SQL で問い合わせるだけ 1. ワークグループの作成 2. データのインポート 3. データへの問い合わせ 4. テーブルのパーティション 5. データへの問い合わせ（パーティション 版） 13
- 15. 1. ワークグループの一覧 上段の「Workgroup : ～」でいつでもこの画面に来れる 15
- 27. 1. データへの問い合わせ 問い合わせ（今回はフルスキャン）を SQL で記述実行する 27
- 34. 1. データへの問い合わせ パーティションに使ったカラムで絞り込む必要がある 34 パーティション効果（272 ? 5）と Parquet 形式効果により、スキャン量 が 1/100 に、費用が 1/10 になった （5 $/TB であるが 10 MB 以下は 10 MB 扱いとなるため）。
- 37. まとめ 初心者はだまって Amazon Athena ? とりあえず S3 に入れておけばいい – 頻繁に問い合わせしないデータはとありあえ ず S3 に入れて、Athena で処理ればいい ? コストを抑えるには – Parquet 形式のファイルをパーティションし て、パーティションに使ったカラムで問い合 わせする – 何気ない問い合わせが膨大なスキャンを発生 させるのを防ぐために LIMIT 句を付けよう 37
- 38. 機械学習 名古屋 https://machine-learning.connpass.com/ ? 勉強会 隔月開催 次回：2019年11月16日（土） – 初心者や非エンジニアも含む幅広い層に向け たアルゴリズム紹介?事例紹介?ハンズオン ? 研究会 毎月開催 次回：2019年11月21日（木） – エンジニアや研究者に向けた機械学習関連の 論文紹介（これまで109件） 38 次回 Annofab ハンズオン
- 39. 製品?サービス 付録① 39
- 41. 画像認識 API 商品パッケージで情報検索する API 商品パッケージが写った画像を送信するだけで、膨大 な DB から瞬時に種類を特定。クロールした画像から 直接構築した DB を利用。 41
- 42. Cellars ワインラベルで情報検索するアプリ ワインラベルにスマホをかざすだけで、18 万件から 瞬時に種類を特定。国内外のコンテストで入賞。株式 会社 Cellars 様による弊社技術の応用事例。 42
- 43. AR 付箋 書籍の中身を検索するアプリ 書籍を開いてスマホをかざすだけで、膨大な DB から 瞬時にページを特定し、貼られている付箋を表示。お 客様による弊社技術の応用事例。 43
- 45. 走行データ解析 周辺環境を認識し、様々な解析に活用 膨大な走行データから歩行者?車両?白線?標識など を検出?追跡し、索引化。必要に応じて、CAN や Lidar なども活用し、高品質化。 45
- 53. 動作推定 API 加速度センサで人の行動を推定 スマホやウォッチの動きから静止?歩行?走行?食 事?睡眠などを推定。同じ仕組みで撮影時の手振れ検 出も可能。株式会社 NTT ドコモ様との共同研究。 53
- 54. 毎朝体操 腕の動きで体操採点するアプリ 100 ヶ国 20 万人を超えるユーザから日々送られてく るセンサデータを学習することで体操採点の正確さが 自動改善。JFE スチール株式会社様へ導入。 54
- 57. DNN コンパイラ DNNの推論を 10 ～ 1000 倍も高速化 重みや活性の量子化?スパース化、計算の共有などの 様々な手法で DNN を近似し、高速化?省資源化され た実行形式（Linux?Android?iOS）へ変換。 57
- 59. ANNOFAB 高品質な教師データを大量に生産可能 品質と生産性のトレードオフ、誤り漏れの削減、きめ 細かく柔軟な仕様?課題?進捗の管理。実務で培った ノウハウが詰まったアノテーションサービス。 59
- 62. 体制 AI 実現のための全業務をカバー 62 AI アプリ SI インフラ AI インフラ データ モデル 研究者アノテータ デザイナ 開発者 職種 正社員 アルバイト 合計 24 時／週以上 12 時/週以上 ※即戦力 試用期間 研究者 20 % 2 % 10 % 0 % 32 % 開発者 15 % 7 % 12 % 3 % 37 % デザイナ 0 % 0 % 3 % 0 % 3 % アノテータ 5 % 23 % 0 % 0 % 28 % 合計 40 % 32 % 25 % 3 % 100 %
- 63. 設備 研究開発を円滑にするためにあらゆる手を尽くす ? 理想的な個人設備 ※好きなものが選べる – PC，椅子，モニタ，キーボード，マウス，… ? 豊富な計算資源とアノテータ ※使いやすい – Ahab：実験用ハイブリッドクラウド – ANNOFAB：アノテーションサービス ? 豊富な独自データ ※世界中からどんどん集まる – 自動運転用データ，商品認識用データ，文字 認識用データ，体操採点用データ，… 63
- 64. サポート 技術を磨きやすくするためにあらゆる手を尽くす ? 様々な働き方 – 自由な時間帯?場所，冒険者制度，… ? 優秀な同僚 ※メンタリング（JEDI） – IPA 未踏ソフトウェア創造事業採択者，コン テスト入賞者，OSS コントリビュータ，… ? その他 ※全て会社負担 – 自己研鑽のための書籍?機材の購入 – 勉強会?懇親会の開催?参加?移動?宿泊 – 会社の昼会?夕会?飲み会で供される飲食物 64