Watson Discoveryの活用とR&Rからの移行
- 1. Watson Discoveryの活用と R&Rからの移行 2017年12月3日 IBM Cloud (Bluemix) 冬の大勉強会 井上 研一／小倉 実咲
- 2. 井上 研一 合同会社井上研一事務所 代表?ITコーディネータ?ITエンジニア 「超初心者」専門ITスクール TECH GARDEN SCHOOL 講師 Watsonをコールセンター等に導入したり、本を書いたり、 AIやIoT関連の研修?セミナーをやったりしています。 最近「北九州でIoT」というビジネスコンテストで採択されて、 3月のデモデイに向けていろいろやっています。（ Watson IoT採用？） https://inoccu.com Twitter: @inoccu Facebook: kenichi.inoue
- 3. 小倉 実咲 慶應義塾大学経済学部 3年 「超初心者」専門ITスクール TECH GARDEN SCHOOL 塾生スタッフ 大学１年時より所属する「 TECH GARDEN SCHOOL 」で、井上先生をはじめ とするエンジニアの方々からプログラミング等を学びつつ、スタッフとして運 営や講師活動に携わっております。 その中でWatson APIを用いた開発に興味を持ち、只今勉強中です。 大学では経済学を専攻しており、経済学の中でも特に「行動経済学」という 分野を日々学んでおります。
- 4. アジェンダ 1. Discoveryとは何か（井上） 2. TGS BotのR&RからDiscoveryへの移行（小倉） 3. エンタープライズシステムのR&RからDiscoveryへの移行（井上）
- 7. Discoveryの機能 ● Word/PDF/HTML/JSON文書の蓄積とエンリッチメント ○ Watson Knowledge Studio（WKS）と連携したカスタムエンリッチメント ● コグニティブ検索 ○ 自然言語検索 ○ Discovery Query Languageによる検索 ● トレーニングデータによる自然言語検索の精度改善（機械学習） ● クローラーの提供
- 10. 滨苍驳别蝉迟颈辞苍のステップ
- 17. 作業手順 ① Discovery内にコレクションを作成する。 ② R&Rの学習に使用していたJSONデータを、Discoveryに学習させる。(この際、 JSON データ１つにつき、1ファイルで保存する必要がある。 ’id’は使用不可。) ③Node-RED上でR＆RをDiscoveryに置き換え、HTMLを書き換える。 ↓ ?訓練データファイルの編集等、多少の改変作業はあったものの、予想より非常にス ムーズに移行することができた。
- 19. エンタープライズシステムでのコスト感 ● 某製造業のコールセンターに導入したR&Rからの移行 ● 160コレクション ○ R&R → 20インスタンスで稼働（ 8Ranker／1インスタンスのため） ○ Discovery → 文書数 最多 3,400文書 最少 60文書 ／コレクション Retrieve and Rank (R&R) ● インスタンス料金 ● Ranker料金 ● Rnakerトレーニング料金 ● API Call 763,200円／月 ※API Callを除く Discovery Standard Plan ● 文書数（1,000文書単位） 249,000円／月 ※API Call 課金なし
- 20. 移行作業で困ったこととノウハウ ● CollectionへのDocument追加は非同期で行われる（R&Rは同期だった） ○ 非同期の同時処理数を超えた場合、追加がエラーになるので、制御が必要 ○ List Collection Details APIでprocessing（処理中）の文書数が分かる ● どのようなTraining Dataなら精度が上がりやすいのか？ ○ 公式ドキュメントには言及あり →要確認！ ● 日本語のエンリッチはいまのところWatson Knowledge Studio（WKS）頼み ○ WKSで思ったようなエンリッチの結果を出すのは結構大変??? ○ 「超辛い」が「結構大変」になったらしい??? ○ エンリッチの日本語対応（ NLUの日本語対応）を積極的にお願いしたい??? →IBMさん ● Discovery Toolから日本語が選べないかもしれない ○ CurlなどからAPIを使うと一応、大丈夫