Leveraging semi-structured data with IBM Watson
?
0 likes?389 views
Leveraging semi-structured data with IBM Watson In the JIMUC Watson working group, we are working on handling semi-structured data. Here is a report on our activities this year.
Leveraging semi-structured data with IBM Watson
- 1. IBM ミドルウェア?ユーザー研究会 IBM Champions: Data & AI for Japan Japan IBM Middleware User Community API & Watson Working Group JUNE 8th 2021
- 2. IBM ミドルウェア?ユーザー研究会 Japan IBM Middleware User Community 利用 ユーザー 取扱 パートナー IBM ソフトウェア 総会 テーマ別分科会 海外研修派遣 オープン?セミナー Web??? News配信 英語塾 ? 総会(7月) ? 新春セミナー(1月) ? 分科会(9月-6月) ? Watson ? ITSM ? 海外研修 ? 役員会(毎月) ? 英語塾(年間) 年間 約40回の会議 楽しい飲み会→(Zoom)
- 3. IBM ミドルウェア?ユーザー研究会 JIMUC 設立からの歩み 年 度 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 2021 イベント 分科会 グローバル参画 ▼7 /17 JTUG 設立&総会(179名) ▼Notes/Domino, SAP ▼SAP,SLA,Notes,Requirement ▼Requirement, ITIL ▼自動化,標準化,Security, 関西 ▼自動化,標準化,先進機能 ▼先進機能,ITIL,課題解決 ▼先進機能,ITIL,課題解決 ▼ITIL,Storage,Netcool,Maximo ▼運用ガイドライン ▼事例研究,先進技術 ▼事例研究 ▼ビジネス課題,Tivoli製品比較,人材育成 ▼製品技術,グローバル育成 ▼先端技術,SNS,グローバル育成 ▼SaaS,Cloud,DevOps ▼Bill Kribbsより活動紹介される ▼討論会「ユーザ奮闘記」開催 ▼ Global テレカン参加開始 ▼ GTUG Face to Face会議への参加開始 ▼Tivoli Mktg VPとの懇談会 ▼ Pulse2008 ▼ Pulse2009,AJS片山氏 ▼ Pulse 2010,Benic柿塚氏, NTTDSol福村氏,EXA高橋氏 ▼ Pulse2011,NTTDSol伊藤氏 ▼ Pulse2012 ▼ Pulse2013, EXA高橋氏,SOLPAC藤田氏 MDIS 斉藤氏,宮川氏,SOLPAC加賀氏 ▼ Pulse2014, MDIS靍様, SOLPAC井上氏,NI+C 石井様 ▼ IC2015 ▼ IC2016,NI+C鶴渕氏 ▼User Group of the Year Platinum Award 受賞 ▼「Tivoli監視製品ポジショニングと構成価格」ガイド ▼ Premium User Group Award(11年連続) ▼「サービスマネジメント10の課題」出版 ▼ Pulse JP,パネリスト IBM Champion ▼1名 ▼1名 ▼1名 ▼5名 ▼9名▼16名 ▼21名▼22名 48社 598名 65社 582名 ▼５月 SPC 設立(84社) 先進IT運用管理, API&Watson▼ ▼JTUG & SPC発展的統合 ▼7/5JIMUC に変更 ▼ IC2017 HDKNS友永氏, SOLPAC前田氏 THINK2018 ▼ ▼ Pulse JP,パネリスト ▼ WatsonSummit,DevOps ▼THINK-J API-Watson THINK2019 2021年：20周年記念イベント
- 4. IBM ミドルウェア?ユーザー研究会 ◆活動概要 IBM Cloud上の様々なWatsonを技術検証し、その実装の ノウハウをメンバーで共有している。 ◆過去の活動内容 2016年 Conversation: マイナンバーFAQのChatbot実装 2017年 Assistant: Chatbotと既存アプリケーションの連携 2018年 Discovery: HTML文書(非構造化データ)からの検索 2019年 Discovery: 非構造化データ(PDF)からの検索 2020年 Discovery: Filterと半構造化データの検索 Watson 分科会(API&Watson Knowldgebase分科会)
- 5. IBM ミドルウェア?ユーザー研究会 半構造化データとは 構造化データ 半構造化データ 非構造化データ Word,PDF JSON アプリケーション Ex. ?maximo ?コールセンターシステム 事象?原因?対応がセット になっているもの。 データベース XML JSON Email WEB PAges Audio Video Image data Natural Language Documents
- 6. IBM ミドルウェア?ユーザー研究会 Watson 分科会:今年度の活動① 質問 回答 回答6 回答7 回答8 回答9 回答10 回答１ 回答2 回答3 回答4 回答5 ? 80点：平均して、回答2に、欲しい情報が返される。 Watson Discovery カローラフィールダーの車両 下部から出火した。 調査の結果、排気系部品にススの付着 及び発生現場の草の焼けが認められた..
- 7. IBM ミドルウェア?ユーザー研究会 Watson 分科会:今年度の活動② A.車 B.事故内容 C.原因 B.キーワード ?オイル警告灯 ?出火 条件、A（車）＋B（事故内容）→C.事故原因が 情報としてほしい。 JSONの番号
- 8. IBM ミドルウェア?ユーザー研究会 ?2019年度 最終テスト結果(word.非構造化データ) ?66.4点 110問の平均 ? 目標は達成できず。 ? 実用化には、あと13.4点不足！ Watson 分科会:今年度の活動③ 50点 80点 ギャップ 54点 11/20 12/18 62.3点 1/22 64.2点 4/15 66.4点 6/17
- 9. IBM ミドルウェア?ユーザー研究会 自然文 :Accident Report フィルター :CarName ? ふそうファイターで、出火した。 ? ふそうファイターで、オイル警告灯が点灯し、出火した。 フィルター＋自然文検索のサンプル
- 10. IBM ミドルウェア?ユーザー研究会 ? 2020年度 テスト経過(HTMLをJSON化.半構造化データ) ? 86.9点(フィルター有)再集計 70問の平均 ? 目標を超える高い得点となった。 Watson 分科会:今年度の活動④ 82.6点 80点 12/16 目標越え 86.9点 1/20
- 11. IBM ミドルウェア?ユーザー研究会 自動フィルタリングの組み込み ふそうファイターで、オイル警告灯が点灯し、出火した。 出火 点灯 オイル警告灯 ふそうファイター 車名 部位 事象 事象 質問文を、事前に解析し、車名、部位、事象を抽出する。そのためには、当然事前の分析と、辞書が 必要になる。 自然文の中から、車名が取り出し、filterを自動生成し、Discovery Query Language:DQLを作成する。