![対象とする推理小説?タスク
対象とする推理小説
まだらのひも（第1回のＫＧの不具合を修正して利用）
?タスク：ヘレンを殺したのは誰か？（犯人＋説明）
に加え，新たに，以下の4編をＫＧ化
踊る人形 [Wikipedia][青空文庫]
?タスク：暗号を解け（暗号の解読）
花婿失踪事件（同一事件） [Wikipedia][青空文庫]
?タスク：花婿はなぜ消えたか？（説明）
悪魔の足 [Wikipedia][青空文庫]
?タスク：各人物を殺したのは誰か？（犯人＋説明）
背中の曲がった男（曲がれる者）[Wikipedia][青空文庫]
?タスク：バークリはなぜ死んだのか？（説明）
20](https://image.slidesharecdn.com/jsai190604-190604093331/85/2018-20-320.jpg)
![[part 1]ナレッジグラフ推論チャレンジ?Tech Live！](https://cdn.slidesharecdn.com/ss_thumbnails/kgrctechliive2020-1021-201023101135-thumbnail.jpg?width=560&fit=bounds)
![[part 2]ナレッジグラフ推論チャレンジ?Tech Live！](https://cdn.slidesharecdn.com/ss_thumbnails/kgrctechlive-201023091455-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
More from KnowledgeGraph (17)
第１回ナレッジグラフ推論チャレンジ2018開催報告～ 第２回チャレンジ開催案内～
- 2. 本日の発表 第1回推論チャレンジ２０１８の振り返り （農研機構?JST 川村） ? チャレンジの概要 ? 応募作品の紹介 ? 評価?分析 第2回推論チャレンジ２０１９の開催概要（大阪電通大 古崎） ? スケジュール ? ナレッジグラフ構築について（改良点） ? 対象とする小説?タスク 2
- 3. 開催概要 チャレンジの狙い ? 説明可能性（解釈可能性）を有するAI技術に関する最新技術の促進?共有と， その分析?評価，体系化を行う． ? 特に，現実社会を反映したより複雑な，例えば時間的，因果関係的，確率的関 係性を含む問題を扱うため，帰納的な機械学習（推定）と演繹的な知識活用 （推論）を融合したAI技術を対象とする． チャレンジタスク ? 推理小説のナレッジグラフ （シャーロックホームズの短編小説） を対象に， ホームズと同じ結論に辿り着き，その理由を説明する． ? 現実社会の複雑な関係性を含みながら仮想的にクローズな（答えがあり，それに至る制約を制御で きる）タスクを設計できる ? タスクによっては不確実情報や証拠写真など確率的な処理や機械学習を入れないと解けなかった り，陽に書かれていない常識知識を補完しなくては解けない等，推定と推論の融合を促せる ? 読者が納得しないと小説として成立しないという人間に対する説明性を有している， ? 小説が広く一般に知られており関心を引きやすい，など ? 但し，第４回チャレンジ以降は社会問題解決に関するベストプラクティス集なども予定 3
- 4. 推理小説のナレッジグラフ化の方針 ナレッジグラフの要求仕様 ? 犯人を推論（推理）するのに必要な知識を提供する ? 「推理小説」で描かれる様々な状況を，できるだけ統一的な形式で 計算機処理（検索?推論?etc.）可能にする ナレッジグラフ化の基本方針 ? 「推理小説」の内容を，最小単位の場面（シーン）に分割 →場面ごとにID（IRI）を付与 ? 各場面の記述内容および場面間の関係をグラフ化 →グラフ化に必要なクラス?プロパティを定義 場面１ 場面２ 場面３ 場面４ 場面５ 4
- 5. 場面（シーン）スキーマ 場面ID 原文 主語 述語 目的語 subject hasPredicate source その他 他の場面 場面間 場面を表現するプロパティ ? subject：その場面の記述において主語となる人や物 ? hasPredicate：その場面の内容を表す述語 ? 場面の詳細を表す目的語：whom（だれに）, where（どこで）, when（いつ）, what（何 を）, how（どのように）, …etc. ? 場面間の関係：then，if, because, …etc. ? time：その場面が起こった絶対時間（xsd:DateTime） ? source：その場面の原文（英語/日本語のリテラル） 主語 目的語 述語 の形でないことに注意 →場面に関わる複数の 情報をまとめるため 場面ID中心に記述 5
- 8. 応募作品 第１回チャレンジ小説 まだらのひも （Speckled Band） ※シャーロキアン人気No.1 応募件数 ８作品（本部門：５，アイデア部門：３） 本部門 （実装を伴う） ? 【最優秀賞】 株式会社野村総合研究所 ? 【優秀賞】 上小田中411（株式会社富士通研究所） ? 【ベストリソース賞】 FLL-ML（株式会社富士通研究所，神戸常盤大学，神戸市立 西神戸医療センター） ? teamOIF （立命館大学） ? 塚越雄登 （電気通信大学） アイデア部門 （アイデアのみ．実装を伴わない） ? 【ベストアイデア賞】 白松研 feat. 59（名古屋工業大学） ? 生島高裕 （株式会社数理先端技術研究所） ? 橋本一成，他 （富士ゼロックス株式会社） 個々の詳細は公式サイト http://challenge.knowledge-graph.jp 参照 8
- 10. 基本情報の共有 主催者側で以下の基本情報を調査し，事前に審査員である専門家と共有 （今回，審査員はSWO研究会の幹事を中心に7名に委託） ? 正解が出せているかどうか？ 方法の如何にはよらないが，推論?推定した犯人は正しいか？ ここで犯人とは，小説の中で犯人されている人物とする． ? プログラムが実行できるか？ 提出されたプログラムが正しく動作し，結果が再現できたか？（アイデア部門 を除く） 但し，全ての動作の再現を保証するわけではない． ? プログラムのパフォーマンス プログラムの動作環境，動作速度に関する何らかの情報 ? 使用した知識?データ量 提供したナレッジグラフの内，ID 何番までを使用したか？ 外部知識?データを活用している場合は，その情報． 10
- 11. 専門家による評価 専門家評価では，以下の項目について審査員が5段階評価 推論?推定方法 ? 技術性(Significance) 推論?推定方法の技術的工夫． ? 汎用性（Applicability） 他の問題にも適用できる手法であるか？ 目安としては， 3：他の推理小説にも適用可能 5：他のドメインにも適用可能） ? 発展性（Expansibility） 今後の技術的な発展が期待できるか？ 例えば，現状の問題点を解決すると改善が見込める，など 11
- 12. 専門家による評価 知識?データ ? 知識?データ構築の工夫 知識/学習データを構築にかけた工夫（量×質×プロセス）．例えば，外部知識? データをどれだけ用意したや，外部知識?データの作り方の工夫など ? 知識?データ活用の工夫 提供されたナレッジグラフや自身で構築した知識を効果的に利用しているか？ 少量の外部知識でスマートに解いたや，大量の知識で少ステップで解いた，など その他 ? 実現可能性（アイデア部門のみ） 技術，知識?データ構築/活用の双方を含めたアイデアの実現可能性． ? 論理的説明性 論理的な説明が成立しているか？ 1：説明や根拠の提示が全くない． 3：根拠となるエビデンスが何らかの形で提示されている． 5：必要十分な推論（推定）過程において，一貫性を持った説明がなされている． ? 努力性 作品（知識／データ／システム）作成にかけた労力 ? 総合的なコメント（自由記述） 12
- 15. 評価結果 一般審査の結果は，総合評価と説明性の平均値，中央値，標準偏差を比較 1位と2位を比較では， ? 平均値では総合評価と説明性いずれも1位が2位を上回っているが， ? 中央値では総合評価は上回っているが説明性では同値となり， ? 標準偏差では総合評価と説明性いずれも1位のほうが大きかった． t 検定（p = 0.05）では，総合評価では有意差が得られたが説明性では得られなかった 専門家評価で1位と2位を比較すると， ? 各指標の平均では1位が2位を上回っているが， ? 説明性の観点では結果が逆転した（t 検定による有意差も認められた） 尚，いずれの指標でも標準偏差（全作品平均）は<1.0，大きな意見の相違はなかった ? ばらつきが最も少なかったのが論理的説明性であり， ? ばらつきが最も大きかったのは努力性であった．．． 結果として，1位と2位の順位付けは専門家審査員による議論に任せられたが， 説明性以外ではいずれも1位は2位と同値または上回っていたことから本結果とした 同時に，本チャレンジの一番の課題である説明込みの評価については確認に留まった その他に各専門家のコメント等を踏まえてベストリソース賞とアイデア賞を授与 15
- 16. 本日の発表 第1回推論チャレンジ２０１８の振り返り （農研機構?JST 川村） ? チャレンジの概要 ? 応募作品の紹介 ? 評価?分析 第2回推論チャレンジ２０１９の開催概要（大阪電通大 古崎） ? スケジュール ? ナレッジグラフ構築について（改良点） ? 対象とする小説?タスク 16
- 17. 第２回推論チャレンジ-開催スケジュール- 2019年3-5月 ? ナレッジグラフ構築 ? 応募要項等の検討?準備 ? 第1回開催報告：人工知能学会誌5月号掲載（「AI書庫」で無料閲覧可） 2019年6月4日 応募開始 ? 人工知能学会全国大会（JSAI2019）＠新潟にて， 第1回開催報告＆第2回応募開始の宣言 ? 対象とするナレッジグラフについては，調整中のものを仮公開． 2019年7月 改良版のナレッジグラフを公開 2019年7-9月 ワークショップ開催（企画検討中） 2019年10月末 応募締切 2019年11月末-12月 最終選考会＆授賞式 ? 人工知能学会合同研究会(11月下旬）＠慶応大日吉キャンパス 内での実施を検討中 17
- 20. 対象とする推理小説?タスク 対象とする推理小説 まだらのひも（第1回のＫＧの不具合を修正して利用） ?タスク：ヘレンを殺したのは誰か？（犯人＋説明） に加え，新たに，以下の4編をＫＧ化 踊る人形 [Wikipedia][青空文庫] ?タスク：暗号を解け（暗号の解読） 花婿失踪事件（同一事件） [Wikipedia][青空文庫] ?タスク：花婿はなぜ消えたか？（説明） 悪魔の足 [Wikipedia][青空文庫] ?タスク：各人物を殺したのは誰か？（犯人＋説明） 背中の曲がった男（曲がれる者）[Wikipedia][青空文庫] ?タスク：バークリはなぜ死んだのか？（説明） 20