Linked Open Data（LOD）の基本的な使い方
2 likes9,221 views
Python Kansai #01 2019年7月14日 https://kansai-python.connpass.com/event/135610/ の講演資料
![WikidataのSPARQLサンプル
? 例）プログラム言語の一覧（ロゴ＋公式HP）
SELECT ?item ?itemLabel ?hp ?t ?pic
WHERE
{
?item wdt:P31 wd:Q9143 .
?item wdt:P154 ?pic .
?item wdt:P856 ?hp .
SERVICE wikibase:label { bd:serviceParam
wikibase:language "[AUTO_LANGUAGE],en" }
}
【実行結果】
ロゴ画像
ホームページ
分類＝プログラム言語
ラベル出力用の処理
（Wikidataの独自仕様）](https://image.slidesharecdn.com/pythonkansai0120190714lod-190714074503/85/Linked-Open-Data-LOD-37-320.jpg)
![WikidataのSPARQLサンプル
? Wikidataを使って鉄道会社ごとの総路線長
をランキングしてみる
select ?s ?sLabel ?o
where {
?s wdt:P31 wd:Q728937 .
?s wdt:P17 wd:Q17.
?s wdt:P2043 ?o.
SERVICE wikibase:label { bd:serviceParam
wikibase:language "[AUTO_LANGUAGE],ja". }
}order by desc(?o)
【実行結果】
国＝日本
全長
分類＝鉄道路線
全長で降順にソート](https://image.slidesharecdn.com/pythonkansai0120190714lod-190714074503/85/Linked-Open-Data-LOD-38-320.jpg)
![WikidataのSPARQLサンプル
? 鉄道運営会社ごとの路線全長の合計
select (SUM(?o) as ?total) ?op ?opLabel
where {
?s wdt:P31 wd:Q728937 .
?s wdt:P17 wd:Q17.
?s wdt:P2043 ?o.
?s wdt:P137 ?op.
SERVICE wikibase:label { bd:serviceParam
wikibase:language "[AUTO_LANGUAGE],ja". }
}GROUP BY ?op ?opLabel
order by desc(?total)
【実行結果】
運営者
運営者で集約
全長の合計](https://image.slidesharecdn.com/pythonkansai0120190714lod-190714074503/85/Linked-Open-Data-LOD-39-320.jpg)
![[part 2]ナレッジグラフ推論チャレンジ?Tech Live！](https://cdn.slidesharecdn.com/ss_thumbnails/kgrctechlive-201023091455-thumbnail.jpg?width=560&fit=bounds)
![[part 1]ナレッジグラフ推論チャレンジ?Tech Live！](https://cdn.slidesharecdn.com/ss_thumbnails/kgrctechliive2020-1021-201023101135-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
Similar to Linked Open Data（LOD）の基本的な使い方 (20)
More from Kouji Kozaki (16)
Recently uploaded (15)
Linked Open Data（LOD）の基本的な使い方
- 1. Linked Open Data（LOD） の基本的な使い方 古崎 晃司 大阪電気通信大学/LODチャレンジ実行委員会 kozaki@osakac.ac.jp Python Kansai #01 2019年7月14日
- 2. 自己紹介 ? コミュニティ活動 研究成果として 公開中のソフト ? 古崎（こざき）晃司@koujikozaki ? 所属：大阪電気通信大学?教授 ? 専門：オントロジー工学（情報科学?人工知能） ＝“かしこい”コンピュータ（ソフトウェア）を作る →学問にとどまらず， 世の中で使われる技術を作りたい LOD技術普及の ためのコンテスト （２０１１～） シビックテック （市民×IT）活動 セマンティックウェブとオントロジー（SWO）研究会 の特別企画（２０１１～）
- 3. LODチャレンジ2019開催概要 ? 応募期間：2019年6月1日 ～ 2019年10月1日 ? 応募部門： ? 公式サイト http://lodc.jp ? 他コンテストとの重複応募もOK！ 2019年内に受賞式を開催！
- 4. 推論チャレンジとは？ シャーロック?ホームズのような “推理”（推論）ができるAIシステムの開発 を目指した技術コンテスト チャレンジのねらい ?説明可能性（解釈可能性）を有するAI技術に関する最新技 術の促進?共有と，その分析?評価，体系化を行う． チャレンジタスク ?推理小説のナレッジグラフ （ホームズの短編小説） を対象に， ホームズと同じ結論に辿り着き，その理由を説明する． 4 応募締切 ２０１９年１０月末 公式サイト http://challenge.knowledge-graph.jp LODとして公開
- 5. はじめに，質問 ? 「Linked Data」 「LOD（Linked Open Data）」 という言葉を聞いたことがある人？ ? SPARQLについて聞いたことがある人？ ? Webページを作ったことがある人？
- 6. 講演概要 ? Linked Open Data（LOD）の技術紹介 ? LODの公開事例 ? LODの使い方 覚えていただきたいキーワード Linked Open Data（LOD） Linked Data SPARQL Wikidata DBpedia
- 7. Linked Open Data (LOD) Linked Open Data ＝Linked Data + Open Data（オープンデータ） ＝Linked Dataとして公開されたOpen Data
- 8. オープンデータとは ? オープンデータとは ? 誰でも自由に使える形で公開されているデータ ? オープンデータの定義（Open Definition） ? “Open data and content can be freely used, modified, and shared by anyone for any purpose” （http://opendefinition.org/） ? オープンデータでない例 ? 改変や再配布が禁止されている ? 利用者を限定 例）学術機関のみ，個人利用不可 ? 利用目的を限定 例）商用利用不可，コンテスト応募目的のみ
- 9. オープンデータの２つの観点 ? ライセンス（cf．クリエイティブコモンズ） ? 使用目的を限定せず（例：商用も可），再配布，改変も可 ? 「作成者のクレジットの表示」の義務付け程度の制限はOK →“まじめな人”（※）が，安心して使える ＝より多くの人の利用が見込まれる （※悪いことをする人は，ライセンスを気にせず勝手に使う） ? 機械可読な形式 ? プログラムで処理しやすいフォーマットが望まれる →“使いたい人”が，簡単に使える ＝低コストで多くのアプリ（活用事例）が作れる ? LOD(Linked Open Data)は，「オープンデータの５つの段階」 で「５つ星」と言われている公開方法
- 10. 5 ★ オープンデータ http://5stardata.info/ より オープン ライセンス （形式問わず） 機械可読な フォーマット オープンな フォーマット
- 11. ５★オープンデータにおけるLOD ? ★★★★ （RDF） 物事を示すのにURL（IRI）を使いましょう，そうすることで 他の人々があなたのデータにリンクすることができます ? ★★★★★ （LOD） あなたのデータのコンテキストを提供するために 他のデータへリンクしましょう →LOD（Linked Open Data） ＝Web上で相互にリンクされたOpen Data ※リンクする際には「Webの仕組み」を利用する ? データ（物事）を示すのにURL（正確にはIRI）を用いる ? データ間を（名前付き）Hyper-linkでリンクする http://5stardata.info/ja/ より引用
- 12. Linked Data (LD) Linked Data ＝Webの仕組みを用いて相互に“リンクされた” データ
- 13. Linked Data（2007頃-） ? Linked Data：Web上のデータを，つなぐ（linkする）ことで，新しい価値 を生み出そうとする取り組み．Webの創始者Tim Berners-Lee氏が提唱 ※ Linked Open Data(LOD)：オープンな形で公開されたLinked Data http://linkeddata.org/ “Webの仕組み”に基づいてデータを公開することで， Web上に公開された膨大なデータを 統合した１つの知識ベースとして利用可能にする．
- 14. Webの仕組み ? URLを指定することで，Webページにアクセス ? 例）http://www.osakac.ac.jp 「大阪電気通信大学」 のページ ? URLは，世界中“すべて”のWebページの場所（ID） を一意に特定できる仕組み ? ハイパーリンクにより，Webページを“つなげる” ? リンク先のURLを指定することで，好きなWebページ と自由に“リンク”できる ? リンクを辿って，様々な情報にたどり着ける ? リンクを解析による様々なビジネス ? 例）Googleなどの検索エンジン
- 15. Webの仕組み→Linked Data ? URLを指定することで，Webページにアクセス ? 例） http://www.osakac.ac.jp 「大阪電気通信大学」の ページ ? URLは，世界中“すべて”のWebページの場所（ID） を一意に特定できる仕組み ? ハイパーリンクにより，Webページを“つなげる” ? リンク先のURLを指定することで，好きなWebページ と自由に“リンク”できる ? リンクを辿って，様々な情報にたどり着ける ? リンクを解析による様々なビジネス ? 例）Googleなどの検索エンジン データ データ Linked Data Webと同じ仕組みでデータを“公開”し， 相互に“つなぐ”（リンクする） URI?IRI データ（モノ?コト） データ（モノ?コト）
- 16. Linked Dataの表現例 日本 大阪電気 通信大学 国 1924 設立 寝屋川市 129613133 (VIAF) 国立国会図書館典拠ID 位置する行政区 http://www.wikidata.org/entity/Q7105556 というIRIから得られ る情報の一部（Wikidataより） 00370288 （Web NDL Authorities） skos:exactMatch 大阪電気通信大学標目 リソース： IRIで表される事物 プロパティ： リソース間（もしくはリ ソースとリテラル間）の 関係を表す リテラル ：文字列 主語 述語 目的語 トリプル（3つ組み） ①RDFは「トリプルの組み合わせ」 で表される ②目的語が他のリソースのとき，トリプル を辿って更なる情報が得られる
- 17. Linked Data (RDF)の表現例 http://www.wikidata. org/entity/Q17 http://www.wikidata. org/entity/Q7105556 https://www.wikidata.org/entry/P17 1924 https://www.wikidata.org/entry/P571 http://www.wikidata. org/entity/Q389633 http://viaf.org/ viaf/129613133 https://www.wikidata.org/entry/P349 https://www.wikidata.org/entry/P131 http://id.ndl.go.jp/auth /ndlna/00296951 http://www.w3.org/2004/02/skos/core#exactMatch 大阪電気通信大学 http://www.w3.org/2008/05/skos-xl#prefLabel すべてのリソースおよび プロパティはIRI用いて 表される
- 18. Linked Data (RDF)の表現例 http://www.wikidata. org/entity/Q17 http://www.wikidata. org/entity/Q7105556 https://www.wikidata.org/entry/P17 1924 https://www.wikidata.org/entry/P571 http://www.wikidata. org/entity/Q389633 http://viaf.org/ viaf/129613133 https://www.wikidata.org/entry/P349 https://www.wikidata.org/entry/P131 http://id.ndl.go.jp/auth /ndlna/00296951 http://www.w3.org/2004/02/skos/core#exactMatch 大阪電気通信大学 http://www.w3.org/2008/05/skos-xl#prefLabel すべてのリソースおよび プロパティはIRI用いて 表される 部分的に同じよ うなIRIが多数， 用いられる ｗｄ： ｗｄt： ｗｄt： ｗｄt： ｗｄt： ｗｄ： PREFIX（接頭語） で置き換える ｗｄ：
- 20. LOD/Linked Dataの使い方 ? Linked Dataの公開?利用方法 ? 具体例） Wikidataを例として
- 21. Linked Dataの公開?利用法 ? 参照解決可能なhttp IRIs（URL,URI）を用いた公開 ? IRI（URI, URI）でデータにアクセスが可能 ? 通常のWebページと同様に，データのURIを用いてhttp: /ｈｔｔｐｓ：でアクセスし，「つながり」を辿ることが出来る ＝システムによる基本的な処理（リンク解析等）が可能 ? SPARQLエンドポイントの公開 ? RDF用のクエリ言語SPARQLにより検索可能なAPIを公開 ? クエリによるデータ検索?抽出が可能 ? RDFファイルのダンプの公開 ? 全データをダウンロードできる形で公開 ? ダウロードしたファイルをRDFパーサー，RDF-DBなどの ツールを用いて処理可能 ※どの公開方法が提供されているかデータセットに依る
- 22. LODの公開例： Wikidata（ウィキデータ） ? ウィキメディア財団が運営する Wikipediaの「データ版」 ? Wikipediaと同じようにデータを コミュニティで編集，公開できる ? Wikipediaの「多言語リソース」 の相互リンクのために整備 ? SPARQLエンドポイントや各種検 索ツールなども提供 http://wikidata.org/
- 23. ウィキデータの特徴 ? ウィキデータは、自由?共同作業?多言語?二次情報を 特徴とする、構造化データのデータベースです。 ? 収集された構造化データは、ウィキペディア、ウィキメ ディア?コモンズや、その他のウィキメディアのプロジェ クトで活用されているほか、世界中の誰でも利用できま す。 https://www.wikidata.org/wiki/Wikidata:Introduction/ja より ウィキデータに登録したデータ（知識）は， そのまま，すぐに，オープンデータとして， 「全世界」に公開される！
- 27. http IRIによるデータ取得 ? WikidataにおけるデータのIRI ? http://www.wikidata.org/entity/ +ID で表される ? Q＊＊＊＊＊ →リソース（エンティティ）のID ? P＊＊＊＊＊ →プロパティ（関係）のID ? データ形式を指定したい場合は，IRIの末尾に拡張子 を付けてアクセス （HTTPリクエストのACCEPTヘッダーで指定） ? text/html HTML形式 ? application/rdf+xml RDF/XML形式 ? text/turtle スキーマTurtle形式 ? application/json JSON形式 ? application/ld+json JSON-LD形式
- 28. IRIによるLODのデータ取得例 ? WikidataにおけるPythonのデータ ? HTML ? https://www.wikidata.org/wiki/Q28865 ? RDF/XML ? http://www.wikidata.org/entity/Q28865.rdf ? Turtle ? http://www.wikidata.org/entity/Q28865.ttl ? JSON ? http://www.wikidata.org/entity/Q28865.json ? JSON-LD ? http://www.wikidata.org/entity/Q28865.jsonld
- 30. SPARQLによるRDFの検索 ? SPARQL ? RDFデータに対するクエリ言語 ? 「指定したグラフ構造」に一致するトリプルを検索する ? 最も基本的な検索 select ?s ?p ?o where { ?s ?p ?o . } LIMIT 100 ↑取得する数の制限 ←検索するグラフのパターン ←返す要素 このパターンを変 えることで，欲しい データを取得する 「.」（ピリオド） を忘れない ?x（ｘ：任意の文字列）は変数を表す
- 31. WikidataのSPARQLサンプル ? 例）大阪市内で「位置座標」を持つデータ一覧 ? サンプルクエリ集 ? https://www.wikidata.org/wiki/Wikidata:SPARQL_q uery_service/queries/examples SELECT DISTINCT ?s ?label ?point WHERE{ ?s rdfs:label ?label ; wdt:P131 wd:Q35765 ; wdt:P625 ?point. FILTER(lang(?label)="ja" ) } 【実行結果】 位置する 行政区画 位置座標 大阪市
- 33. DBpedia Japaneseの検索例 ? 「各都道府県で生まれた政治家の数」を調べる PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#> PREFIX dbpedia-owl: <http://dbpedia.org/ontology/> PREFIX rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#> PREFIX dbpedia-ja: <http://ja.dbpedia.org/resource/> PREFIX category-ja: <http://ja.dbpedia.org/resource/Category:> select distinct ?pref (count(?s) AS ?c) where { ?pref rdf:type dbpedia-owl:Place. ?pref dbpedia-owl:wikiPageWikiLink category-ja:日本の都道府県. ?s rdf:type dbpedia-owl:Politician; dbpedia-owl:birthPlace ?pref. }GROUP BY ?pref ORDER BY ?c （解説）Qiita：DBpediaを使った都道府県別ランキング http://qiita.com/koujikozaki/items/439fa7ce3e28b738fe10 SPARQLエンドポイント http://ja.dbpedia.org/sparql
- 34. DBpedia Japaneseの検索例 ? 「各都道府県で生まれた芸人の数」を調べる PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#> PREFIX dbpedia-owl: <http://dbpedia.org/ontology/> PREFIX rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#> PREFIX dbpedia-ja: <http://ja.dbpedia.org/resource/> PREFIX category-ja: <http://ja.dbpedia.org/resource/Category:> select distinct ?pref (count(?s) AS ?c) where { ?pref rdf:type dbpedia-owl:Place. ?pref dbpedia-owl:wikiPageWikiLink category-ja:日本の都道府県. ?s rdf:type dbpedia-owl:Comedian; dbpedia-owl:birthPlace ?pref. }GROUP BY ?pref ORDER BY ?c ここを， Politician→Comedian に変えるだけ！
- 35. Wikidataを用いたランキング ? 「日本の政治家の出身大学」ランキング →実行結果 select ?univ ?univl (count(?s) As ?c) where{ ?univ wdt:P31/wdt:P279* wd:Q3918. #大学の一覧取得 ?s wdt:P27 wd:Q17; #国籍＝日本 wdt:P106 wd:Q82955; #職業＝政治家 wdt:P69 ?univ. #出身大学 OPTIONAL{ ?s rdfs:label ?name. FILTER(lang(?name)="ja") ?univ rdfs:label ?univl . FILTER (lang(?univl) = "ja") . } }GROUP BY ?univ ?univl ORDER BY DESC(?c) LIMIT 100 政治家の出身大学ランキング https://qiita.com/koujikozaki/it ems/a049e2ac1051e0e43be6
- 36. Wikidataを用いたランキング ? 「日本の総理大臣の出身大学」ランキング →実行結果 select ?univ ?univl (count(?s) As ?c) where{ ?univ wdt:P31/wdt:P279* wd:Q3918. #大学の一覧取得 ?s wdt:P27 wd:Q17; #国籍＝日本 wdt:P106 wd:Q82955; #職業＝政治家 wdt:P39 wd:Q274948; #公職＝内閣総理大臣 wdt:P69 ?univ. #出身大学 OPTIONAL{ ?s rdfs:label ?name. FILTER(lang(?name)="ja") ?univ rdfs:label ?univl . FILTER (lang(?univl) = "ja") . } }GROUP BY ?univ ?univl ORDER BY DESC(?c) LIMIT 100 政治家の出身大学ランキング https://qiita.com/koujikozaki/it ems/a049e2ac1051e0e43be6 この1行を 追加する
- 37. WikidataのSPARQLサンプル ? 例）プログラム言語の一覧（ロゴ＋公式HP） SELECT ?item ?itemLabel ?hp ?t ?pic WHERE { ?item wdt:P31 wd:Q9143 . ?item wdt:P154 ?pic . ?item wdt:P856 ?hp . SERVICE wikibase:label { bd:serviceParam wikibase:language "[AUTO_LANGUAGE],en" } } 【実行結果】 ロゴ画像 ホームページ 分類＝プログラム言語 ラベル出力用の処理 （Wikidataの独自仕様）
- 38. WikidataのSPARQLサンプル ? Wikidataを使って鉄道会社ごとの総路線長 をランキングしてみる select ?s ?sLabel ?o where { ?s wdt:P31 wd:Q728937 . ?s wdt:P17 wd:Q17. ?s wdt:P2043 ?o. SERVICE wikibase:label { bd:serviceParam wikibase:language "[AUTO_LANGUAGE],ja". } }order by desc(?o) 【実行結果】 国＝日本 全長 分類＝鉄道路線 全長で降順にソート
- 39. WikidataのSPARQLサンプル ? 鉄道運営会社ごとの路線全長の合計 select (SUM(?o) as ?total) ?op ?opLabel where { ?s wdt:P31 wd:Q728937 . ?s wdt:P17 wd:Q17. ?s wdt:P2043 ?o. ?s wdt:P137 ?op. SERVICE wikibase:label { bd:serviceParam wikibase:language "[AUTO_LANGUAGE],ja". } }GROUP BY ?op ?opLabel order by desc(?total) 【実行結果】 運営者 運営者で集約 全長の合計
- 45. LOD公開の世界的なひろがり ～LODクラウド～ 2007/5/1 2007/10/82008/9/182009/7/14 2010/9/222011/9/19時点 Linking Open Data cloud diagram 2014, by Max Schmachtenberg, Christian Bizer, Anja Jentzsch and Richard Cyganiak. http://lod-cloud.net/ １つの丸が個別に公開 されたDBを表す． 2014/08/30時点 DBpedia
- 47. LODの世界的なひろがり Linking Open Data cloud diagram，http://lod-cloud.net/ 2007/5 12データセット 2014/8 2009/7 2017/2 1,139データセット LODの公開は， この10年で 急速に広まっている
- 49. 日本語で使えるLODの例 法人インフォ（経済産業省） eStat 統計LOD国立国会図書館LOD DBpedia Ｗｉｋｉｄａｔａ JapanSearch
- 55. 統計LODの使用例 ザ?地域統計パワーバトル ? LODチャレンジ2018 最優秀賞（林 正洋） ? https://www.mirko.jp/townpower/
- 57. LOD/Linked Dataの例 Web NDL Authorities https://id.ndl.go.jp/auth/ndla/ ?SPARQLエンドポイントあり ?参照解決可能 .rdf .ttl .json
- 59. LOD（RDF）を扱うための 技術?ツール ? RDF用のライブラリ ? https://github.com/KnowledgeGraphJapan/sparql- library-examples にプログラム言語でのサンプルあり ? Pythonを使うなら，SPARQLWrapper（SPARQL Endpoint interface to Python）がおススメ ? https://rdflib.github.io/sparqlwrapper/ ? Javaを使うなら，Apache Jenaがおススメ ? https://rdflib.github.io/sparqlwrapper/ ? RDFファイルをDBに格納して使用するには ? FusekiやVirtuosoなどのRDF-DBを使用 ? チュートリアル資料 ? Jena，Fusekiの簡単な使用方法，SPARQLクエリの書き方な どhttps://github.com/KnowledgeGraphJapan/LODws2nd
- 60. まとめ： LODの基本的な使い方 ? LOD（Linked Open Data） ? Linked Dataとして公開されたOpen Data ? Linked Dataは，Web上で公開されたデータを 「つなぐ」仕組み ? URL（IRI）を用いたグローバルに一意なデータの識別 ? データ間の“リンク” 既に多くのデータがLODとして公開されている！ ? Wikidata， DBpedia， JapanSearch，など ? Linked Data/LODを使うには ? IRI（URL,URI）で，直接データを所得 ? SPARQLクエリで検索 ? Pythonをはじめ，各種プログラム言語のライブラリあり
- 61. 参考資料：LOD全般 ? Linked Data/Knowledge Graphチュート リアル（※今後，情報を徐々に充実させます） ? http://knowledge-graph.jp/ ? LODチャレンジ ? http://lodc.jp ? 過去の受賞作品を見ると，LOD活用のヒントに ? LODC2019への応募も受付中！（10/1まで） ? ナレッジグラフ推論チャレンジ ? https://challenge.knowledge-graph.jp/
- 62. 参考資料：SPARQLについて ? SPARQL仕様（W3Cのドキュメント） ? SPARQL 1.1 Query Language https://www.w3.org/TR/sparql11-query/ ? SPARQLの解説本 ? オープンデータ時代の標準Web API SPARQL http://sparqlbook.jp/ ? SPARQL入門スライド（ｂｙ古崎） ? DBpedia Japaneseを例にした解説 /KoujiKozaki/4lod ? 解説記事 ? Wikidataを使って鉄道会社ごとの総路線長をランキングしてみる https://qiita.com/RK-miha/items/6d94f425871c4e9f5f73 ? DBpediaを使った都道府県別ランキング http://bit.ly/2oDPl0Q ? Wikidataを使った日本の政治家の出身大学ランキング http://bit.ly/2PBt8fn http://sparqlbook.jp/より
- 63. 参考資料：学術系 ? 人工知能学会セマンティックウェブとオントロジー（SWO）研究会 ? http://www.sigswo.org/ 研究会資料公開あり ? ISWCサーベイ ? 分野のトップカンファレンスISWCの発表論文をSWO研究会有志でサーベイし， 日本語スライドにまとめた資料 ? ISWC2018サーベイ https://github.com/sigswo/files/raw/master/SIG-SWO-047-ISWC2018- Survey.pdf ? ISWC2017サーベイ http://id.nii.ac.jp/1004/00009109/ ? ISWC2016サーベイ http://id.nii.ac.jp/1004/00008619/ ? 主な関連国際会議 ? International Semantic Web Conference (ISWC) http://swsa.semanticweb.org/content/international-semantic-web- conference-iswc ? ESWC（Extended Semantic Web Conference） ? The Conferences on Formal Ontology in Information Systems （FOIS） ? KEOD（International Joint Conference on Knowledge Discovery, Knowledge Engineering and Knowledge Management） http://www.keod.ic3k.org/websites.aspx