1 of 8
Downloaded 47 times
![テキストの統計処理
● 単語：トークンとタイプ
– “nurture or nature? nurture passes nature”は何単語？
– 6（節）と答えるのがトークン
– 4（種類）と答えるのがタイプ
● bag-of-words（BOW）：文章の単語ベクトル表現
– 柴犬が私を噛んだ→{柴犬,が,私,を,噛ん,だ}
– {柴犬,が,私,を,噛ん,だ} = {私,が,柴犬,を,噛ん,だ}
● Nグラム：隣接するN単位の共起
– 単語2グラム[柴犬,が][が,私][私,を][を,噛ん][噛ん,だ]
– 文字2グラム(柴,犬)(犬,が)(が,私)(私,を)(を,噛)(噛,ん)(ん,だ)
7](https://image.slidesharecdn.com/random-110603211610-phpapp01/85/-7-320.jpg)
Ad
Recommended
最先端NLP勉強会 Context Gates for Neural Machine Translation
最先端NLP勉強会 Context Gates for Neural Machine TranslationMasahiro Yamamoto
?
2017年最先端NLP勉強会の資料です。
Context Gates for Neural Machine Translation (TACL2017)社内勉強会 2014/10/08
社内勉強会 2014/10/08Takaki Yoneyama
?
社内勉強会で使用したスライド。
テーマはアルゴリズム。蟻本を教本として使ってます。
スライドにちょこちょこ出てくるキャラクターはオリジナルのプロアリんごさんです?ω?Python nlp handson_20220225_v5
Python nlp handson_20220225_v5博三 太田
?
Pythonで自然言語処理ハンズオン - connpass
https://connpass.com/event/238671/自由文と自然言语、どちらがすぐれている？
自由文と自然言语、どちらがすぐれている？Keisuke NAKAMURA
?
自由文と自然言语は、ＡＩの推论根拠とするにあたって、どちらが优れているかについて、これまでに考えてきたことと、このテーマにおいて取り组んでいる内容を简単に説明しました。Jsai2021 winter ppt_ota_20211127
Jsai2021 winter ppt_ota_20211127博三 太田
?
人工知能学会 合同研究会 2021年11月27日
知識ベースシステム研究会 (SIG-KBS) テーマ：知識表現?知識獲得とその応用
14:10-14:35 「自然言語における知識獲得及び常識推論への接近法-移民政策と日本語教育、法的な視点から-」 ○太田 博三（放送大学，(株)VSN）Sigconf 2019 slide_ota_20191123
Sigconf 2019 slide_ota_20191123博三 太田
?
言語学の語用論や配慮表現の先端技術への適用に関する一考察 ～敬語や待遇表現などの配慮表現は本当に必要か～
人工知能学会 合同研究会 2019
第23回インタラクティブ情報アクセスと可視化マイニング研究会（SIG-AM） 日本语の语汇平易化システムおよび评価セットの构筑
日本语の语汇平易化システムおよび评価セットの构筑Tomoyuki Kajiwara
?
梶原智之. 日本语の语汇平易化システムおよび评価セットの构筑. 第7回テ?ータ構造と情報検索と言語処理勉強会, 発表6, 2015.More Related Content
What's hot (20)
自由文と自然言语、どちらがすぐれている？
自由文と自然言语、どちらがすぐれている？Keisuke NAKAMURA
?
自由文と自然言语は、ＡＩの推论根拠とするにあたって、どちらが优れているかについて、これまでに考えてきたことと、このテーマにおいて取り组んでいる内容を简単に説明しました。Jsai2021 winter ppt_ota_20211127
Jsai2021 winter ppt_ota_20211127博三 太田
?
人工知能学会 合同研究会 2021年11月27日
知識ベースシステム研究会 (SIG-KBS) テーマ：知識表現?知識獲得とその応用
14:10-14:35 「自然言語における知識獲得及び常識推論への接近法-移民政策と日本語教育、法的な視点から-」 ○太田 博三（放送大学，(株)VSN）Sigconf 2019 slide_ota_20191123
Sigconf 2019 slide_ota_20191123博三 太田
?
言語学の語用論や配慮表現の先端技術への適用に関する一考察 ～敬語や待遇表現などの配慮表現は本当に必要か～
人工知能学会 合同研究会 2019
第23回インタラクティブ情報アクセスと可視化マイニング研究会（SIG-AM） 日本语の语汇平易化システムおよび评価セットの构筑
日本语の语汇平易化システムおよび评価セットの构筑Tomoyuki Kajiwara
?
梶原智之. 日本语の语汇平易化システムおよび评価セットの构筑. 第7回テ?ータ構造と情報検索と言語処理勉強会, 発表6, 2015.Viewers also liked (20)
OpenID Foundation Foundation Financial API (FAPI) WG
OpenID Foundation Foundation Financial API (FAPI) WGNat Sakimura
?
The document discusses the evolution of financial data access through APIs, highlighting the persistence of screen scraping since 2001 and recent regulatory pushes towards open banking solutions. It emphasizes the importance of JSON data schemas and security protocols to facilitate user control over financial data without relying on outdated methods. The document suggests that improved standards will foster innovation in fintech while addressing security concerns associated with OAuth.Абрамов Н.Н.
Абрамов Н.Н.cpii33
?
Николай Абрамов, член Союза художников России с 1989 года, родился в 1950 году и изучал живопись в Казанском художественном училище и Академии художеств имени И.Е. Репина. Художник активно участвует в выставках, его работы отличаются декоративностью, глубинным смыслом и духовной наполненностью, отражая современность, а также символику церковного искусства. Абрамов живет и работает в Муроме и считает, что искусство несет моральную миссию правды и свободы в Боге.认知科学会サマースクール2015?人工知能と言语机能
认知科学会サマースクール2015?人工知能と言语机能Naoya Arakawa
?
認知科学会サマースクール2015での発表
http://www.jcss.gr.jp/summer/ssinfo/entry-148.html
初日午後の人工知能と言語のセッションの補足的なまとめ。
スライド中で参照されている「海野さんの発表」はこちら：
http://www.slideshare.net/unnonouno/ss-52283060质疑応答
质疑応答武 河野
?
株式会社シータス＆ゼネラルプレス主催のセミナーで「最愛志向のコミュニケーション戦略」というタイトルで講演した際の质疑応答集。
（当日回答できなかったものも含みます）
2011年7月22日、28日の回の质疑応答と当日答えられなかった質問への解答。黒い目の大きな女の子：构文から意味へ
黒い目の大きな女の子：构文から意味へHiroshi Nakagawa
?
最近、统计処理にあらずんば自然言语処理にあらず、ような雰囲気が强いのですが、30年前の自然言语処理ではこんなことを考えていたのだという古典発掘の资料です。前の世纪の自然言语処理に兴味のある方は御覧になってくださいはじめてのAIプログラミング 5章: 知識表現
はじめてのAIプログラミング 5章: 知識表現nkazuki
?
"はじめてのAIプログラミング―C言語で作る人工知能と人工無能", 小高 知宏, オーム社
の５章相当．研究室有志で行なっている勉強会用資料です．
本章では，「機械に人工知能的なことを行わせるために，どのように知識を機械に持たせるか」という知識表現の手法として
- 意味ネットワーク
- フレーム
- スクリプト
- プロダクションルール
の4つをそれぞれ説明しています．
また，演習として
- 単純な意味ネットワークを利用した連想エンジン
- プロダクションルールルールを利用した，相談システム
の２つを行なっています．Ad
Similar to 第叁回さくさくテキストマイニング勉强会 入门セッション (20)
英语学习者のための発话自动採点システムの开発.
英语学习者のための発话自动採点システムの开発.Yutaka Ishii
?
外国語教育メディア学会（LET）関西支部メソドロジー研究部会2013年度第三回研究会の発表資料です。
近藤悠介?石井雄隆. (2014). 英语学习者のための発话自动採点システムの开発. 外国語教育メディア学会（LET）関西支部メソドロジー研究部会2013年度第三回研究会.早稲田大学.日本语の语汇的换言知识の质的评価
日本语の语汇的换言知识の质的评価Tomoyuki Kajiwara
?
梶原智之, 山本和英.
日本语の语汇的换言知识の质的评価.
電子情報通信学会技術研究報告（NLC2014-37）, 第6回集合知シンポジウム, Vol.114, No.366, pp.43-48. December 2014.Developing User-friendly and Customizable Text Analyzer
Developing User-friendly and Customizable Text Analyzer长冈技术科学大学 自然言语処理研究室
?
Yuki Miyanishi and Kazuhide Yamamoto. Developing User-friendly and Customizable Text Analyzer. The International Conference on Practical Linguistics of Japanese (ICPLJ8), pp.172-173 (2014.3)[最新版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」
[最新版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」 Yuki Arase
?
最新版のJSAI2018でのチュートリアル資料です。
---
6月7日（木） 13:50-15:30
I会場（2F ロイヤルガーデンA）
---日本語文章に対する 述語項構造アノテーション仕様の考察
日本語文章に対する 述語項構造アノテーション仕様の考察Yuichiroh Matsubayashi
?
NLP2015 で発表した以下の論文についてのスライドです。
日本語文章に対する述語項構造アノテーション仕様の考察
松林優一郎, 飯田龍, 笹野遼平, 横野光, 松吉俊, 藤田篤, 宮尾祐介, 乾健太郎
自然言語処理 21(2) 331-378 2014年4月
言語処理学会 2014年 最優秀論文賞Nl220 Pitman-Yor Hidden Semi Markov Model
Nl220 Pitman-Yor Hidden Semi Markov ModelKei Uchiumi
?
第220回自然言语処理研究会で隠れセミマルコフモデルに基づく教师无し形态素解析手法の提案を行いました．[旧版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」
[旧版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」 Yuki Arase
?
最新版はこちら！：/yukiarase/jsai2018-101054060
JSAI2018でのチュートリアル資料です。
---
6月7日（木） 13:50-15:30
I会場（2F ロイヤルガーデンA）
---形态素解析
形态素解析Works Applications
?
形态素解析の技術
形态素解析技術については深層学習の登場により枯れた技術だと思われている中で「本当に必要である技術なのか」と様々な議論がされています。
その業界の流れの中で、なぜ徳島NLP研究所でこの技術をあえて注目し研究しているのか、着眼点?利用価値についてご紹介します。
技術自体がブラックボックスとして扱われがちですが、実際に研究していく中で得られたノウハウを開示し、形态素解析の仕組みについて解説をし、内部で利用する技術の選別／処理内容／実利用での注意点をご説明します。
実例として、形态素解析エンジンについても触れる予定です。Ad
第叁回さくさくテキストマイニング勉强会 入门セッション
- 1. 入門セッション ● テキストマイニング必須用語を15分程度で紹介 ● 目的：初心者向け勉強会なので、基本用語から説 明すべきだが、各発表者がいちいち説明している と重複しまくって非効率なので、最初にまとめる ● セッション後、質問タイムを設けます。お気軽に御 質問下さい ● ※あくまでざっくりした説明です 1
- 2. テキストマイニングの利用分野 1.マーケティング – 評判分析：売れ行き予測 – 需要の抽出：今どんな商品が求められているか？ – 自社製品の強み弱み：強みを伸ばし、弱点を補う – インフルエンサーの特定：どこ/誰が影響力を持っているか 2.ナレッジの自動蓄積 ● メール等の文書をデータベース化 ● 暗黙知→形式知 3.自然言語処理的領域 – 検索、本文要約、IME、機械翻訳 2
- 4. 言語処理の技術 (1) 形态素解析 ● 形態素とは：意味を持つ最小の文字列の単位 ● 分かち書き：文を単語に分割すること ● 形态素解析：分かち書き＋品詞付け+原形復元 ● 日本語の分かち書きは難しい ● 英語等と違って単語の切れ目がわからない – 「すもももももももものうち」→「李も桃も桃の内」○ – 「東京都」→「東, 京都」？ ● MeCab：非常によく使われる形态素解析エンジン 4
- 5. 言語処理の技術 (2) 構文解析 ● 構文解析：文の構造（係り受け等）を明らかにする ● 係り受け：ある文節がどの文節に作用するか ● 例文：「黒い大きな瞳の男の娘」 ● （肌の）黒い、大きな瞳の、男の娘？ ● 黒い大きな瞳の、男の娘？ ● 黒い大きな瞳（さん）の男の娘？ 5
- 6. 言語処理の技術 (3) 意味解析 ● 意味解析：評判分析等で使われる ● 「泣ける」という単語はポジティブ？ネガティブ？ – 「映画」＋泣ける?感動した！というポジティブ表現 – 「試験」＋泣ける?結果が悪かった！というネガティブ表現 – 単語の意味は文脈によって変わる可能性がある ● 語義曖昧性解消：単語の複数の意味の中から、文 に応じた語義を特定すること ● 単語情報単体で自然言語の全てを理解できるわけ ではない 6
- 7. テキストの統計処理 ● 単語：トークンとタイプ – “nurture or nature? nurture passes nature”は何単語？ – 6（節）と答えるのがトークン – 4（種類）と答えるのがタイプ ● bag-of-words（BOW）：文章の単語ベクトル表現 – 柴犬が私を噛んだ→{柴犬,が,私,を,噛ん,だ} – {柴犬,が,私,を,噛ん,だ} = {私,が,柴犬,を,噛ん,だ} ● Nグラム：隣接するN単位の共起 – 単語2グラム[柴犬,が][が,私][私,を][を,噛ん][噛ん,だ] – 文字2グラム(柴,犬)(犬,が)(が,私)(私,を)(を,噛)(噛,ん)(ん,だ) 7
- 8. 頻出専門用語 ● コーパス：言語の分析用例データ ● 素性：文法的な情報を表す特徴量（単語頻度等） ● シソーラス：階層構造を持った類義語辞書 ● 照応解析：代名詞が指しているものを明らかにする ● 省略補完：省略された主語などを補完する ● チャンキング：文の意味的な固まりを見つける技術 ● 格フレーム：ある語の語義毎に共起する語の組 ● 機械学習：人間の学習能力をコンピュータに持た せて、分類や判別、予測などを行う研究分野 – 教師有り学習：与えられた正解例に沿う様、分類などを行う 8 – 教師無し学習：入力値から頻出/特殊なパターンを見出す