15. Transformerを用いた言語処理技術の発展.pdf
- 2. - 対話型AIの最近の発展 - LLM（Large Language Model）の概要 - Transformer以前のモデルの問題点 - Transformerの基本 今回の内容
- 3. 最近の対話型AIの発展 (GPT-4関連) Sparks of Artificial General Intelligence: Early experiments with GPT-4 https://arxiv.org/abs/2303.12712 GPT-4 Technical Report https://arxiv.org/abs/2303.08774
- 4. 最近の対話型AIの発展 (2023/3時点) - Open AI - Chat GPT: 対話型AI, 現時点の最新はGPT-4を使用 - Microsoft - Open AI と協業しGPTシリーズをベースとしたモデルを製品に組み込む - Microsoft 365 Copilot - GitHub Copilot X - 新しいBing - Google - BARD: 対話型AI, 米国, 英国にてプレビュー
- 5. - 大規模なデータセットを用いて学習された深層学習モデル - Transfomer の登場により急速に発展 - GPTシリーズ (OpenAI) - BERT, PaLM, T5(Google) - NLP(自然言語処理)の多様なタスクに適用 - 生成、理解、翻訳、要約 - 人間とコンピュータ間のコミュニケーションが大きく改善 LLM (Large Language Model) の概要 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding GPT: Improving Language Understanding by Generative Pre-Training
- 6. - ニューラルネットワークの一種 - 自然言語処理において最も重要な技術の一つ - 元論文、”Attention Is All You Need” によって提唱 - Self-attention の導入 (RNN＋Attentionが従来の主流) - RNN, CNNなど従来のモデルよりも高速で精度が高い - 多くのLLMのベースとして使用 Transformer概要 "Attention is All You Need" (Vaswani et al., 2017) https://arxiv.org/abs/1706.03762
- 7. - 逐次処理（1単語ずつ処理） - 勾配消失、勾配爆発により長距離依存の解析が難しい※ 従来のモデル (RNN)の問題点 RNNを用いたEncoder-Decoder architecture https://arxiv.org/abs/2102.03218 - Encoder: 入力テキスト(x1,x2,x3, ...)を受け取り固定長のベクトルに変換 - Decoder: エンコーダーからベクトルを受け取り出力テキスト (y1,y2,y3, …)を生成 ※勾配消失に対する改善モデルとして LSTM（Long Short-Term Memory) や GRUがある
- 8. Transformerの基本 - Self-attention - シーケンスデータ内の単語の関連性を理解 - 並列処理が可能 https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html https://arxiv.org/abs/1706.03762 1. The animal didn't cross the street because it was too tired 2. The animal didn't cross the street because it was too wide Decoder Encoder
- 9. まとめ - Transformerは、自然言語処理において重要な技術の一つ - 従来のモデルの問題点(長距離の依存関係処理、逐次処理)を解決 - Transformerを用いた言語処理の進化は、LLMの急速な発展を引き起こした - MicrosoftやGoogleが各社ビジネスツールへLLMを組み込むなど、 汎用AIの第一歩を踏み出した - 今後もTransformerをベースにしたLLMおよび汎用AIの発展が期待される
- 10. 参考資料 - Attention is All You Need (Vaswani et al., 2017) - https://arxiv.org/abs/1706.03762 - 日本語による解説 - https://deeplearning.hatenablog.com/entry/transformer - The Illustrated Transformer - http://jalammar.github.io/illustrated-transformer/ - Transformer model for language understanding (tensorflow を用いたチュートリアル) - https://www.tensorflow.org/tutorials/text/transformer - Hugging Face Transformers ライブラリ - https://huggingface.co/transformers/ - Transformer Neural Networks - EXPLAINED! (Attention is all you need) - https://www.youtube.com/watch?v=TQQlZhbC5ps - 【図解】Attentionとは？わかりやすく、そして深く解説｜自然言語処理 (NLP) - https://nlpillustration.tech/?p=185 - 【図解】誰でもわかるTransformer入門！凄さ?仕組みをわかりやすく解説 - https://nlpillustration.tech/?p=2171