More Related Content
Similar to Ch1 語料庫語言學概述 (6)
More from ungian iunn (20)
Recently uploaded (20)
Ch1 語料庫語言學概述
- 1. 台灣語言專論 ～語料庫語言學概述～ 指導老師：楊允言 教授 學 生： 01 汪女嫈
- 3. 語言學研究的三種方法 內省法： 主要是轉換生成語言學家採用的研究方法 ，他們以語言學家本人為資料提供人 ， 依 靠自己的語感作為判斷語言現象歧異、 政務、可接受性等的依據。這是轉換生 成語言學家獲得語料的主要來源。 誘導法：是一種調查方法，通過實地調查，來收 集人們對實際使用的語言材料的看法和 人們對語言材料的心理反應。 語料庫方法：以語料庫為基礎。指在隨機採樣的 基礎上收集的有代表性的真實語言 材料的集合，是語言選用的樣本。
- 4. 现代语言学研究叁种方法的比较表： (From J. Svartvik) ＋ － － 10. 是否真實的、實際的語言運用 ＋ － － 9. 能否進行歷時研究 ＋ － － 8. 會不會受到疲勞或猶豫不決的影響 ＋ － － 7. 能否涉及不同文體與語域 ＋ ＋ － 6. 非母語者能否使用 ＋ ＋／－ － 5. 能否收集大規模數據 ＋ ＋／－ － 4. 是否客觀 ＋ － － 3. 能否提供概率信息 － ＋ ＋ 2. 是否受到被試態度的影響 － － ＋ 1. 是否簡單易行、速度和費用如何 C 語料庫語言學方法 E 誘導法 I 內省法 語言學研究的語言數據 特 點
- 5. 1. 人工智能方法（ AI approach ），以語言能力為基礎。認 為自然語言處理系統就是用機器對人的智能進行模擬的系 統，需具有複雜的語法規則，具有邏輯推理能力，具有關 於外部世界的知識。 弱點： 1 ）不能反映語言是不斷發展的現實。 2 ）薩丕爾 （ E.Sapir ） 認為“任何語法都有漏洞” （ Sapir 1921 ） 3 ）對於規範句雖有一定的處理能力，但是處理真實的語言 材料時，對於非規範具和不規範句就顯得無能為力。 長時記憶 短時記憶 知識庫（語法規則 、詞典、外部世界知識） 處理器 中間結構 程序 工作結構 圖：自然語言處理的基本模型
- 6. 2. 語料庫的方法（ corpus-based approach ） ︰ 以語言運用 為基礎。 特徵 1. 是從調查真實的語言材料出發，以處理不受限制的真實語 言材料為目標。 2. 基本方法是概率分析法，即通過對語料庫中的語料進行調 查，在統計分析的基礎上求出語言運用的概率信息，再反 過來以概率信息為依據分析真實的語言材料。對語言現象 進行分析時，並不要求提出唯一的解，而是在若干可能的 解中選擇概率最高的解作為最終的解。 3. 語言數據庫的概率信息越可靠，自然語言處理系統的處理 能力就越強，處理結果的正確度就越高。 4. 由於語料庫方法是以真實的語言材料為基礎的，在這一基 礎上設計的自然語言處理系統的目標是處理不受限制的語 料，而不是少量假想的句子。
- 7. 3. 人工智能方法和語料庫的方法兩種方法的互補 以語言能力為基礎的方法和以語言運用為基礎的方法應當是相互補充，而不應當是相互排斥的。 從輸出結果看出 ATEF （對句子進行詞法分析）為每個詞提供了大量詞法信息、句法信息和部分語義信息。這些信息都是可能的信息，而不是最終的信息。【即相當於 AGTS 系統中的候選碼，系統尚未做出最後決策。】將 ATEF 和 AGTS 的分析結果加以比較，兩者的結果是互為補充的。 輸入 ATE F AGTS 轉換數據格式 排除歧義決策處理 ROBRA 輸出 圖：合併處理框圖
- 8. 語料庫應用 ( 一 ) 語言頻率統計︰採定量分析為主，定性分析為輔的原則。所謂定量 分析就是通過調查研究在頻率統計的基礎上對常用辭進行量化分析，為 決策提供依據。選詞的主要統計特徵依據是頻率、覆蓋率和分布率。 1) 頻率是指某個詞在語料出現的頻數。 2) 覆蓋率指的是從頻率詞表上按頻率次序選取的一定數量的單詞，確定它們在全部語料中所佔的百分率。 3) 分布率。有些詞在不同專業學科領域和不同語體的文本中的出現率大不相同。 通過分析詞的統計特徵，可以發現三個詞： 1) 是功能詞，不但頻率極高，且分布率也極高。 2) 是專業術語，在某個專業領域中頻率極高，跨一個領域就可能很低，甚至根本不出現，因此分布率極低。 3) 次高頻詞。這類詞頻率很高，但不如前兩者高，而分布率卻比第二類詞高的多。 功能詞 次高頻詞 專業術語 圖： 三類詞的統計特徵 頻率極高 分布率極高 頻率極低 分布率極低
- 9. 語料庫應用 ( 二 ) 辭典編纂 辛克萊教授在 20 世紀 70 年代帶頭建立了 COBUILD 語料庫，採用詞語索引技術對海量語料進行大規模調查，從此開創了現代詞典編纂的先河。強調的實證 (evidence) 是保證詞典中的例句自然真實的必要條件。在 COBUILD 詞典中，每個詞條不但有頻率信息，而且義項的取捨和排列次序，無不以大型語料庫的實際統計結果為依據，而且每個例句必採自收集在語料庫中的實際使用的語言事實。建立語料庫已經是當代編纂原創性辭典的必要條件。 ( 三 ) 詞彙搭配研究 學習一門外語，在掌握了基礎語法進入高級階段以後，語言是不是道地，可以說主要看搭配。詞的搭配又受到詞義、用法、文化、習慣等多種因素的影響。搭配研究本來主要靠語言學家的語感，大容量語料庫的問世為搭配研究提供了客觀的量化分析的依據，使詞彙搭配研究更科學、更全面。 ( 四 ) 語言教學 學生可以自己到語料庫中查詢詞的用法、詞的搭配、詞義的細微差別等等，這就是所謂的數據驅動學習（ data-driven learning ）。數據驅動學習不但為學生提供真實的語境，而且為學生提供了一種探索語言的手段，學生可以像語言學家研究語言一樣對語言進行主動的探索，這在寫作教學中可以收到很好的效果。 ( 五 ) 自然語言處理 語料庫語言學為自然語言處理提供了概率方法，由於概率是語言運用的固有特徵，因此自然語言處理對複雜的真實語料的杵哩，成功率要高得多，而且系統結實（ robust ）在遇到自然語言中大量存在的不規範句或部分規範句時系統不會中斷。語料庫是真實語言材料的集合，提高了自然語言處理系統的可靠性和效率。
- 10. 语料库开发 1. 語料庫類型 把兩種語言中完全對應的文本（如法律文件）輸入計算機，通過分析對比找出兩者關係，可用於機器翻譯研究。 平行語料庫稱為 parallel corpura 將各種程度的學生在學習英語過程中的研與輸出輸入計算機，建立學生英語語料庫。對於研究中間語的性質及找出學生易犯的錯誤，從而提高學習效率。 如 Chinese Learner English Corpus 學生英語語料庫 研究口語特徵的重要工具，如語音語調的規律，其研究成果在語聲合成中有重要應用。其建設涉及口語真實語料的採集及語音轉錄，工作量極大。 如 The London-Lund Corpus 、 the Corpus of Spoken American English 。 口語語料庫 COBUILD 語料庫：用於觀察現代英語的變遷。 監控語料庫稱為 Monitor corpus JDEST ：學術英語語料庫，用於研究學術英語。 Helsinki Corpus of Historical English ：用於研究古英語。 專用語料庫 LOB 語料庫：在構成上完全和 BROWN 對應，取材自當代英國英語語料。 BROWN 語料庫：當代美國英語語料庫。 通用語料庫
- 11. 语料库开发 2. 語料庫規模 早期的語料庫，如 BROWN 語料庫和 LOB 語料庫，都只有 100 萬詞的容量，稱為標準 語料庫。對一般研究而言是可接受的，若要研究搭配關係顯然容量太小。因此 語料庫的規模目前有變得愈來愈大的趨勢，如 Bank of English 語料庫已經達 到 3.2×10? 詞次的規模。但是百萬詞級的標準語料庫，由於其語料的代表性、 採樣的隨機性和各種語體比例的合理性，迄今仍是語言研究的重要工具。 3. 語料庫加工深度 未經加工的語料庫稱為生語料庫（ raw corpus ），生語料是真實使用中的語言 採樣的集合。生語料可以用於進行頻率統計和 KWIC 詞語索引查詢，也可用於進 行各種定性定量的研究。 4. 語料庫加工路徑 語料庫中的語言數據有些可以完全由機器自動楚哩，有些則要採用人機互助的 加工方法。 5 語言數據庫 語言是一個開放系統，語言又在不斷的發展，因此所謂語料庫容量足夠大只是 一個相對的概念。求得精確的語言概率信息是一個漸進的過程 ， 這些不斷更新 的語言數據應當有專門的地方存放，這就是語言數據庫。語言數據庫紀錄的是 語言的統計特徵和概率信息，它是相對於語料庫而獨立存在的。
- 12. 報告完畢 謝謝大家