×ÔÈ»ÑÔÓï„IÀí¤Ë¤ª¤±¤ë¹¹ÎĽâÎöÆ÷¤Î¹¹Ôì¤È½âá‹
?
5 likes?1,674 views
The document discusses parsers for natural language processing. Parsers analyze text to determine its syntactic structure and produce representations like syntax trees or S-expressions. Typical parsers include recursive descent parsers and shift-reduce parsers. Recursive descent parsers use recursive calls to analyze the syntax based on grammar rules, while shift-reduce parsers shift tokens and reduce them based on the grammar.
![[You, are, PRO]
?????](https://image.slidesharecdn.com/structureandimplementationoftheparsersfornaturallanguageprocessing-140828235519-phpapp01/85/-20-320.jpg)
![[???, ?, ??, ??]
?????](https://image.slidesharecdn.com/structureandimplementationoftheparsersfornaturallanguageprocessing-140828235519-phpapp01/85/-22-320.jpg)
![[??]
?????](https://image.slidesharecdn.com/structureandimplementationoftheparsersfornaturallanguageprocessing-140828235519-phpapp01/85/-24-320.jpg)
×ÔÈ»ÑÔÓï„IÀí¤Ë¤ª¤±¤ë¹¹ÎĽâÎöÆ÷¤Î¹¹Ôì¤È½âá‹
- 1. ??©f¨Ò?????? ??¤î??????¤î? Structure and Implementation of the Parsers for Natural Language Processing JOIss2014 @zakuro9715
- 2. ????
- 3. YuZakuro @zakuro9715 ?¨‹?? ??(??3?) HN twitter ?? ??
- 4. ???
- 6. ????
- 7. ????????
- 8. 101?
- 10. What is Parser? ??¤î?? ???
- 11. ??¤î?? ¡ñ ???????????¤î??? ????????????(????)??? ???
- 12. ??¤î?? ¡ñ ???????????¤î??? ????????????(????)??? ??? ˜‹ÎÄľ?AST?Sʽ¤Ê¤É
- 13. ¤»???¡
- 14. I am You
- 15. ? ?¥â? ????¥â I ?¥â? ?¥â am ?¥â? ???¥â You
- 16. Tips 1. ¤î????????? 2. ?????????
- 17. Tips 1. ¤î????????? 2. ?????????
- 18. ¤î????????? ¡ñ ??¤î???????????????? ??¤î???¤»??? ¡ñ ???????¤î???¤î?????
- 19. You are PRO ???
- 20. [You, are, PRO] ?????
- 21. ???????? ???
- 22. [???, ?, ??, ??] ?????
- 23. ?? ???
- 24. [??] ?????
- 25. Tips 1. ¤î????????? 2. ?????????
- 26. S-Expression (S (NP (PeopleN (¡®I¡¯))) (VP (V (¡®am¡¯)) (NP (ProperN ('You')))))
- 27. Syntax Tree S NP PeopleN I VP V am NP ProperN You
- 28. ??????? ¡ñ Abstract Syntax Tree ¡ñ Reverse Polish Notation ¡ñ Polish Notation
- 29. Context Free Language ??????
- 30. ?????? ¡ñ ????????????????? ¡ñ ?¤Ä??????????????????
- 31. ? S NP N Det VP V -> -> -> -> -> -> NP VP Det N ¡°cat¡± | ¡°dog¡± ¡°the¡± | ¡°a¡± V NP ¡°likes¡± a cat likes the dog ??????????CFG
- 32. Implements of typical parsers ??????¤î???????
- 33. ??????¤î?? ¡ñ Recursive Descent Parser ¡ñ Shift-Reduce Parser
- 34. ??????¤î?? ¡ñ Recursive Descent Parser ¡ñ Shift-Reduce Parser
- 35. ?? ¡ñ ??????????? ¡ñ ?????????????????
- 37. a cat likes a dog S NP N Det VP V -> -> -> -> -> -> NP VP Det N ¡°cat¡± | ¡°dog¡± ¡°the¡± | ¡°a¡± V NP ¡°likes¡±
- 38. S NP N Det VP V -> -> -> -> -> -> NP VP Det N ¡°cat¡± | ¡°dog¡± ¡°the¡± | ¡°a¡± V NP ¡°likes¡± a cat likes a dog
- 39. S NP N Det VP V -> -> -> -> -> -> NP VP Det N ¡°cat¡± | ¡°dog¡± ¡°the¡± | ¡°a¡± V NP ¡°likes¡± a cat likes a dog
- 40. S NP N Det VP V -> -> -> -> -> -> NP VP Det N ¡°cat¡± | ¡°dog¡± ¡°the¡± | ¡°a¡± V NP ¡°likes¡± a cat likes a dog
- 41. S NP N Det VP V -> -> -> -> -> -> NP VP Det N ¡°cat¡± | ¡°dog¡± ¡°the¡± | ¡°a¡± V NP ¡°likes¡± a cat likes a dog
- 42. S NP N Det VP V -> -> -> -> -> -> NP VP Det N ¡°cat¡± | ¡°dog¡± ¡°the¡± | ¡°a¡± V NP ¡°likes¡± a cat likes a dog
- 43. S NP N Det VP V -> -> -> -> -> -> NP VP Det N ¡°cat¡± | ¡°dog¡± ¡°the¡± | ¡°a¡± V NP ¡°likes¡± a cat likes a dog
- 44. a cat likes a dog S NP N Det VP V -> -> -> -> -> -> NP VP Det N ¡°cat¡± | ¡°dog¡± ¡°the¡± | ¡°a¡± V NP ¡°likes¡±
- 45. a cat likes a dog S NP N Det VP V -> -> -> -> -> -> NP VP Det N ¡°cat¡± | ¡°dog¡± ¡°the¡± | ¡°a¡± V NP ¡°likes¡±
- 46. a cat likes a dog S NP N Det VP V -> -> -> -> -> -> NP VP Det N ¡°cat¡± | ¡°dog¡± ¡°the¡± | ¡°a¡± V NP ¡°likes¡±
- 47. a cat likes a dog S NP N Det VP V -> -> -> -> -> -> NP VP Det N ¡°cat¡± | ¡°dog¡± ¡°the¡± | ¡°a¡± V NP ¡°likes¡±
- 48. a cat likes a dog S NP N Det VP V -> -> -> -> -> -> NP VP Det N ¡°cat¡± | ¡°dog¡± ¡°the¡± | ¡°a¡± V NP ¡°likes¡±
- 49. a cat likes a dog S NP N Det VP V -> -> -> -> -> -> NP VP Det N ¡°cat¡± | ¡°dog¡± ¡°the¡± | ¡°a¡± V NP ¡°likes¡±
- 50. ???
- 51. ?? ¡ñ ??? ¡ñ ?????
- 52. ??? ¡ñ ?????CFG???? ??CFG?????¡±a¡±?????? ????????????¡ý???? ??? S -> S A | A A -> ¡°a¡±
- 53. a a a a a S A -> -> S A | A ¡°a¡±
- 54. a a a a a S A -> -> S A | A ¡°a¡±
- 55. a a a a a S A -> -> S A | A ¡°a¡±
- 56. a a a a a S A -> -> S A | A ¡°a¡±
- 57. a a a a a S A -> -> S A | A ¡°a¡±
- 58. a a a a a S A -> -> S A | A ¡°a¡±
- 59. a a a a a S A -> -> S A | A ¡°a¡±
- 60. a a a a a S A -> -> S A | A ¡°a¡±
- 61. ¤î??? ¡ñ ????????????? S S_ A -> -> -> A S_ ¡°¡± | A S_ ¡°a¡±
- 62. ????? ¡ñ ?¤Â???????????????????? ?????????????????? ¡ñ ????????????A?¤Â?????? ????? S A B C -> -> -> -> A B | A C ¡°a¡± ¡°b¡± ¡°c¡±
- 63. ¤î??? ¡ñ A?¤Â??????????????????? ??¤Â?????? S A B C -> -> -> -> A B | A C ¡°a¡± ¡°b¡± ¡°c¡±
- 64. ¤î??? ¡ñ ?¨Þ???????¥£??????????? ??????
- 65. ??????¤î?? ¡ñ Recursive Descent Parser ¡ñ Shift-Reduce Parser
- 66. ?? ¡ñ LL??????????¤î???? ¡ñ ??????????????????
- 67. ?? ¡ñ ??????????????????????? ????????? ¡ñ ??????????Shift, ???????? ???Reduce???
- 68. a cat likes a dog
- 69. cat likes a dog a Shift
- 70. cat likes a dog Reduce Det
- 71. likes a dog Det Shift cat
- 72. likes a dog Reduce N Det
- 73. likes a dog Reduce NP
- 74. a dog NP Shift likes
- 75. a dog Reduce V NP
- 76. dog a NP Shift V
- 77. dog Reduce Det V NP
- 78. dog Det NP Shift V
- 79. Reduce N Det V NP
- 80. Reduce NP V NP
- 81. Reduce S
- 82. Recursive Descent Parser ??? ¡ñ ??? ¡ñ ?????
- 83. ??? ¡ñ ????????
- 84. ??? ¡ñ ????¡ý??????????????? ?????????????? ¡ñ ????????????????????? ??
- 85. ????? ¡ñ Recursive Descent Parser????????? ?????????
- 86. ????? ¡ñ Recursive Descent Parser ????????? ??¤Â???????????? ¡ñ ?????¤Â???????????????? ???????????
- 87. LL???????
- 88. ????
- 89. ???? ??¡
- 90. Shift-Reduce Parser ??? ¡ñ Shift-Reduce?? ¡ñ Reduce-Reduce??
- 91. Shift-Reduce Parser ??? ¡ñ Shift-Reduce?? ¡ñ Reduce-Reduce??
- 92. Shift-Reduce ?? ¡ñ ?????????¡±a¡±?????????? Reduce???Shift?????????? S A B -> -> -> A | A B ¡°a¡± ¡°b¡±
- 93. ¤î??? ¡ñ ?¨Þ?
- 94. Shift-Reduce Parser ??? ¡ñ Shift-Reduce?? ¡ñ Reduce-Reduce??
- 95. Reduce-Reduce ?? ¡ñ ?????????¡±a¡±???????????A1 ??????A2???????????? S A1 A2 -> -> -> A1 ¡®x¡¯ | A2 ¡®y¡¯ ¡°a¡± ¡°a¡±
- 96. ¤î??? ¡ñ ?¨Þ?
- 97. Summary ???
- 98. ¡ñ Recursive Descent Parser ?????? ¡ð ???????? ¡ñ Shift-Reduce Parser ????????¤î? ¡ð ??????¡
- 99. ??
- 100. ?¨Þ?
- 101. ??????????????