Python自然语言处理

自然语言处理（NLP）是指使用诸如英语之类的自然语言与智能系统通信的AI方法。

当您希望像机器人这样的智能系统按照您的指示执行，当您想要听取基于对话的临床专家系统的决定等时，需要处理自然语言。

NLP领域涉及使计算机使用人类使用的自然语言来执行有用的任务。NLP系统的输入和输出可以是 -

  • Speech
  • Written Text

NLP的组成部分

在本节中，我们将了解NLP的不同组件。NLP有两个组成部分。组件如下所述 -

自然语言理解（NLU）

它涉及以下任务 -

  • 将自然语言中的给定输入映射到有用的表示中。

  • 分析语言的不同方面。

自然语言生成（NLG）

它是从一些内部表征中以自然语言的形式产生有意义的短语和句子的过程。它涉及 -

  • 文本计划 - 这包括从知识库中检索相关内容。

  • 句子计划 - 这包括选择所需的单词，形成有意义的短语，设置句子的语气。

  • 文本实现 - 这是将句子计划映射到句子结构。

NLU的困难

NLU的形式和结构非常丰富; 然而，这是模棱两可的。可能存在不同程度的歧义 -

词汇含糊不清

它处于非常原始的层面，例如词级。例如，将单词“board”视为名词还是动词？

语法级别歧义

可以用不同的方式解析句子。例如，“他用红帽盖住了甲虫。” - 他是否用帽子抬起甲虫，或者他举起了一顶戴红帽的甲虫？

参考模糊

用代词指代某事。例如，里马去了Gauri。她说，“我累了。” - 究竟谁累了？

NLP术语

现在让我们看一下NLP术语中的一些重要术语。

  • 音韵学 - 系统地组织声音的研究。

  • 形态学 - 它是从原始有意义的单位构建单词的研究。

  • 语素 - 它是语言中意义的原始单位。

  • 语法 - 它指的是排列单词来创建一个句子。 它还涉及确定句子和短语中单词的结构作用。

  • 语义学 - 它关注单词的含义以及如何将单词组合成有意义的短语和句子。

  • 语用学 - 它涉及在不同情境下使用和理解句子以及如何对句子的解释产生影响。

  • 话语 - 它处理紧接在前的句子如何影响下一句的解释。

  • 世界知识 - 它包括有关世界的一般知识。

NLP中的步骤

本节介绍NLP中的不同步骤。

词汇分析

它涉及识别和分析单词的结构。语言的词典意味着语言中的单词和短语的集合。词法分析将整个txt块分为段落，句子和单词。

句法分析（解析）

它包括对句子中的单词进行语法分析，并以一种显示单词之间关系的方式排列单词。“学校去男孩”这样的句子被英语句法分析器拒绝。

语义分析

它从文本中得出确切的含义或字典含义。检查文本是否有意义。它通过映射任务域中的语法结构和对象来完成。语义分析器忽视诸如“热冰淇淋”之类的句子。

话语整合

任何句子的含义取决于它之前的句子的含义。此外，它还带来了紧接着的句子的含义。

语用分析

在此期间，所说的内容被重新解释为它的实际含义。它涉及推导需要现实世界知识的语言方面。