文章详情

　　今天，我们要根据我们的经验来概述和比较最流行，最有用的自然语言处理库。
 

　　今天，自然语言处理(NLP)变得非常流行，在深度学习发展的背景下，自然语言处理(NLP)变得尤其引人注目。NLP是人工智能的一个领域，旨在理解和提取文本中的重要信息，并根据文本数据进行进一步的培训。主要任务包括语音识别和生成，文本分析，情感分析，机器翻译等。
 

　　在过去的几十年中，只有经过适当的语言教育的专家才能从事自然语言处理。除了数学和机器学习，他们还应该熟悉一些关键的语言概念。现在，我们可以使用已经编写的NLP库。它们的主要目的是简化文本预处理。我们可以专注于构建机器学习模型和超参数微调。
 

　　有许多旨在解决NLP问题的工具和库。今天，我们要根据我们的经验来概述和比较最流行，最有用的自然语言处理库。您应该了解，我们查看的所有库都只有部分重叠的任务。因此，有时很难直接比较它们。我们将介绍一些功能，并仅比较那些可能的库。
 

　　总体概述
 

　　1)NLTK (自然语言工具包)用于诸如令牌化，词法去除，词干提取，解析，POS标记等任务。该库具有用于几乎所有NLP任务的工具。

　　2)Spacy 是NLTK的主要竞争对手。这两个库可用于相同的任务。

　　3)Scikit-learn 提供了一个大型机器学习库。此处还提供了用于文本预处理的工具。

　　4)Gensim 是用于主题和向量空间建模，文档相似性的软件包。

　　5) Pattern 库的一般任务 是充当Web挖掘模块。因此，它仅支持NLP作为辅助任务。

　　6)Polyglot 是NLP的另一个python软件包。它不是很流行，但也可以用于各种NLP任务。
 

　　为了使比较更加生动，我们准备了一个表，显示了库的优缺点。
 

　　结论
 

　　在大数据分析python自然语言处理NLP常用库盘点中，我们比较了几种流行的自然语言处理库的某些功能。尽管大多数工具都提供了用于重叠任务的工具，但有些工具针对特定问题使用了独特的方法。无疑，当今最流行的NLP软件包是NLTK和Spacy。它们是NLP领域的主要竞争对手。我们认为，它们之间的区别在于解决问题的方法的一般哲学。
 

　　NLTK更具学术性。您可以使用它尝试不同的方法和算法，将它们组合起来，等等。Spacy却为每个问题提供了一种即用的解决方案。您不必考虑哪种方法更好：Spacy的作者已经考虑了这一点。同样，Spacy速度非常快(比NLTK快几倍)。缺点之一是Spacy支持的语言数量有限。但是，支持的语言数量一直在增加。因此，我们认为Spacy在大多数情况下是最佳选择，但是如果您想尝试一些特别的东西，则可以使用NLTK。
 

　　尽管这两个库很流行，但仍有许多不同的选项，选择哪种NLP软件包取决于您要解决的特定问题。因此，如果您碰巧知道其他有用的NLP库，请在评论部分告知我们的读者。
 

　　ActiveWizards是一个由数据科学家和工程师组成的团队，专门致力于数据项目(大数据，数据科学，机器学习，数据可视化)。核心专业知识领域包括数据科学(研究，机器学习算法，可视化和工程)，数据可视化(d3.js，Tableau等)，大数据工程(Hadoop，Spark，Kafka，Cassandra，HBase，MongoDB等)，以及数据密集型Web应用程序开发(RESTful API，Flask，Django，Meteor)。