正文

python如何对文本进行分词

小六 /27 浏览量
0424

在Python中，可以使用多个库来进行文档分词，以下是使用NLTK、jieba和spaCy库进行分词的示例：

使用NLTK库进行分词

 import nltk nltk.download（'punkt'） 下载punkt分词模型 text = "Hello, how are you？" tokens = nltk.word_tokenize（text） print（tokens）

使用jieba库进行中文分词

 import jieba  text = "你好，今天天气不错" tokens = jieba.cut（text） print（list（tokens））

使用spaCy库进行英文分词

 import spacy nlp = spacy.load（'en_core_web_sm'） 加载英文语言模型 text = "Hello, how are you？" doc = nlp（text） tokens = [token.text for token in doc] print（tokens）

这些库不仅可以进行分词，还可以进行词性标注、命名实体识别等更复杂的文本处理操作。

-- 展开阅读全文 --