正文

python中如何分词

小六 /29 浏览量
0416

在Python中进行分词，你可以使用以下几种流行的库：

NLTK （Natural Language Toolkit）

 import nltk nltk.download（'punkt'） 下载punkt分词模型 text = "Hello, how are you？" tokens = nltk.word_tokenize（text） print（tokens）

jieba

 import jieba text = "你好，今天天气不错" tokens = jieba.cut（text） print（list（tokens））

spaCy

 import spacy nlp = spacy.load（'en_core_web_sm'） 加载英文语言模型 text = "Hello, how are you？" doc = nlp（text） tokens = [token.text for token in doc] print（tokens）

以上代码分别展示了如何使用NLTK、jieba和spaCy进行分词。对于中文分词，jieba是一个常用的选择，而NLTK和spaCy则更适合英文文本。

-- 展开阅读全文 --