使用jieba库进行中文分词的基本步骤如下:
1. 安装jieba库
pip install jieba
2. 导入jieba库
import jieba
3. 加载文本数据
text = "这里输入你要分词的文本数据"
4. 进行分词
精确模式
seg_list = jieba.cut(text, cut_all=False)
全模式
seg_list_all = jieba.cut(text, cut_all=True)
搜索引擎模式
seg_list_search = jieba.cut_for_search(text)
5. 输出分词结果
精确模式输出
print("精确模式:", " ".join(seg_list))
全模式输出
print("全模式:", " ".join(seg_list_all))
搜索引擎模式输出
print("搜索引擎模式:", " ".join(seg_list_search))
6. (可选)自定义词典
加载自定义词典
jieba.load_userdict("userdict.txt")
提取关键词
tags = jieba.analyse.extract_tags(text, topK=5, withWeight=True, allowPOS=('nr',))
print(tags)
以上步骤展示了如何使用jieba进行中文分词。根据不同的需求,可以选择不同的分词模式。