名称：主题建模与文本挖掘 描述：应用LDA、NMF及其他计算方法，通过参数调优发现大型文本语料库中的模式 允许工具：读取、搜索、写入、编辑、全局匹配、Bash、网络获取
主题建模与文本挖掘
应用LDA、NMF及其他计算方法，通过参数调优发现大型文本语料库中的模式。
概述
本技能支持对大型文本集合进行计算分析。它涵盖主题建模、文本挖掘技术和模式发现，以揭示文本数据中的结构和主题，服务于人文探究。
能力
主题建模
- LDA实现
- NMF分析
- 结构化主题模型
- 动态主题模型
- 参数优化
文本预处理
- 分词
- 停用词移除
- 词形还原/词干提取
- N元语法提取
- 文档-词矩阵构建
模式发现
- 词频分析
- 搭配检测
- 命名实体识别
- 情感分析
- 网络提取
可视化
- 词云
- 主题分布
- 时序趋势
- 网络图
- 交互式展示
使用指南
分析流程
- 准备文本语料库
- 预处理文档
- 选择建模方法
- 调优参数
- 运行分析
- 解释结果
- 验证发现
参数考量
- 主题数量
- 迭代次数
- 超参数
- 一致性指标
- 验证方法
解释指南
- 检查主题词
- 审阅代表性文档
- 结合领域知识
- 通过细读验证
- 承认局限性
集成点
相关流程
- 文本挖掘与远距离阅读
- 语料库语言学分析
- 人文网络分析
协作技能
- TEI文本编码
- 人文地理信息系统制图
- 文学细读
参考文献
- 数字人文学方法论
- 主题建模教程
- 文本分析工具
- 计算语言学资源