名称: huggingface-分类器 描述: 用于意图分类的Hugging Face transformer模型微调与推理 允许使用的工具:
- 读取
- 写入
- 编辑
- Bash
- Glob
- Grep
HuggingFace 分类器技能
能力
- 为分类任务微调transformer模型
- 使用Trainer API配置训练流程
- 实现带优化的推理
- 设计标签方案与映射
- 设置模型评估与指标
- 通过HF Inference API部署模型
目标流程
- 意图分类系统
- 实体抽取与槽位填充
实现细节
模型类型
- 基于BERT的: bert-base-uncased, distilbert
- 基于RoBERTa的: roberta-base, xlm-roberta
- DeBERTa: deberta-v3-base
- 领域专用: FinBERT, BioBERT
训练配置
- 数据集准备
- 分词设置
- 训练参数
- 评估指标
- 早停机制
配置选项
- 模型选择
- 标签数量
- 训练超参数
- 批次大小
- 学习率调度
最佳实践
- 使用合适的基座模型
- 合理的训练/验证/测试集划分
- 监控过拟合
- 在代表性数据上评估
依赖项
- transformers
- datasets
- accelerate