RWKV是一种结合Transformer和RNN的混合神经网络架构，具有线性推理复杂度、无限上下文处理能力和高效内存使用。适用于长序列处理、流式应用和大模型训练与推理，特别适合AI领域的模型开发和优化。关键词：RWKV, Transformer, RNN, 线性复杂度, 无限上下文, 高效推理, 机器学习, AI模型, 大模型微调

这个技能提供关于Axolotl框架的全面指导，用于大语言模型（LLM）的微调。它支持YAML配置、100+模型、LoRA/QLoRA、DPO/KTO/ORPO/GRPO等技术，以及多模态支持。适用于开发者进行模型微调、代码调试和最佳实践学习。关键词：Axolotl, LLM微调, YAML配置, LoRA, QLoRA, DPO, KTO, ORPO, GRPO, 多模态支持。

该技能专注于使用OpenRLHF框架进行高性能强化学习人类反馈（RLHF）训练，支持PPO、GRPO、RLOO、DPO等多种算法，用于微调7B至70B+的大型语言模型。通过Ray分布式架构和vLLM推理加速，优化GPU资源使用，提高训练效率。关键词：RLHF、PPO、大模型微调、分布式训练、vLLM加速。

该技能专注于使用Hugging Face transformer模型进行意图分类任务的微调与推理。核心功能包括模型选择（如BERT、RoBERTa、DeBERTa）、配置训练流程、实现高效推理、设计标签体系以及模型评估与部署。适用于构建意图识别系统、实体抽取等自然语言处理应用。关键词：HuggingFace，Transformer模型微调，意图分类，NLP，模型训练，推理优化，标签映射，模型评估。

Unsloth 技能提供专家指导，用于使用Unsloth工具进行快速模型微调，实现2-5倍的训练加速和50-80%的内存节省，支持LoRA和QLoRA优化技术。适用于Llama、Mistral、Gemma、Qwen等大型语言模型的微调。关键词：Unsloth, 快速微调, AI模型微调, 训练优化, 内存效率, LoRA, QLoRA, 大模型。

这是一个用于将代码库从Sonnet 4.0、Sonnet 4.5或Opus 4.1迁移到Opus 4.5的指南，包括模型字符串更新、代码调整和行为差异处理。

GPTQ是一种后训练量化技术，用于大型语言模型，通过4位量化实现4倍内存减少和3-4倍推理加速，精度损失低于2%。它易于与Hugging Face Transformers和PEFT集成，支持QLoRA微调，适用于在有限GPU资源上部署大模型。关键词：量化，大型语言模型，内存优化，推理加速，4位量化，GPTQ，大模型部署，AI优化。