名称: axolotl 描述: 使用Axolotl进行LLM微调的专家指导 - YAML配置、100+模型、LoRA/QLoRA、DPO/KTO/ORPO/GRPO、多模态支持版本: 1.0.0 作者: Orchestra Research 许可证: MIT 标签: [微调, Axolotl, LLM, LoRA, QLoRA, DPO, KTO, ORPO, GRPO, YAML, HuggingFace, DeepSpeed, 多模态] 依赖: [axolotl, torch, transformers, datasets, peft, accelerate, deepspeed]

Axolotl 技能

来自官方文档生成的Axolotl开发全面协助。

何时使用此技能

此技能应在以下情况下触发：

使用axolotl时
询问axolotl功能或API时
实施axolotl解决方案时
调试axolotl代码时
学习axolotl最佳实践时

快速参考

常见模式

模式 1: 为了验证训练任务是否存在可接受的数据传输速度，运行NCCL测试可以帮助定位瓶颈，例如：

./build/all_reduce_perf -b 8 -e 128M -f 2 -g 3

模式 2: 在Axolotl YAML中配置模型以使用FSDP。例如：

fsdp_version: 2
fsdp_config:
  offload_params: true
  state_dict_type: FULL_STATE_DICT
  auto_wrap_policy: TRANSFORMER_BASED_WRAP
  transformer_layer_cls_to_wrap: LlamaDecoderLayer
  reshard_after_forward: true

模式 3: context_parallel_size 应该是GPU总数的除数。例如：

context_parallel_size

模式 4: 例如：- 使用8个GPU且无序列并行时：每步处理8个不同批次 - 使用8个GPU且context_parallel_size=4时：每步仅处理2个不同批次（每个跨4个GPU拆分） - 如果每个GPU的micro_batch_size为2，全局批次大小从16减少到4

context_parallel_size=4

模式 5: 在配置中设置save_compressed: true 可以以压缩格式保存模型，这：- 减少磁盘空间使用约40% - 保持与vLLM的兼容性以加速推理 - 保持与llmcompressor的兼容性以进一步优化（例如：量化）

save_compressed: true

模式 6: 注意：不必将集成放在integrations文件夹中。它可以位于任何位置，只要安装在Python环境中的包中。参见此仓库示例：https://github.com/axolotl-ai-cloud/diff-transformer

integrations

模式 7: 处理单样本和批处理数据。 - 单样本：sample[‘input_ids’] 是 list[int] - 批处理数据：sample[‘input_ids’] 是 list[list[int]]

utils.trainer.drop_long_seq(sample, sequence_len=2048, min_sequence_len=2)

示例代码模式

示例 1 (python):

cli.cloud.modal_.ModalCloud(config, app=None)

示例 2 (python):

cli.cloud.modal_.run_cmd(cmd, run_folder, volumes=None)

示例 3 (python):

core.trainers.base.AxolotlTrainer(
    *_args,
    bench_data_collator=None,
    eval_data_collator=None,
    dataset_tags=None,
    **kwargs,
)

示例 4 (python):

core.trainers.base.AxolotlTrainer.log(logs, start_time=None)

示例 5 (python):

prompt_strategies.input_output.RawInputOutputPrompter()

参考文件

此技能在 references/ 中包含全面文档：

api.md - API文档
dataset-formats.md - 数据集格式文档
other.md - 其他文档

使用 view 读取特定参考文件以获取详细信息。

使用此技能

对于初学者

从getting_started或tutorials参考文件开始，了解基础概念。

对于特定功能

使用适当类别的参考文件（api、guides等）获取详细信息。

对于代码示例

上面的快速参考部分包含从官方文档提取的常见模式。

资源

references/

从官方源提取的有组织文档。这些文件包含：

详细解释
带语言注释的代码示例
指向原始文档的链接
用于快速导航的目录

scripts/

在此添加常见自动化任务的辅助脚本。

assets/

在此添加模板、样板或示例项目。

备注

此技能从官方文档自动生成
参考文件保留源文档的结构和示例
代码示例包括语言检测以更好地进行语法高亮
快速参考模式从文档中的常见使用示例提取

更新

要使用更新后的文档刷新此技能：

以相同配置重新运行爬虫
技能将使用最新信息重建