获取可用资源Skill get-available-resources

该技能用于自动检测系统可用资源(CPU、GPU、内存、磁盘),并生成优化建议,以支持科学计算、数据分析和AI模型训练,提高计算效率和资源利用率。关键词:系统资源检测、并行处理、GPU加速、内存优化、科学计算、数据分析、AI训练。

DevOps 0 次安装 0 次浏览 更新于 3/16/2026

name: 获取可用资源 description: 该技能应在任何计算密集型科学任务开始时使用,以检测和报告可用系统资源(CPU核心、GPU、内存、磁盘空间)。它创建一个包含资源信息和战略推荐的JSON文件,这些推荐指导计算方法的决策,例如是否使用并行处理(joblib、multiprocessing)、核外计算(Dask、Zarr)、GPU加速(PyTorch、JAX)或内存高效策略。在运行分析、训练模型、处理大型数据集或任何资源约束重要的任务之前使用此技能。

获取可用资源

概述

检测可用计算资源并生成科学计算任务的战略推荐。该技能自动识别CPU能力、GPU可用性(NVIDIA CUDA、AMD ROCm、Apple Silicon Metal)、内存限制和磁盘空间,以帮助做出有关计算方法的明智决策。

何时使用此技能

在任何计算密集型任务之前主动使用此技能:

  • 在数据分析之前:确定数据集是否可以加载到内存中或需要核外处理
  • 在模型训练之前:检查GPU加速是否可用以及使用哪个后端
  • 在并行处理之前:识别joblib、multiprocessing或Dask的最佳工作器数量
  • 在大型文件操作之前:验证足够的磁盘空间和适当的存储策略
  • 在项目初始化时:了解基线能力以做出架构决策

示例场景:

  • “帮我分析这个50GB的基因组数据集”→首先使用此技能确定是否需要Dask/Zarr
  • “在这个数据上训练神经网络”→使用此技能检测可用GPU和后端
  • “并行处理10,000个文件”→使用此技能确定最佳工作器数量
  • “运行计算密集型模拟”→使用此技能理解资源约束

此技能如何工作

资源检测

该技能运行scripts/detect_resources.py以自动检测:

  1. CPU信息

    • 物理和逻辑核心数量
    • 处理器架构和型号
    • CPU频率信息
  2. GPU信息

    • NVIDIA GPU:通过nvidia-smi检测,报告VRAM、驱动程序版本、计算能力
    • AMD GPU:通过rocm-smi检测
    • Apple Silicon:检测支持Metal和统一内存的M1/M2/M3/M4芯片
  3. 内存信息

    • 总RAM和可用RAM
    • 当前内存使用百分比
    • 交换空间可用性
  4. 磁盘空间信息

    • 工作目录的总磁盘空间和可用磁盘空间
    • 当前使用百分比
  5. 操作系统信息

    • OS类型(macOS、Linux、Windows)
    • OS版本和发行版
    • Python版本

输出格式

该技能在当前工作目录中生成一个.claude_resources.json文件,包含:

{
  "timestamp": "2025-10-23T10:30:00",
  "os": {
    "system": "Darwin",
    "release": "25.0.0",
    "machine": "arm64"
  },
  "cpu": {
    "physical_cores": 8,
    "logical_cores": 8,
    "architecture": "arm64"
  },
  "memory": {
    "total_gb": 16.0,
    "available_gb": 8.5,
    "percent_used": 46.9
  },
  "disk": {
    "total_gb": 500.0,
    "available_gb": 200.0,
    "percent_used": 60.0
  },
  "gpu": {
    "nvidia_gpus": [],
    "amd_gpus": [],
    "apple_silicon": {
      "name": "Apple M2",
      "type": "Apple Silicon",
      "backend": "Metal",
      "unified_memory": true
    },
    "total_gpus": 1,
    "available_backends": ["Metal"]
  },
  "recommendations": {
    "parallel_processing": {
      "strategy": "high_parallelism",
      "suggested_workers": 6,
      "libraries": ["joblib", "multiprocessing", "dask"]
    },
    "memory_strategy": {
      "strategy": "moderate_memory",
      "libraries": ["dask", "zarr"],
      "note": "Consider chunking for datasets > 2GB"
    },
    "gpu_acceleration": {
      "available": true,
      "backends": ["Metal"],
      "suggested_libraries": ["pytorch-mps", "tensorflow-metal", "jax-metal"]
    },
    "large_data_handling": {
      "strategy": "disk_abundant",
      "note": "Sufficient space for large intermediate files"
    }
  }
}

战略推荐

该技能生成上下文感知的推荐:

并行处理推荐:

  • 高并行性(8+核心):使用Dask、joblib或multiprocessing,工作器数量 = 核心数 - 2
  • 中等并行性(4-7核心):使用joblib或multiprocessing,工作器数量 = 核心数 - 1
  • 顺序处理(< 4核心):优先顺序处理以避免开销

内存策略推荐:

  • 内存受限(< 4GB可用):使用Zarr、Dask或H5py进行核外处理
  • 中等内存(4-16GB可用):对于 > 2GB 的数据集使用Dask/Zarr
  • 内存充足(> 16GB可用):可以直接加载大多数数据集到内存中

GPU加速推荐:

  • 检测到NVIDIA GPU:使用PyTorch、TensorFlow、JAX、CuPy或RAPIDS
  • 检测到AMD GPU:使用PyTorch-ROCm或TensorFlow-ROCm
  • 检测到Apple Silicon:使用带有MPS后端的PyTorch、TensorFlow-Metal或JAX-Metal
  • 未检测到GPU:使用CPU优化库

大数据处理推荐:

  • 磁盘受限(< 10GB):使用流式或压缩策略
  • 中等磁盘(10-100GB):使用Zarr、H5py或Parquet格式
  • 磁盘充足(> 100GB):可以自由创建大型中间文件

使用说明

步骤1:运行资源检测

在任何计算密集型任务开始时执行检测脚本:

python scripts/detect_resources.py

可选参数:

  • -o, --output <路径>:指定自定义输出路径(默认:.claude_resources.json
  • -v, --verbose:将完整的资源信息打印到标准输出

步骤2:读取和应用推荐

运行检测后,读取生成的.claude_resources.json文件以指导计算决策:

# 示例:在代码中使用推荐
import json

with open('.claude_resources.json', 'r') as f:
    resources = json.load(f)

# 检查并行处理策略
if resources['recommendations']['parallel_processing']['strategy'] == 'high_parallelism':
    n_jobs = resources['recommendations']['parallel_processing']['suggested_workers']
    # 使用joblib、Dask或multiprocessing,n_jobs个工作器

# 检查内存策略
if resources['recommendations']['memory_strategy']['strategy'] == 'memory_constrained':
    # 使用Dask、Zarr或H5py进行核外处理
    import dask.array as da
    # 分块加载数据

# 检查GPU可用性
if resources['recommendations']['gpu_acceleration']['available']:
    backends = resources['recommendations']['gpu_acceleration']['backends']
    # 基于可用后端使用适当的GPU库

步骤3:做出明智决策

使用资源信息和推荐做出战略选择:

对于数据加载:

memory_available_gb = resources['memory']['available_gb']
dataset_size_gb = 10

if dataset_size_gb > memory_available_gb * 0.5:
    # 数据集相对于内存较大,使用Dask
    import dask.dataframe as dd
    df = dd.read_csv('large_file.csv')
else:
    # 数据集适合内存,使用pandas
    import pandas as pd
    df = pd.read_csv('large_file.csv')

对于并行处理:

from joblib import Parallel, delayed

n_jobs = resources['recommendations']['parallel_processing'].get('suggested_workers', 1)

results = Parallel(n_jobs=n_jobs)(
    delayed(process_function)(item) for item in data
)

对于GPU加速:

import torch

if 'CUDA' in resources['gpu']['available_backends']:
    device = torch.device('cuda')
elif 'Metal' in resources['gpu']['available_backends']:
    device = torch.device('mps')
else:
    device = torch.device('cpu')

model = model.to(device)

依赖项

检测脚本需要以下Python包:

pip install psutil

所有其他功能使用Python标准库模块(json、os、platform、subprocess、sys、pathlib)。

平台支持

  • macOS:完全支持,包括Apple Silicon(M1/M2/M3/M4)GPU检测
  • Linux:完全支持,包括NVIDIA(nvidia-smi)和AMD(rocm-smi)GPU检测
  • Windows:完全支持,包括NVIDIA GPU检测

最佳实践

  1. 尽早运行:在项目开始或主要计算任务之前执行资源检测
  2. 定期重新运行:系统资源随时间变化(内存使用、磁盘空间)
  3. 在扩展之前检查:在增加并行工作器或数据大小之前验证资源
  4. 记录决策:在项目目录中保留.claude_resources.json文件以记录资源感知决策
  5. 与版本控制一起使用:不同机器具有不同能力;资源文件有助于保持可移植性

故障排除

GPU未检测到:

  • 确保GPU驱动程序已安装(对于Apple Silicon为nvidia-smi、rocm-smi或system_profiler)
  • 检查GPU实用程序是否在系统PATH中
  • 验证GPU未被其他进程使用

脚本执行失败:

  • 确保psutil已安装:pip install psutil
  • 检查Python版本兼容性(Python 3.6+)
  • 验证脚本具有执行权限:chmod +x scripts/detect_resources.py

内存读数不准确:

  • 内存读数是快照;实际可用内存不断变化
  • 在检测之前关闭其他应用程序以获得准确的“可用”内存
  • 考虑运行检测多次并平均结果