NeMo Curator 是 NVIDIA 推出的 GPU 加速数据整理工具，专为大规模语言模型（LLM）训练数据准备而设计。它支持文本、图像、视频、音频等多模态数据，提供模糊去重（比 CPU 快 16 倍）、质量过滤（30+ 启发式）、语义去重、PII 脱敏、NSFW 检测等功能，显著提升数据处理效率并降低成本。适用于 AI 研究人员、数据工程师和开发者，用于高效清理和优化训练数据集，关键词包括 GPU 加速、数据整理、LLM 训练、去重、过滤、多模态、RAPIDS、NVIDIA。

PDF处理技能用于通过编程方式提取PDF文档中的文本和表格，创建、合并、分割PDF文件，以及填充表单。适用于文档自动化处理、数据提取和分析，常用于数据工程和软件开发场景。在股票量化交易中，此技能可辅助处理财务报告和交易文档，提取关键数据进行分析。关键词：PDF处理，文档提取，Python库，数据工程，自动化处理，量化交易，数据提取。

数据库设计专家技能是一套综合工具和知识体系，用于构建和优化现代数据库系统。关键词包括数据库架构、性能优化、数据迁移、索引策略、规范化设计。

PDF处理技能涉及使用Python库（如pypdf、pdfplumber、reportlab）和命令行工具（如pdftotext、qpdf）来处理PDF文档。包括提取文本和表格、创建新PDF、合并和拆分文档、处理表单、添加水印、密码保护等操作。适用于数据提取、文档自动化、报告生成等场景。关键词：PDF处理，文本提取，表格提取，Python，自动化，文档管理，SEO。

本技能专注于 ClickHouse 数据库的高性能分析模式、查询优化和数据工程最佳实践，适用于大规模数据分析工作负载。关键词包括 ClickHouse、数据分析、查询优化、数据仓库、ETL、物化视图、性能监控、OLAP、列式存储。

这是一个专注于数据库架构与运维的技能，用于数据库设计、模式构建、Supabase配置、RLS策略实施、数据迁移、查询优化、数据建模和运维监控。适合数据工程师、数据库管理员和开发人员使用。关键词：数据库架构、运维工程师、Supabase、数据工程、查询优化、RLS策略、数据建模、迁移。

这项技能涵盖审查PostgreSQL特定问题的迁移和编写高效查询，包括索引审查、部分索引、JSONB索引、并发索引创建、查询性能分析、UUID性能、约束审查、批量操作、表锁定意识、连接管理、数据类型选择等。

数据库备份与恢复策略实施指南，包括备份类型、保留策略、恢复测试和RTO/RPO规划。

数据分析工程是一种技能，专注于构建可靠的数据指标和准备商业智能（BI）系统。它涉及定义指标和维度模型、构建数据转换层、实施数据质量测试、以及文档化数据集和数据血统。适用于需要数据建模、指标定义或分析数据处理的场景。关键词：数据分析工程、数据建模、指标定义、数据质量、BI准备、dbt、SQL转换。

CDC 模式实施器是一个专注于变更数据捕获（CDC）的专业技能，用于实现实时数据集成。它提供在多种数据库和流式平台（如PostgreSQL、MySQL、Kafka）上配置和实施CDC解决方案的专家能力，包括连接器配置、模式选择、快照策略、模式变更处理和监控设置。关键词：变更数据捕获，CDC，实时数据集成，Debezium，Kafka，数据同步，ETL，流式处理，数据管道。

本技能涵盖了从一开始就构建高性能数据库交互的模式，以及修复性能问题，包括查询优化、索引策略、分页、批量处理、聚合优化、连接池调整、读取副本、非规范化、表分区和缓存策略等。

此技能用于直接从Google BigQuery数据集中提取表架构，并将其转换为Starlake YAML配置文件。适用于数据工程、ETL开发和数据仓库构建，提升元数据管理效率。关键词：BigQuery、架构提取、Starlake、YAML、数据工程、ETL、数据仓库、元数据。