数据工程 Skill技能列表
MongoDB数据库操作技能Skill mongodb
这个技能提供MongoDB数据库的全面指导,涵盖文档操作、查询、聚合、索引和最佳实践,适用于处理MongoDB数据、编写高效查询和优化数据库设计的场景。关键词包括MongoDB、数据库管理、文档存储、NoSQL、查询优化、索引策略。
数据协调器技能Skill data-orchestrator
数据协调器技能负责管理和协调数据管道任务,包括ETL/ELT流程、数据验证、质量保证、管道监控等,确保数据质量标准达标,并进行特征工程和分析协调。
数据分析工程Skill data-analytics-engineering
数据分析工程是一种技能,专注于构建可靠的数据指标和准备商业智能(BI)系统。它涉及定义指标和维度模型、构建数据转换层、实施数据质量测试、以及文档化数据集和数据血统。适用于需要数据建模、指标定义或分析数据处理的场景。关键词:数据分析工程、数据建模、指标定义、数据质量、BI准备、dbt、SQL转换。
数据迁移专家Skill data-migration-expert
此技能用于数据库迁移过程中的数据完整性和安全性验证,确保数据无损坏。通过检查ID映射、交换值、回滚策略等,防止迁移错误。关键词:数据迁移、数据库安全、完整性验证、ID映射检查、回滚安全、迁移审查。
预加载技能Skill preload
该技能用于在数据加载流程中检查landing或pending区域的文件可用性,确保文件就绪后触发加载,适用于数据工程、ETL开发和自动化编排,关键词:文件检查、数据加载、编排、ETL、数据仓库、预加载。
DAG部署技能Skill dag-deploy
DAG部署技能专用于自动化部署生成的DAG文件到目标目录,如Airflow DAGs文件夹,支持清理和文件组织,优化数据管道管理,适用于数据工程、ETL开发和DevOps场景,提升数据工作流效率。
Python数据管道开发Skill python-pipeline
该技能用于构建模块化的Python数据处理管道,支持工作流协调、内容类型调度、Google Sheets/Drive API集成和AI服务应用。适用于内容处理、批量处理系统和数据工程场景,提高数据处理效率和自动化水平。关键词:Python、数据管道、模块化架构、调度器、Google Sheets集成、AI集成、ETL、数据处理、批量处理、工作流自动化。
查询专家Skill query-expert
查询专家技能用于掌握和优化SQL及NoSQL数据库查询,生成高效查询、分析性能、设计索引并解决慢查询问题。关键词:数据库查询、SQL优化、性能分析、索引设计、查询调试、NoSQL、EXPLAIN计划、聚合管道、GraphQL、ETL开发。
NeMoCurator-GPU加速数据整理工具Skill nemo-curator
NeMo Curator 是 NVIDIA 推出的 GPU 加速数据整理工具,专为大规模语言模型(LLM)训练数据准备而设计。它支持文本、图像、视频、音频等多模态数据,提供模糊去重(比 CPU 快 16 倍)、质量过滤(30+ 启发式)、语义去重、PII 脱敏、NSFW 检测等功能,显著提升数据处理效率并降低成本。适用于 AI 研究人员、数据工程师和开发者,用于高效清理和优化训练数据集,关键词包括 GPU 加速、数据整理、LLM 训练、去重、过滤、多模态、RAPIDS、NVIDIA。
日志解析与导入SOPSkill "self/import/file_path"
此技能是定义和执行日志解析的标准操作程序(SOP),用于处理Apache、Nginx、Syslog、JSON和自定义等多种日志格式,通过数据类和LogEntry类表示解析后的日志条目。它帮助用户标准化日志处理流程,提高数据解析效率,便于数据收集和分析。关键词:日志解析、SOP、文件导入、Apache日志、Nginx日志、Syslog、JSON日志、自定义日志、数据工程、数据类、LogEntry。
PDF处理Skill pdf
PDF处理技能涉及使用Python库(如pypdf、pdfplumber、reportlab)和命令行工具(如pdftotext、qpdf)来处理PDF文档。包括提取文本和表格、创建新PDF、合并和拆分文档、处理表单、添加水印、密码保护等操作。适用于数据提取、文档自动化、报告生成等场景。关键词:PDF处理,文本提取,表格提取,Python,自动化,文档管理,SEO。
引导技能Skill bootstrap
引导技能是Starlake数据工程工具的核心功能,用于快速创建新的项目结构和配置文件。它支持使用模板进行项目搭建,包含标准目录、配置示例和数据,适用于数据工程师进行ETL开发、数据加载和转换。关键词:Starlake、项目引导、模板、配置、数据工程、ETL开发。