数据科学 Skill技能列表
PDF处理Skill pdf
PDF处理技能涉及使用Python库(如pypdf、pdfplumber、reportlab)和命令行工具(如pdftotext、qpdf)来处理PDF文档。包括提取文本和表格、创建新PDF、合并和拆分文档、处理表单、添加水印、密码保护等操作。适用于数据提取、文档自动化、报告生成等场景。关键词:PDF处理,文本提取,表格提取,Python,自动化,文档管理,SEO。
引导技能Skill bootstrap
引导技能是Starlake数据工程工具的核心功能,用于快速创建新的项目结构和配置文件。它支持使用模板进行项目搭建,包含标准目录、配置示例和数据,适用于数据工程师进行ETL开发、数据加载和转换。关键词:Starlake、项目引导、模板、配置、数据工程、ETL开发。
PDF处理Skill pdf
PDF处理技能用于通过编程方式提取PDF文档中的文本和表格,创建、合并、分割PDF文件,以及填充表单。适用于文档自动化处理、数据提取和分析,常用于数据工程和软件开发场景。在股票量化交易中,此技能可辅助处理财务报告和交易文档,提取关键数据进行分析。关键词:PDF处理,文档提取,Python库,数据工程,自动化处理,量化交易,数据提取。
增量模型策略选择器Skill IncrementalModelStrategySelector
增量模型策略选择器是一款用于数据工程和ETL开发的专业工具。它能够根据数据源特征(如更新模式、数据量、频率)和平台环境,智能选择和配置最优的增量数据处理策略(如追加、合并、删除后插入)。该工具专注于提升数据转换管道的效率和性能,通过优化分区裁剪、唯一键配置、回看窗口和迟到数据处理等关键参数,确保数据仓库和BI报表的数据新鲜度与准确性。关键词:增量模型,数据工程,ETL开发,dbt配置,数据转换,分区优化,数据仓库,策略选择。
渐变维度实现生成器Skill SCDImplementationGenerator
渐变维度实现生成器是一款自动化数据建模工具,专门用于跨平台生成渐变维度(SCD)实现方案。该工具支持SCD类型1/2/3/4/6,可自动生成MERGE语句、dbt快照配置、代理键管理和历史跟踪优化代码。适用于数据仓库、ETL开发、维度建模和商业智能场景,帮助数据工程师高效实现数据历史版本管理和变更跟踪。关键词:渐变维度,SCD,数据建模,数据仓库,ETL开发,历史跟踪,维度建模,代理键,dbt,数据工程
RevenueOperationsSkill revenue-operations
分析销售管道覆盖率,跟踪预测准确性与MAPE,并计算GTM效率指标,以优化SaaS收入
数据库设计专家Skill database-designer
数据库设计专家技能是一套综合工具和知识体系,用于构建和优化现代数据库系统。关键词包括数据库架构、性能优化、数据迁移、索引策略、规范化设计。
SQL查询优化Skill sql-query-optimization
SQL查询优化是一项技术,用于分析和优化数据库查询,提高查询性能,减少执行时间。关键词包括:性能瓶颈、索引策略、查询重写、EXPLAIN分析、批量操作。
AI-ML数据科学工程套件Skill ai-ml-data-science
这个技能提供了一个完整的端到端数据科学和机器学习工程工作流程,将原始数据和业务问题转化为可生产化的验证模型。它涵盖了数据探索、特征设计、模型选择、性能评估、SQL变换和MLOps实践,特别强调现代特征存储、自动化重训练和漂移监控。关键词:数据科学、机器学习、特征工程、模型评估、MLOps、SQLMesh、预测建模、可重复性。
ClickHouse高性能分析模式与优化Skill clickhouse-io
本技能专注于 ClickHouse 数据库的高性能分析模式、查询优化和数据工程最佳实践,适用于大规模数据分析工作负载。关键词包括 ClickHouse、数据分析、查询优化、数据仓库、ETL、物化视图、性能监控、OLAP、列式存储。
提取BigQuery架构Skill extract-bq-schema
此技能用于直接从Google BigQuery数据集中提取表架构,并将其转换为Starlake YAML配置文件。适用于数据工程、ETL开发和数据仓库构建,提升元数据管理效率。关键词:BigQuery、架构提取、Starlake、YAML、数据工程、ETL、数据仓库、元数据。
CocoIndex数据索引框架Skill cocoindex
CocoIndex 是一个用于 AI 数据处理的实时数据转换框架,支持构建 ETL 工作流,包括文档嵌入到向量数据库、知识图谱构建、搜索索引创建等。关键功能包括增量处理、实时更新、多数据源和目标支持,适用于数据工程师和 AI 开发者进行高效数据转换和索引。关键词:数据转换、ETL、AI 数据处理、文档嵌入、向量数据库、知识图谱、实时索引。