数据治理 Skill技能列表
数据质量分析器Skill data-quality-profiler
数据质量分析器是一款专业的数据剖析工具,用于全面评估数据资产的六个核心质量维度(完整性、准确性、一致性、有效性、及时性、唯一性)。它能自动检测数据异常、识别个人身份信息(PII)、进行统计剖析和模式识别,并生成包含可操作建议的详细质量报告。适用于数据治理、ETL/ELT流程监控、数据仓库质量保障和合规性检查。关键词:数据质量,数据剖析,异常检测,PII识别,数据治理,统计分析,质量报告,数据完整性,数据准确性,数据一致性。
数据血缘关系映射器Skill data-lineage-mapper
数据血缘关系映射器是一款用于数据治理的专业工具,能够从SQL、dbt、Airflow、Spark等多种数据源中自动提取、分析和可视化数据血缘关系。它支持列级血缘追踪、上下游影响分析,并能生成兼容DataHub、OpenLineage等主流数据目录的标准化血缘图谱,帮助企业实现数据资产的透明化管理、变更影响评估和数据合规性审计。
模式演进管理器Skill SchemaEvolutionManager
模式演进管理器是一款专注于数据治理的工具,用于管理数据模式的演进和兼容性。它支持Avro、Protobuf、JSON Schema等多种格式,提供破坏性变更检测、迁移脚本生成、版本管理和跨系统同步功能,确保数据系统在升级过程中的稳定性和兼容性。关键词:模式演进、数据兼容性、数据治理、迁移脚本、模式管理、数据工程、ETL、数据管道。
数据分类Skill data-classification
数据分类技能提供了一个全面的框架,用于定义数据的敏感性级别、处理要求、标签和生命周期管理。它帮助组织建立数据分类政策,实施数据保护控制,并确保合规性。关键词:数据分类,数据治理,数据安全,生命周期管理,合规,访问控制,加密。
RingLead数据去重Skill ringlead-dedup
RingLead 数据去重技能是一个专注于企业CRM数据治理的自动化工具。它通过智能算法实现重复记录检测与合并、数据标准化清洗、以及线索与客户账户的精准匹配。核心功能包括模糊匹配、数据质量评分、自动合并规则执行,旨在提升销售数据完整性、优化线索分配流程并增强客户关系管理效率。关键词:CRM数据去重,数据质量平台,线索匹配,数据清洗,RingLead集成,销售自动化,数据治理。
数据治理检查Skill data-governance-check
数据治理检查技能用于审查数据处理的隐私和保留,确保合规性和风险管理。关键词:数据治理、隐私保护、数据保留、合规性、风险控制、审计、数据分类、访问路径。
文档网站生成技能Skill site
此技能专用于生成 Starlake 项目的自动化文档网站,涵盖所有数据领域、表结构、属性定义、转换逻辑及关系图,支持 Docusaurus MDX 和 JSON 多种输出格式,便于数据治理、可视化分析和项目协作,提升数据透明度和可维护性。关键词包括:数据文档、网站生成、数据治理、Starlake、Docusaurus、JSON 输出、自动化文档。
数据新鲜度检查技能Skill freshness
这个技能用于监控数据表的新鲜度,通过查询最后更新时间戳,并将结果存储在审计表中进行监控和报警。适用于数据治理、数据工程和云服务等领域。关键词:数据新鲜度、更新时间戳、数据监控、数据报警、数据治理、Starlake、ETL、数据仓库。
验证技能Skill validate
验证技能用于验证Starlake项目配置的YAML文件语法、模式合规性、连接引用等,确保在运行时前捕获配置错误,提升数据治理和ETL流程的可靠性。关键词:验证、配置管理、YAML语法、Starlake工具、数据治理、ETL开发、错误预防。
LaminDBSkill lamindb
LaminDB 是一个开源的生物数据管理框架,旨在使数据可查询、可追溯、可复制且符合 FAIR 原则。它支持生物数据集管理、计算工作流跟踪、数据注释与验证、生物本体集成等,适用于 scRNA-seq、空间转录组学等生物学研究。关键词:LaminDB, 生物数据管理, FAIR, 数据治理, 工作流跟踪, scRNA-seq, 数据湖。
ACL依赖关系图生成技能Skill acl-dependencies
该技能用于生成基于YAML配置中ACL(访问控制列表)定义的用户/组与数据库表之间访问权限的可视化依赖关系图。关键词:ACL、访问控制、依赖关系、可视化图、数据安全、权限管理、YAML配置、数据治理、DevOps工具。
数据完整性守护者Skill data-integrity-guardian
数据完整性守护者是一种专注于数据库迁移安全、数据约束验证、事务边界审查、引用完整性保护和隐私合规的技能。用于确保数据库操作的可靠性,防止数据丢失和腐败,维护数据治理标准。关键词:数据完整性、数据库迁移、数据治理、ACID属性、GDPR合规、数据安全、事务管理、引用完整性、隐私保护。