这个技能用于管理和监控Kafka流处理平台，包括主题创建、消费者组状态检查、延迟分析、broker健康评估等。适用于数据工程师、DevOps工程师和系统管理员，帮助优化数据流管道和确保系统稳定性。关键词：Kafka, 流管理, 主题管理, 消费者组, 延迟监控, broker健康, 数据工程, 消息队列。

Excel转YML转换器是一款将Excel表格中的域和表架构转换为Starlake YAML配置文件的工具。适用于数据工程团队，简化数据模型管理流程，支持批量文件转换、自定义输出目录、IAM策略标签集成等功能，提高数据治理效率。关键词：Excel转YML、Starlake、数据工程、配置管理、ETL开发、数据治理。

Dask是一个用于并行和分布式计算的Python库，能够处理超出内存的数据集，提供类似Pandas和NumPy的API，适用于大数据处理、数据工程和科学计算。关键词：并行计算、分布式计算、大数据处理、Python数据工程。

数据转换技能涉及使用ETL/ELT模式、SQL（如dbt）、Python库（如pandas、polars、PySpark）和编排工具（如Airflow）将原始数据处理成可用于分析的数据集，适用于数据管道构建、增量加载、性能优化和数据质量保障。关键词：数据转换、ETL开发、数据工程、数据管道、dbt、Airflow、SQL、Python、数据仓库。

这个技能是一个市场索引工具，用于搜索、发现和浏览跨多个预测市场平台的市场数据。它支持关键词搜索、平台过滤、分类浏览、新市场发现和趋势分析，适用于量化金融、数据分析和市场研究。关键词：市场索引、预测市场、API、搜索、数据检索、量化交易。

这个技能用于从数据文件（如CSV、JSON、XML、Parquet）中自动推断出Starlake表的模式，并生成对应的YAML配置文件。适用于数据工程中的模式发现、元数据管理和ETL开发流程，帮助数据团队快速建立数据结构。关键词：数据模式推断，ETL开发，YAML配置，文件分析，元数据生成。

数据架构技能专注于现代数据平台设计，包括数据湖、数据湖屋、数据仓库和数据网格等模式的选用与实施，涉及数据存储策略、架构权衡和治理。关键词：数据架构、数据湖、数据湖屋、数据网格、数据平台设计、数据存储策略、ACID事务、数据治理。

该技能用于将实验室仪器输出文件转换为标准化的Allotrope Simple Model (ASM) JSON格式或扁平化2D CSV，便于在LIMS系统、数据湖中使用或进行下游分析。它支持自动检测仪器类型，并提供ASM JSON、CSV和Python代码输出，帮助数据工程师集成到生产管道中。关键词：仪器数据转换、Allotrope标准化、LIMS系统、数据工程、生物信息学、数据湖、Python解析器。

Dask是一个Python库，用于并行和分布式计算，支持处理超过内存限制的大数据工作流。适用于数据科学、机器学习、数据工程任务，如ETL、数据分析和大规模数值计算。关键词：分布式计算，大数据处理，Python，pandas，NumPy，并行处理，数据科学，机器学习，数据工程，ETL开发。

PDF处理技能是一种使用Python库和工具进行PDF文档操作的技能，包括文本提取、表格提取、PDF创建、合并、分割、表单处理、OCR等。适用于数据提取、文档自动化、数据预处理等场景。关键词：PDF处理、文本提取、表格提取、OCR、Python、数据工程、文档自动化、PDF库。

数据库锁定策略是用于管理共享数据并发访问的机制，确保数据完整性，防止多个事务同时以可能造成不一致的方式修改相同数据。关键概念包括并发控制、锁定类型（共享锁定、独占锁定）、锁定粒度（行级、页面级、表级锁定）以及多版本并发控制（MVCC）。此技能涉及数据库事务、锁定机制、隔离级别和死锁处理等。

这个技能提供了Starlake数据管道配置的完整参考指南，涵盖环境变量配置、JSON模式验证、生产最佳实践等，适用于数据工程师、ETL开发人员和数据架构师，帮助构建高效的数据处理流程。关键词：Starlake，数据工程，ETL，配置，YAML，JSON模式，数据管道，最佳实践。