名称: Kafka主题设计师 描述: 设计和优化Apache Kafka主题及配置 版本: 1.0.0 类别: 流处理 技能ID: SK-DEA-007 允许使用的工具:
- 读取
- 写入
- 编辑
- 全局搜索
- 文本搜索
- Bash
Kafka主题设计师
概述
设计和优化Apache Kafka主题及配置。此技能提供主题架构、分区策略以及生产者和消费者配置方面的专业知识，以实现最优的流处理性能。
核心能力
- 主题命名规范设计
- 分区策略优化
- 副本因子推荐
- 保留策略配置
- 压缩策略设计
- 模式注册表集成
- 消费者组设计
- 吞吐量容量规划
- 安全配置（ACLs，加密）
输入模式
{
"需求": {
"吞吐量MBps": "数字",
"消息大小": "数字",
"保留天数": "数字",
"顺序要求": "字符串"
},
"现有主题": ["对象"],
"集群配置": "对象"
}
输出模式
{
"主题设计": {
"名称": "字符串",
"分区数": "数字",
"副本因子": "数字",
"配置": "对象"
},
"模式定义": "对象",
"生产者配置": "对象",
"消费者配置": "对象"
}
目标流程
- 流处理管道
- ETL/ELT管道（变更数据捕获）
- 特征存储设置
使用指南
- 定义吞吐量和延迟要求
- 指定消息大小和保留需求
- 记录顺序要求（按分区、全局）
- 包含现有主题配置以确保一致性
最佳实践
- 在所有主题中使用一致的命名规范
- 根据消费者并行度需求确定分区大小
- 为合规和重放场景配置适当的保留策略
- 实现模式注册表以支持模式演进
- 设置适当的ACLs以确保安全