这项技能提供全面的指导，用于设计健壮、可扩展的数据库架构，适用于SQL和NoSQL数据库。无论是从头开始构建还是演进现有架构，此框架确保数据完整性、性能和可维护性。

Kafka Streams是一个用于构建实时流处理应用程序的库，它提供了一个高级的抽象，允许开发者轻松地表达处理逻辑，同时确保数据的容错性和可扩展性。

数据库管理技能专注于指导PostgreSQL、DuckDB、Parquet和PGVector的架构决策，用于设计数据库模式、选择存储策略、优化查询性能、调整维护配置、实施向量搜索，并诊断OLTP、OLAP和相似性搜索工作负载中的性能问题。关键词：数据库管理，PostgreSQL，DuckDB，Parquet，PGVector，架构设计，性能优化，数据工程。

数据迁移验证器是一个用于在数据库迁移过程中确保数据完整性的专业技能工具。它通过行数验证、校验和验证、样本数据对比、参照完整性检查和业务规则验证等多种方法，全面验证源数据和目标数据的一致性。该工具支持与Great Expectations、dbt测试、自定义SQL等多种数据质量工具的集成，并生成标准化的验证报告，帮助团队在迁移后快速确认数据准确性，降低数据丢失和损坏的风险。关键词：数据迁移验证、数据完整性检查、数据库迁移、数据质量验证、ETL验证、迁移后验证、数据核对、数据一致性检查。

数据流设计技能用于根据需求描述设计和实施数据管道架构，包括数据源集成、转换处理、目标系统部署，支持批处理、流处理、Lambda、Kappa等多种模式，适用于数据仓库、数据湖、机器学习、商业智能等应用场景。关键词：数据管道、ETL、流处理、数据架构、数据工程、Spark、Flink、Kafka、数据湖仓。

Apache Beam是一个用于批处理和流数据处理的开源编程模型，支持构建可移植的数据管道，适用于数据工程、ETL开发和云原生应用。关键词：数据处理、批处理、流处理、Apache Beam、数据管道、数据工程、ETL开发、云原生。

数据库优化器是一个专业的数据库性能调优工具，专注于查询优化、索引设计、执行计划分析和数据库配置调优。支持PostgreSQL、MySQL、MongoDB、Redis等主流数据库系统，通过系统化方法解决慢查询、高负载、连接超时等性能问题，实现亚秒级响应和最优资源利用率。关键词：数据库优化、查询性能调优、索引策略、执行计划分析、数据库配置、慢查询优化、OLTP性能、数据库监控、容量规划、水平扩展。

数据迁移规划器是一款用于系统间数据迁移的专业工具，提供完整的迁移解决方案。它涵盖数据迁移规划、模式映射、ETL管道设计、数据验证和回滚策略。支持从Salesforce到HubSpot CRM、MySQL到PostgreSQL等多种系统迁移场景。包含数据发现、模式映射、ETL流程、验证测试和切换计划五个阶段，确保数据迁移的安全可靠。适用于企业系统升级、数据仓库迁移、云迁移等场景。关键词：数据迁移，ETL管道，模式映射，数据验证，迁移规划，系统迁移，数据工程，迁移策略，数据治理，迁移操作手册

PDF处理技能是一种使用Python库和工具进行PDF文档操作的技能，包括文本提取、表格提取、PDF创建、合并、分割、表单处理、OCR等。适用于数据提取、文档自动化、数据预处理等场景。关键词：PDF处理、文本提取、表格提取、OCR、Python、数据工程、文档自动化、PDF库。

这个技能是一个市场索引工具，用于搜索、发现和浏览跨多个预测市场平台的市场数据。它支持关键词搜索、平台过滤、分类浏览、新市场发现和趋势分析，适用于量化金融、数据分析和市场研究。关键词：市场索引、预测市场、API、搜索、数据检索、量化交易。

本技能涉及数据库索引策略的设计和实施，包括索引创建、查询性能优化、索引类型选择、复合和部分索引设计、索引维护和监控等，旨在提高数据库查询效率和数据完整性。

数据处理器是一个用于处理和验证各种数据输入的工具，适用于数据清洗、验证和预处理。关键词包括数据处理、数据验证、Python工具、数据输入处理，方便SEO搜索和数据管理应用。