数据工程 Skill技能列表
手机规格抓取工具Skill phone-specs-scraper
这个技能用于从多个在线手机数据库网站(如GSM Arena、PhoneDB等)抓取和比较手机规格数据,支持Web抓取、数据提取、比较分析和可视化,适用于手机比较工具开发、设备研究、SEO优化和量化金融中的数据工程应用。
电子书文本提取器Skill ebook-extractor
电子书文本提取器是一个用于从EPUB、MOBI、PDF格式电子书中提取纯文本的工具。它支持常见电子书格式,使用Python脚本实现,无需大型语言模型调用,纯文本提取。适用于数据分析、文本处理、阅读转换等场景。关键词:电子书提取、文本转换、Python工具、EPUB、MOBI、PDF、数据提取。
Navicat数据库管理技能Skill navicat
此技能提供Navicat数据库管理工具的全面指导,帮助用户进行数据库连接、SQL查询执行、数据管理和数据库管理操作,适用于数据库管理员和开发者。关键词:Navicat, 数据库管理, SQL查询, 数据管理, 数据库连接。
数据架构Skill architecting-data
数据架构技能提供设计现代云原生数据平台的战略指导,涵盖存储范式选择、数据建模方法、数据网格实施、开放表格式应用等。关键词:数据架构、数据平台、存储范式、数据建模、数据网格、数据治理、现代数据堆栈、奖章架构、Apache Iceberg、dbt、数据工程。
Firecrawl抓取技能Skill firecrawl-scrape
Firecrawl抓取技能是一个通过Firecrawl MCP工具抓取网页并提取内容的技能,支持从URL或搜索查询获取结构化数据,适用于数据采集和网络内容分析,关键词包括:网页抓取、数据提取、Firecrawl、MCP、爬虫、内容抓取、SEO搜索。
架构探索技能Skill schema-exploration
这个技能用于探索和理解数据库结构,包括列出表、获取列信息、映射表关系等,帮助数据分析师、数据库管理员和开发者优化数据查询和管理。关键词:数据库探索、架构分析、SQL工具、数据工程、数据可视化。
流数据处理Skill streaming-data
这个技能用于构建事件流系统和实时数据管道,涵盖消息代理(如Kafka、Pulsar)、流处理器(如Flink、Spark)、生产者/消费者模式、事件溯源和变更数据捕获(CDC)等。适用于微服务通信、实时分析、数据集成、IoT平台和高频交易系统等场景。关键词:流数据处理、实时数据管道、事件驱动架构、Kafka、Flink、数据工程、微服务、CDC、事件溯源。
Parquet转CSV工具Skill parquet2csv
这个技能用于将Parquet格式的数据文件转换为CSV格式,实现数据格式转换和导出功能。适用于数据工程、ETL处理和数据兼容性场景。关键词:Parquet, CSV, 数据转换, Spark, 数据导出, 格式转换, 数据工程。
SQL查询写作技能Skill query-writing
此技能专注于SQL查询的编写和执行,覆盖从基础单表查询到高级多表JOIN和聚合操作,适用于数据分析、数据工程和数据库管理领域,关键词:SQL查询、数据分析、数据库、数据工程、商业智能。
数据库技能Skill databases
该技能专注于MongoDB和PostgreSQL数据库的管理与操作,涵盖数据建模、查询编写、性能优化、索引管理、数据库迁移、备份恢复策略等关键方面。适用于数据库管理员、后端开发者和数据工程师,提升数据库处理效率和系统稳定性。关键词:MongoDB, PostgreSQL, 数据库管理, 查询优化, 数据建模, 性能调优
市场索引APISkill market-index
这个技能是一个市场索引工具,用于搜索、发现和浏览跨多个预测市场平台的市场数据。它支持关键词搜索、平台过滤、分类浏览、新市场发现和趋势分析,适用于量化金融、数据分析和市场研究。关键词:市场索引、预测市场、API、搜索、数据检索、量化交易。
生物信息学分析师Skill bio-informatics-analyst
该技能用于协调和管理生物信息学数据处理流程,包括数据转换、分析管道设置、质量控制以及报告生成,确保工作流程的可重复性和高效性,特别适用于单细胞分析等生物医学研究领域。关键词:生物信息学、数据分析、数据处理、工作流程自动化、可重复性、Nextflow、Python、单细胞分析、质量控制、生物医药。