数据科学 Skill技能列表
连接加载技能Skill cnxload
此技能用于将Parquet、CSV或JSON文件直接加载到JDBC数据库表,提供快速数据导入功能,支持多种数据库驱动和并行写入选项,适用于数据集成、ETL开发和数据仓库场景,关键词包括:数据加载、JDBC、Parquet、CSV、JSON、数据库连接、ETL、批量处理。
时间序列数据库技术Skill using-timeseries-databases
时间序列数据库技术用于高效存储和查询时间戳数据,如金融交易数据、物联网传感器、监控指标和日志。该技能涉及数据库选择(包括TimescaleDB、InfluxDB、ClickHouse、QuestDB)、连续聚合、降采样(LTTB算法)和保留策略优化,适用于构建实时仪表板、监控系统、物联网平台和金融应用。关键词:时间序列数据库、数据存储、查询优化、数据库技术、降采样、连续聚合。
Stan贝叶斯建模Skill stan-bayesian-modeling
Stan贝叶斯建模技能专注于使用Stan概率编程语言进行高级贝叶斯统计推断和复杂统计模型构建。核心功能包括MCMC采样(如NUTS和HMC算法)、变分推断、先验与后验预测检验,以及基于LOO-CV和WAIC的模型比较。适用于量化金融中的预测建模、风险管理、因子挖掘,以及数据科学领域的统计计算、不确定性量化和概率预测。关键词:Stan概率编程,贝叶斯推断,MCMC采样,变分推断,模型比较,统计建模,量化金融,数据科学。
CSV数据可视化器Skill csv-data-visualizer
CSV数据可视化器是一款专业的数据分析工具,专门用于处理CSV文件格式的数据集。该工具提供三大核心功能:1) 使用Plotly库创建交互式数据可视化图表,包括直方图、散点图、箱线图、热力图等;2) 自动数据剖析与质量分析,生成详细的统计报告;3) 多图表仪表板生成,支持自定义配置和自动布局。适用于数据分析、商业智能、数据探索、统计报告等场景,帮助用户快速理解数据分布、发现数据规律、识别异常值,并生成演示就绪的可视化成果。
数据复制设置Skill data-replication-setup
本文档提供了数据库复制的详细指南,包括主从复制、多主复制、复制监控和故障转移等,旨在帮助实现高可用性和灾难恢复。
Python科学计算技能Skill pycse
pycse 是一个 Python 库,用于科学和工程计算,提供自动计算置信区间和预测边界的回归分析、模型拟合、ODE 求解和缓存功能。简化数据分析和预测建模流程,提高效率,关键词:Python, 科学计算, 回归分析, 置信区间, 预测建模, 模型拟合, ODE, 缓存。
阶段技能Skill stage
阶段技能用于将数据文件从登陆区移动到待处理区,执行解压缩和确认文件处理,是数据摄取管道的第一步,确保数据准备就绪供后续加载。关键词:数据阶段化、ETL、数据工程、ACK文件处理、数据管道、数据摄取、文件管理。
仪器数据到Allotrope转换器Skill instrument-data-to-allotrope
该技能用于将实验室仪器输出的文件(如PDF、CSV、Excel、TXT)转换为标准化的Allotrope Simple Model (ASM) JSON格式或扁平化的2D CSV,以支持数据标准化,便于集成到LIMS系统、数据湖或下游分析。功能包括自动检测仪器类型、生成完整的ASM JSON、扁平化CSV和可导出的Python解析代码,适用于数据工程团队。关键词:仪器数据转换,Allotrope格式,数据标准化,LIMS系统,数据工程,Python解析,实验室数据管理,ASM JSON,扁平化CSV。
ClickHouse数据工程与分析Skill clickhouse-io
这个技能专注于ClickHouse数据库的使用,包括表设计模式、查询优化、数据插入策略、物化视图、性能监控和常见分析查询。适用于数据工程师和数据分析师,优化大规模数据分析工作负载,提高查询效率和实时处理能力。关键词:ClickHouse,数据工程,数据分析,查询优化,数据仓库,OLAP。
映射可视化框架Skill mapping-visualization-scaffolds
这个技能用于创建视觉映射,通过图表、概念地图和架构蓝图文档化复杂系统的关系、依赖和结构,适用于系统理解、知识组织、流程文档化和战略可视化。关键词:映射可视化、系统架构、数据可视化、信息架构、概念地图、依赖图。
网页抓取技能Skill using-web-scraping
这个技能使用头less Chrome和DuckDuckGo进行网页抓取和搜索,专注于可靠导航、提取结构化文本、遵守robots.txt和速率限制。用于收集公开网页内容以进行摘要、元数据提取或链接发现。关键词:网页抓取、数据收集、Playwright、DuckDuckGo、自动化、数据提取、SEO优化。
作业技能Skill job
starlake作业技能是用于运行数据处理作业的命令行工具,作为transform命令的别名,支持运行指定作业及其递归依赖,适用于数据工程和ETL开发场景。关键词:starlake, 作业, transform, 数据处理, ETL, 命令行, 数据转换, 数据仓库, 自动化任务。