feast-feature-store
概述
使用 Feast 进行在线/离线特征服务、特征注册,并确保 ML 系统中训练-服务一致性的特征存储管理技能。
能力
- 特征定义和注册
- 在线特征服务设置
- 离线特征检索用于训练
- 点时间正确性验证
- 特征新鲜度监控
- 实体管理
- 特征视图创建和管理
- 物化调度
目标流程
- 特征存储实现和管理
- 特征工程设计与实施
- 模型训练管道
工具和库
- Feast
- Redis(在线存储)
- PostgreSQL/BigQuery/Snowflake(离线存储)
- Parquet 文件
输入模式
{
"type": "object",
"required": ["action"],
"properties": {
"action": {
"type": "string",
"enum": ["apply", "materialize", "get-online", "get-historical", "list", "teardown"],
"description": "要执行的 Feast 动作"
},
"featureRepo": {
"type": "string",
"description": "特征仓库的路径"
},
"features": {
"type": "array",
"items": { "type": "string" },
"description": "特征引用(feature_view:feature_name)"
},
"entityDf": {
"type": "string",
"description": "用于历史检索的实体 DataFrame 的路径"
},
"materializationWindow": {
"type": "object",
"properties": {
"startDate": { "type": "string" },
"endDate": { "type": "string" }
}
}
}
}
输出模式
{
"type": "object",
"required": ["status", "action"],
"properties": {
"status": {
"type": "string",
"enum": ["success", "error"]
},
"action": {
"type": "string"
},
"features": {
"type": "array",
"items": {
"type": "object",
"properties": {
"name": { "type": "string" },
"dtype": { "type": "string" },
"featureView": { "type": "string" },
"freshness": { "type": "string" }
}
}
},
"materializationStatus": {
"type": "object",
"properties": {
"lastMaterialized": { "type": "string" },
"rowsProcessed": { "type": "integer" }
}
},
"retrievedData": {
"type": "string",
"description": "检索到的特征数据的路径"
}
}
}
使用示例
{
kind: 'skill',
title: '检索训练特征',
skill: {
name: 'feast-feature-store',
context: {
action: 'get-historical',
featureRepo: 'feature_repo/',
features: ['user_features:age', 'user_features:tenure', 'transaction_features:avg_amount'],
entityDf: 'data/training_entities.parquet'
}
}
}