← 返回项目列表
基于多智能体的智能数仓研发提效平台
付费Multi-AgentLLMRAG
项目描述
一句话
面向数仓研发全生命周期，构建 基于多智能体（Multi-Agent）+ RAG 知识库 + 平台工具链 的智能数仓研发提效平台。用编排器（Orchestrator）串联产品 / 架构 / 开发 / QA / 运维 / 治理等专职 Agent，按数仓阶段自动推进「需求分析 → 表设计 → SQL 开发 → Code Review → 上线发布 → 资源治理」，并以两阶段检索、Code Review 门禁、影子任务 + 4-Gate 验证保证产物有据可查、可回归、可回滚。
业务背景
传统数仓研发存在三大痛点：
- 人工重、链路长：一个需求要跨需求分析、建模、开发、Review、发布、治理多环节，重复劳动多
- 规范难统一：命名、分区、口径、权限规范散落在文档里，靠人记忆，容易漏
- 口径不一致：指标定义与源表口径缺乏统一沉淀，同名指标不同算法，难对账
平台目标：把数仓研发的专业分工 + 硬性规范 + 平台操作沉淀成可编排的多智能体流程，让 AI 承担重复劳动、规范校验和辅助诊断，人工只在关键节点确认，从而提效并稳住质量。
技术栈
| 层级 | 技术 | 讲述口径 |
|---|---|---|
| 智能体编排 | Orchestrator + 专职 Agent | 阶段推进、任务派发、门禁回退 |
| 大模型 | LLM / Agent | 需求理解、SQL 生成、Review 判断 |
| 知识库 | RAG 两阶段检索（远端知识 + 元数据） | 找对表、找对口径、查规范 |
| 平台工具 | bytedcli（CLI/MCP）、TQS | 元数据 / 查询 / DDL / 发布 / 调度 |
| 数据引擎 | Hive / Spark / ClickHouse | 建模、ETL、指标计算 |
| 协作 | Meego | 需求关联与进度回写闭环 |
系统架构
text
| 1 | ┌────────────────── Orchestrator 编排器 ──────────────────┐ |
| 2 | 需求 ─► 产品 Agent ─► 架构 Agent ─► 开发 Agent ─► QA Agent ─► 运维 Agent ─► 治理 Agent |
| 3 | (需求/口径) (表结构/分区) (SQL/ETL) (Review/测试) (DDL/发布/调度) (资源/稳定性) |
| 4 | │ │ │ │ │ |
| 5 | ▼ ▼ ▼ ▼ ▼ |
| 6 | ┌──────────────────────────────────────────────────────────────────┐ |
| 7 | │ RAG 知识库（两阶段检索） · bytedcli / TQS 平台工具 · Meego 闭环 │ |
| 8 | └──────────────────────────────────────────────────────────────────┘ |
智能体角色划分
| Agent | 职责 | 关键产物 |
|---|---|---|
| 产品经理 | 需求分析、口径梳理、指标定义 | 需求文档、Meego 单 |
| 架构师 | 表结构设计、分区策略、命名规范 | DDL 设计 |
| 开发 | SQL / PySpark 编写、schema 对齐 | 建表 + ETL + 指标 SQL |
| QA | SQL Code Review、数据质量测试 | Review 结论、测试报告 |
| 运维 | DDL 执行、发布上线、调度配置、排障 | 上线动作 |
| 治理 | 资源 / 存储 / 稳定性治理、影子验证 | 优化 + promote |
| 知识库 | 元数据 / 规范 / 业务知识检索与回写 | 检索结果、知识沉淀 |
核心能力
- 两阶段检索知识库：粗召回缩范围 + 精排/精查元数据，找对表与口径
- Code Review 门禁：命名、分区、口径、倾斜、时间单位等规则化审查 + 数据校验
- 影子任务 + 4-Gate：优化在
_shadow上验证，过脚本/数据/资源/稳定四关才 promote - 最小权限平台操作：读写分离，DDL/发布加人工确认，危险动作需授权
- Meego 闭环：需求关联 + 阶段回写，过程可追踪可审计
项目亮点（简历可写）
- Orchestrator 编排多专职 Agent，按数仓生命周期分 Phase 自动推进 + 门禁回退
- 两阶段检索知识库，解决「找对表、找对字段口径」的高准确检索
- QA Agent 做 SQL Code Review + 数据质量测试，AI 产物上线前可回归
- 影子任务 + 4-Gate 验证，让资源/存储治理可验证、可回滚
- 平台操作统一走 bytedcli，最小权限 + 人工卡点防误操作
- 能力以可插拔 skill 组织，vendor 集成 + sync/verify 规范化扩展
效果与指标
- 提效：需求交付周期缩短、重复劳动下降、人均产出提升
- 质量：Review 一次通过率、线上问题数
- 治理：资源 / 存储节省、稳定性改善
- 定位：AI 提效与辅助，关键卡点保留人工确认，产物可追溯可回滚
评论 (0)
登录后参与评论。
还没有评论，来做第一个。