ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

DB-GPT 全能力解析:基于 AWEL 与多智能体的 AI 原生数据应用开发框架

DB-GPT 全能力解析:基于 AWEL 与多智能体的 AI 原生数据应用开发框架 DB-GPT 全能力解析基于 AWEL 与多智能体的 AI 原生数据应用开发框架【免费下载链接】DB-GPTopen-source agentic AI data assistant for the next generation of AI Data products.项目地址: https://gitcode.com/GitHub_Trending/db/DB-GPT导读DB-GPT 是一个开源的AI 原生AI-Native数据应用开发框架面向AI Data时代通过多模型管理SMMF、Text2SQL 效果优化、RAG 检索增强框架、多智能体协作与 AWELAgentic Workflow Expression Language工作流编排等能力让大模型应用与数据结合得更简单。本文以 README.hi.md 为主线结合仓库源码系统讲解 DB-GPT 的定位、架构、五大核心能力、模型支持体系与快速上手路径帮助开发者理解智能体式数据分析助手背后的工程实现并掌握从安装、配置到构建数据应用的完整思路。DB-GPT 是什么根据 README.hi.md 的定义DB-GPT 是基于 AWELAgentic Workflow Expression Language智能体工作流表达式语言与 Agent 的开源 AI 原生数据应用开发框架。其目标是在大模型领域构建基础设施通过发展多项技术能力让大模型应用与数据的结合更简单、更便捷SMMFService-Oriented Multi-Model Management Framework面向服务的多模型管理框架Text2SQL 效果优化自然语言转 SQL 的准确率提升RAG 框架与优化检索增强生成多智能体框架协作Multi-Agent 协同决策与执行AWEL 工作流编排Agentic Workflow Expression Language在 Data 3.0 时代基于模型与数据库企业和开发者可以用更少的代码构建自己专属的数据应用。README 强调 DB-GPT 帮助用户和团队实现的能力包括连接数据库、CSV/Excel 文件、数仓与知识库用自然语言提问并让 AI 自主编写 SQL运行 Python 与代码驱动的分析工作流加载并执行可复用的领域技能Skills生成图表、仪表盘、HTML 报告与分析摘要以及在沙箱化环境中安全执行任务。架构与核心能力总览README.hi.md 给出了 DB-GPT 的整体架构图仓库中对应 assets/dbgpt.png并列出六大核心能力RAG检索增强生成RAG 是当前最具实践落地价值的领域之一。DB-GPT 已实现基于 RAG 的框架用户可以利用其能力构建知识库应用。对应源码位于 packages/dbgpt-core/src/dbgpt/rag/含 embedding、retriever、summary、extractor 等子模块以及 packages/dbgpt-ext/src/dbgpt_ext/rag/含向量库、知识库、图构建等扩展实现。GBI生成式商业智能为生成企业报告分析与商业洞察提供基础的数据智能技术是 DB-GPT 的核心能力之一围绕报表分析、数据洞察与自然语言交互展开。微调框架Fine-tuning面向企业垂直领域落地不可或缺的能力。DB-GPT 提供与项目无缝集成的完整微调框架README 记载其基于 Spider 数据集在 Text2SQL 微调上曾达到 82.5% 的准确率此为文档记录的实验数据适用前提与复现细节以官方发布为准。数据驱动的多智能体框架提供数据驱动的自进化多智能体框架目标是基于持续的数据输入进行决策与执行。数据工厂Data Factory负责大模型时代下可靠知识与数据的清洗和处理。数据源Data Sources集成多种数据源使生产业务数据能无缝接入 DB-GPT 的核心能力。仓库中 packages/dbgpt-ext/src/dbgpt_ext/datasource/rdbms/ 包含数十种关系型数据库连接实现。子项目与子模块README 同时列出了 DB-GPT 生态中的两个独立子项目均为独立仓库不在当前仓库目录内DB-GPT-Hub通过有监督微调SFT实现高性能 Text2SQL 工作流的独立项目本仓库中的 Text2SQL 微调支持即围绕其展开。dbgpts官方仓库收录基于 DB-GPT 构建的数据应用、AWEL 算子、AWEL 工作流模板与 Agent。模块化重构六大基础包从当前仓库的 packages/ 目录可以看到 DB-GPT 经过模块化重构后的六大部分它们共同支撑起上述核心能力包目录职责packages/dbgpt-app应用层FastAPI 服务、Web 界面静态资源、场景编排chat_data、chat_db、chat_knowledge、chat_dashboard、chat_normal 等packages/dbgpt-core核心层Agent、AWEL 工作流、模型管理、RAG、存储、CLI 等基础设施packages/dbgpt-serve服务层为 Agent、数据源、对话、文件、流Flow、RAG、定时任务等提供可插拔的独立服务packages/dbgpt-clientPython 客户端 SDK数据源、知识库、Flow、评估等 API 封装packages/dbgpt-accelerator加速包如 flash-attn 等训练/推理加速组件packages/dbgpt-ext扩展包更多数据源、向量存储、知识库、LLM 接入等插件式扩展packages/dbgpt-sandbox沙箱为 Agent 提供隔离、安全的代码执行环境为什么选择 DB-GPT五大关键能力README.hi.md 用五个方面阐述 DB-GPT 的差异化能力这些能力在仓库中均有对应的源码与示例支撑。1. 智能体式数据分析Agentic Data Analysis规划任务、将工作拆分为步骤、调用工具端到端完成分析工作流。这对应 Agent 核心实现 packages/dbgpt-core/src/dbgpt/agent/core/含 agent.py、base_agent.py、base_team.py、plan、memory、profile、action 等子模块以及 examples/agents/ 中的各类 Agent 对话示例如 react_agent_example.py、data_manus_example.py。2. 自主 SQL 与代码执行生成 SQL 与代码来查询数据、清洗数据集、计算指标并产出结果。仓库中 packages/dbgpt-app/src/dbgpt_app/scene/chat_db/ 实现了对话式数据库查询场景chat_data 实现了数据文件分析场景配合 packages/dbgpt-app/src/dbgpt_app/operators/code.py 等算子完成代码生成与执行链路。3. 多源数据访问同时处理结构化与非结构化数据源包括数据库、电子表格、文档与知识库。仓库的 assets/datasources.png 展示了多数据源接入示意源码层面由 packages/dbgpt-ext/src/dbgpt_ext/datasource/ 提供数十种关系型数据库连接并由 packages/dbgpt-serve/src/dbgpt_serve/datasource/ 提供数据源注册与服务化 API。4. 技能驱动的可扩展性Skills将领域知识、分析方法与执行工作流打包为可复用技能Skill。仓库根目录的 skills/ 已内置多个开箱即用的技能包csv-data-analysisCSV/Excel 深度数据分析自动生成 ECharts 可视化交互报告financial-report-analyzer财务报表分析含财务指标计算与图表生成脚本walmart-sales-analyzer基于 Walmart 销售数据的多维度分析agent-browser浏览器操作类技能skill-creator用于创建新技能的元技能技能的底层机制由 packages/dbgpt-core/src/dbgpt/agent/skill/ 实现Skill 定义、SkillBuilder、SkillManager、SkillLoader完整调用示例见 examples/agents/skill_agent_example.py实现指南见 skills/skill_implementation_guide.py 与 skills/INTEGRATION_GUIDE.md。5. 沙箱化执行Sandboxed Execution在隔离环境中运行代码与工具获得更安全、更可靠的分析结果。对应 packages/dbgpt-sandbox/ 包其设计目标见 packages/dbgpt-sandbox/README.md包括基于 Docker 容器实现安全代码执行支持 Python、Shell、Node.js 等、支持有状态沙箱一次执行安装的依赖在后续执行中可用、以及可插拔的沙箱接口设计支持 Docker、Podman、本地进程等实现。相关用例见 packages/dbgpt-sandbox/test_sandbox_integration.py 与 examples/agents/sandbox_code_agent_example.py。产品工作流README 描述的端到端工作流可概括为四步探索数据Explore data在一个工作区内连接文件、数据库与知识库规划与执行Plan and execute让 AI 推理任务、编写 SQL 与代码并逐步执行使用技能Use skills加载可复用技能执行可重复的业务分析生成报告Generate reports产出图表、仪表盘、HTML 报告与可直接用于决策的输出。模型支持体系SMMF面向服务的多模型管理框架SMMF 提供数十种大语言模型支持覆盖开源模型与 API 服务两类如 LLaMA/LLaMA2、Baichuan、ChatGLM、文心、通义、智谱等。仓库中 packages/dbgpt-core/src/dbgpt/model/含 cluster、adapter、proxy、llm 等子模块是模型接入与多模型管理的核心实现configs/ 目录下的配置文件则提供了大量现成的接入模板本地模型dbgpt-local-vllm.toml、dbgpt-local-llama-cpp.toml、dbgpt-local-qwen.toml、dbgpt-local-glm.toml 等代理模型dbgpt-proxy-openai.toml、dbgpt-proxy-deepseek.toml、dbgpt-proxy-ollama.toml、dbgpt-proxy-tongyi.toml、dbgpt-proxy-siliconflow.toml 等以 configs/dbgpt-proxy-openai.toml 为例LLM 与 Embedding 模型均通过环境变量注入密钥与地址[[models.llms]] name ${env:LLM_MODEL_NAME:-gpt-4o} provider ${env:LLM_MODEL_PROVIDER:-proxy/openai} api_base ${env:OPENAI_API_BASE:-https://api.openai.com/v1} api_key ${env:OPENAI_API_KEY} [[models.embeddings]] name ${env:EMBEDDING_MODEL_NAME:-text-embedding-3-small} provider ${env:EMBEDDING_MODEL_PROVIDER:-proxy/openai} api_url ${env:EMBEDDING_MODEL_API_URL:-https://api.openai.com/v1/embeddings} api_key ${env:OPENAI_API_KEY}Text2SQL 微调支持的模型针对 Text2SQL 微调README.hi.md 给出了官方验证支持的模型清单LLM支持LLaMA✅LLaMA-2✅BLOOM✅BLOOMZ✅Falcon✅Baichuan✅Baichuan2✅InternLM✅Qwen✅XVERSE✅ChatGLM2✅该能力依托独立的 DB-GPT-Hub 子项目实现Text2SQL 有监督微调流水线不在当前仓库内仓库内的 Text2SQL 应用场景可参考 examples/agents/sql_agent_dialogue_example.py 与 packages/dbgpt-app/src/dbgpt_app/scene/chat_db/。当前官方支持模型一览README.hi.md 的News表格给出了各提供商当前重点支持的模型下表仅列提供商与模型名称模型详情与下载渠道请以官方模型主页为准提供商支持代表模型DeepSeek✅DeepSeek-R1-0528、DeepSeek-V3-0324、DeepSeek-R1、DeepSeek-V3、DeepSeek-R1-Distill-Llama-70B、DeepSeek-R1-Distill-Qwen-32B、DeepSeek-Coder-V2-InstructQwen✅Qwen3-235B-A22B、Qwen3-30B-A3B、Qwen3-32B、QwQ-32B、Qwen2.5-Coder-32B/14B-Instruct、Qwen2.5-72B/32B-InstructGLM✅GLM-Z1-32B-0414、GLM-4-32B-0414、Glm-4-9b-chatLlama✅Meta-Llama-3.1-405B/70B/8B-Instruct、Meta-Llama-3-70B/8B-InstructGemma✅gemma-2-27b-it、gemma-2-9b-it、gemma-7b-it、gemma-2b-itYi✅Yi-1.5-34B/9B/6B-Chat、Yi-34B-ChatStarling✅Starling-LM-7B-betaSOLAR✅SOLAR-10.7BMixtral✅Mixtral-8x7BPhi✅Phi-3 系列快速开始安装与启动README.hi.md 给出了安装入口当前仓库对应提供两种主流方式方式一一行安装脚本macOS Linux安装脚本位于 scripts/install/install.sh。可以先下载脚本审阅后再执行# 1. 下载脚本到本地并审阅内容 curl -fsSL -o install.sh https://raw.githubusercontent.com/eosphoros-ai/DB-GPT/main/scripts/install/install.sh less install.sh # 2. 指定模型 profile 并传入 API Key 执行安装 OPENAI_API_KEYsk-xxx bash scripts/install/install.sh --profile openai也可以不指定参数、由脚本交互式引导完成安装。安装完成后使用生成的 profile 配置启动服务cd ~/.dbgpt/DB-GPT uv run dbgpt start webserver --profile profile然后打开 http://localhost:5670 即可访问 Web 界面。方式二通过 PyPI 安装无需源码检出前置条件Python 3.10推荐使用 uv也可用 pip# 安装推荐 uv或使用 pip install dbgpt-app uv pip install dbgpt-app # 启动 dbgpt start首次启动时会进入交互式设置向导引导选择 LLM 提供商并输入 API Key完成后 Web 服务器自动启动访问 http://localhost:5670 即可使用。说明以上命令中的安装脚本 URL 为官方发布脚本地址若使用本地检出仓库可直接执行bash scripts/install/install.sh --profile profile并配合--repo-dir $(pwd)复用本地仓库。Docker 与高级部署需要 Docker、本地 GPU 模型vLLM、llama.cpp或手动源码部署时仓库提供配套资源Docker 镜像构建docker/allinone/含 Dockerfile 与 run.sh、docker/base/Docker Compose 编排docker-compose.yml 与 docker/compose_examples/含高可用集群、OceanBase 数据源等示例本地模型服务配置configs/dbgpt-local-vllm.tomlvLLM、configs/dbgpt-local-llama-cpp.tomlllama.cpp、configs/dbgpt-local-mlx.tomlApple MLX完整的本地安装文档参见仓库 docs/docs/installation/配置参考一个最小可运行的示例仓库根目录的 configs/dbgpt-app-config.example.toml 提供了应用级配置模板关键配置项如下[system] # 语言与日志language 可通过环境变量覆盖 language ${env:DBGPT_LANG:-zh} log_level INFO api_keys [] encrypt_key your_secret_key # 服务配置 [service.web] host 0.0.0.0 port 5670 # CORS 允许来源* 表示全部放行可改为逗号分隔的指定来源 cors_allowed_origins ${env:DBGPT_CORS_ALLOWED_ORIGINS:-*} # Agent 上下文窗口预算管理 [service.web.agent_context] # 设为 0 表示根据所选模型的元数据自动探测有效预算 max_context_tokens - reserved_tokens max_context_tokens 0 reserved_tokens 4096 warning_threshold 0.70 error_threshold 0.90 critical_threshold 0.95 min_keep_recent_rounds 3 max_observation_age_rounds 5 truncated_observation_max_chars 200 min_keep_tokens 10000 max_compact_failures 3 # 每次并行子任务调度的最大子 Agent 数可用环境变量 DBGPT_MAX_PARALLEL_SUBAGENTS 覆盖 max_parallel_subagents 3 # 元数据库默认 SQLite也支持 MySQL 等 [service.web.database] type sqlite path pilot/meta_data/dbgpt.db # 各场景应用的自定义参数 [app] temperature 0.6 [[app.configs]] name chat_excel temperature 0.1 [[app.configs]] name chat_with_db_qa schema_retrieve_top_k 50 memory {typetoken, max_token_limit20000}从配置可以看出 DB-GPT 服务化的几个要点环境变量注入${env:VAR:-default}语法支持密钥、地址等敏感信息从环境变量读取避免硬编码Agent 上下文预算agent_context段通过阈值warning/error/critical与 token 预算管理长对话的上下文裁剪与压缩策略多场景独立配置[[app.configs]]允许为 chat_excel、chat_normal、chat_with_db_qa 等不同应用场景分别设置温度、记忆与检索参数。隐私与安全README.hi.md 指出DB-GPT 通过多种技术确保数据隐私与安全私有化大模型支持本地部署模型vLLM、llama.cpp、MLX 等数据无需离开企业环境代理脱敏Proxy Desensitization对经由代理 API 的请求进行脱敏处理沙箱化执行在隔离环境中运行代码与工具见 packages/dbgpt-sandbox/。贡献、许可与引用贡献指南见仓库根目录 CONTRIBUTING.md项目采用MIT License详见 LICENSE免责声明见 DISCKAIMER.md若需引用 DB-GPT 相关研究工作README.hi.md 给出的 BibTeX 引用如下论文信息供学术引用参考article{xue2023dbgpt, title{DB-GPT: Empowering Database Interactions with Private Large Language Models}, author{Siqiao Xue and Caigao Jiang and Wenhui Shi and Fangyin Cheng and Keting Chen and Hongjun Yang and Zhiping Zhang and Jianshan He and Hongyang Zhang and Ganglin Wei and Wang Zhao and Fan Zhou and Danrui Qi and Hong Yi and Shaodong Liu and Faqiang Chen}, year{2023}, journal{arXiv preprint arXiv:2312.17449} } misc{huang2024romasrolebasedmultiagentdatabase, title{ROMAS: A Role-Based Multi-Agent System for Database monitoring and Planning}, author{Yi Huang and Fangyin Cheng and Fan Zhou and Jiahui Li and Jian Gong and Hongjun Yang and Zhidong Fan and Caigao Jiang and Siqiao Xue and Faqiang Chen}, year{2024}, eprint{2412.13520}, archivePrefix{arXiv}, primaryClass{cs.AI} } inproceedings{xue2024demonstration, title{Demonstration of DB-GPT: Next Generation Data Interaction System Empowered by Large Language Models}, author{Siqiao Xue and Danrui Qi and Caigao Jiang and Wenhui Shi and Fangyin Cheng and Keting Chen and Hongjun Yang and Zhiping Zhang and Jianshan He and Hongyang Zhang and Ganglin Wei and Wang Zhao and Fan Zhou and Hong Yi and Shaodong Liu and Hongjun Yang and Faqiang Chen}, year{2024}, booktitle Proceedings of the VLDB Endowment }总结从 README.hi.md 可以梳理出 DB-GPT 的完整技术画像它以 AWEL 工作流编排为骨架、以多智能体协作为执行引擎、以 SMMF 统一管理多模型、以 RAG 与数据工厂构建知识底座、以沙箱保障执行安全最终把数据 模型 技能打包成企业可落地的 AI 原生应用。结合当前仓库的 packages/ 模块化源码、configs/ 配置文件与 skills/ 内置技能开发者既可以快速上手使用也能深入源码理解其工程实现进而基于 DB-GPT 构建自己的智能体式数据助手。【免费下载链接】DB-GPTopen-source agentic AI data assistant for the next generation of AI Data products.项目地址: https://gitcode.com/GitHub_Trending/db/DB-GPT创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表