对话API是DB-GPT提供的统一的对话接口，可以通过对话接口分别与多种大模型，多种应用场景进行对话。 当前DB-GPT支持的所有模型都可以通过对话API进行对话。此外也支持多种对话场景，如:

• 普通对话 - ChatNormal
• 应用对话 - ChatAPP
• 知识库对话 - ChatKnowledge
• 工作流对话 - ChatFlow

默认对话模式是普通对话，即直接与大语言模型进行交流。

这里我们来介绍一些对话API的具体使用。接口地址如下：

POST /api/v2/chat/completions

调用案例

Curl调用

DBGPT_API_KEY="dbgpt"
curl -X POST "http://localhost:5670/api/v2/chat/completions" \
    -H "Authorization: Bearer $DBGPT_API_KEY" \
    -H "accept: application/json" \
    -H "Content-Type: application/json" \
    -d "{\"messages\":\"Hello\",\"model\":\"chatgpt_proxyllm\", \"stream\": true}"

Python SDK样例

流式对话

创建一个chat.py 文件，输入如下代码

import asyncio
from dbgpt.client import Client
DBGPT_API_KEY = "dbgpt"
client = Client(api_key=DBGPT_API_KEY)
async def chat():
    async for data in client.chat_stream(
        model="proxyllm",
        messages="hello",
    ):
        print(data.choices[0].delta.content)
if __name__ == "__main__":
    asyncio.run(chat())

如果你使用Notebook，可以直接使用如下代码：

from dbgpt.client import Client
DBGPT_API_KEY="dbgpt"
client = Client(api_key=DBGPT_API_KEY)
async for data in client.chat_stream(
    model="proxyllm",
    messages="hello"
):
    print(data.choices)

非流式对话

from dbgpt.client import Client
DBGPT_API_KEY = "dbgpt"
client = Client(api_key=DBGPT_API_KEY)
response = await client.chat(model="proxyllm" ,messages="hello")

请求响应

{
    "id": "a8321543-52e9-47a5-a0b6-3d997463f6a3",
    "object": "chat.completion",
    "created": 1710826792,
    "model": "chatgpt_proxyllm",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "Hello! How can I assist you today?"
            },
            "finish_reason": null
        }
    ],
    "usage": {
        "prompt_tokens": 0,
        "total_tokens": 0,
        "completion_tokens": 0
    }
}

参数说明

流式响应参数

非流式响应参数

附录

• 英文文档