From e095af2d8cbe40c3e89946d6e0e970c7e50decf7 Mon Sep 17 00:00:00 2001 From: Kirigaya <1193466151@qq.com> Date: Wed, 9 Apr 2025 22:34:23 +0800 Subject: [PATCH] =?UTF-8?q?=E5=AE=8C=E6=88=90=20tools=20=E7=9A=84=E8=BE=93?= =?UTF-8?q?=E5=85=A5=EF=BC=8C=E4=BD=86=E6=98=AF=E5=AD=98=E5=9C=A8=E9=97=AE?= =?UTF-8?q?=E9=A2=98?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../src/components/main-panel/chat/chat.ts | 34 +++- .../src/components/main-panel/chat/index.vue | 8 +- .../components/main-panel/chat/setting.vue | 157 +++++++++++++++++- renderer/src/hook/type.ts | 11 +- servers/README.md | 59 ++++++- service/src/controller/llm.ts | 14 +- service/tabs.json | 43 ++--- 7 files changed, 280 insertions(+), 46 deletions(-) diff --git a/renderer/src/components/main-panel/chat/chat.ts b/renderer/src/components/main-panel/chat/chat.ts index cb78365..cee1f21 100644 --- a/renderer/src/components/main-panel/chat/chat.ts +++ b/renderer/src/components/main-panel/chat/chat.ts @@ -1,12 +1,22 @@ +import { ToolItem } from "@/hook/type"; +import { ref } from "vue"; + export interface ChatMessage { role: 'user' | 'assistant' | 'system'; content: string; } +// 新增状态和工具数据 +interface EnableToolItem { + name: string; + description: string; + enabled: boolean; +} + export interface ChatSetting { modelIndex: number systemPrompt: string - enableTools: boolean + enableTools: EnableToolItem[] temperature: number enableWebSearch: boolean contextLength: number @@ -15,4 +25,26 @@ export interface ChatSetting { export interface ChatStorage { messages: ChatMessage[] settings: ChatSetting +} + +export const allTools = ref([]); + +export function getToolSchema(enableTools: EnableToolItem[]) { + const toolsSchema = []; + for (let i = 0; i < enableTools.length; i++) { + if (enableTools[i].enabled) { + const tool = allTools.value[i]; + + toolsSchema.push({ + name: tool.name, + description: tool.description || "", + parameters: { + type: "function", + properties: tool.inputSchema.properties, + required: tool.inputSchema.required + } + }); + } + } + return toolsSchema; } \ No newline at end of file diff --git a/renderer/src/components/main-panel/chat/index.vue b/renderer/src/components/main-panel/chat/index.vue index 557f9c3..665cb75 100644 --- a/renderer/src/components/main-panel/chat/index.vue +++ b/renderer/src/components/main-panel/chat/index.vue @@ -74,7 +74,7 @@ import { useI18n } from 'vue-i18n'; import { useMessageBridge } from "@/api/message-bridge"; import { ElMessage, ScrollbarInstance } from 'element-plus'; import { tabs } from '../panel'; -import { ChatMessage, ChatStorage } from './chat'; +import { ChatMessage, ChatStorage, getToolSchema } from './chat'; import Setting from './setting.vue'; import { llmManager, llms } from '@/views/setting/llm'; @@ -196,6 +196,7 @@ const handleSend = () => { const apiKey = llms[llmManager.currentModelIndex].userToken; const model = llms[llmManager.currentModelIndex].userModel; const temperature = tabStorage.settings.temperature; + const tools = getToolSchema(tabStorage.settings.enableTools); const userMessages = []; if (tabStorage.settings.systemPrompt) { @@ -213,6 +214,7 @@ const handleSend = () => { apiKey, model, temperature, + tools, messages: userMessages, }; @@ -224,7 +226,9 @@ const handleSend = () => { handleError(data.msg || '请求模型服务时发生错误'); return; } - const { content } = data.msg; + const { chunk } = data.msg; + const content = chunk.choices[0]?.delta?.content || ''; + if (content) { streamingContent.value += content; scrollToBottom(); // 内容更新时滚动到底部 diff --git a/renderer/src/components/main-panel/chat/setting.vue b/renderer/src/components/main-panel/chat/setting.vue index 4fb1de9..f194349 100644 --- a/renderer/src/components/main-panel/chat/setting.vue +++ b/renderer/src/components/main-panel/chat/setting.vue @@ -17,7 +17,7 @@ -
@@ -46,9 +46,7 @@ - + {{ model }} @@ -99,15 +97,38 @@ + + +
+ +
+
+
{{ tool.name }}
+
{{ tool.description }}
+
+ +
+ + +
+ +
+ + - \ No newline at end of file diff --git a/renderer/src/hook/type.ts b/renderer/src/hook/type.ts index b2d6142..3246641 100644 --- a/renderer/src/hook/type.ts +++ b/renderer/src/hook/type.ts @@ -33,12 +33,13 @@ export interface CasualRestAPI { } // ==================== 响应接口定义 ==================== +export interface ToolItem { + name: string; + description: string; + inputSchema: InputSchema; +} export interface ToolsListResponse { - tools: Array<{ - name: string; - description: string; - inputSchema: InputSchema; - }>; + tools: ToolItem[] } export interface PromptTemplate { diff --git a/servers/README.md b/servers/README.md index 39534c6..6e1aa8c 100644 --- a/servers/README.md +++ b/servers/README.md @@ -1,7 +1,60 @@ -## init +```python +from openai import OpenAI + +def send_messages(messages): + response = client.chat.completions.create( + model="deepseek-chat", + messages=messages, + tools=tools + ) + return response.choices[0].message + +client = OpenAI( + api_key="xxxxxxxx", + base_url="https://api.deepseek.com", +) + +tools = [ + { + "type": "function", + "function": { + "name": "get_weather", + "description": "Get weather of an location, the user shoud supply a location first", + "parameters": { + "type": "object", + "properties": { + "location": { + "type": "string", + "description": "The city and state, e.g. San Francisco, CA", + } + }, + "required": ["location"] + }, + } + }, +] + +messages = [{"role": "user", "content": "How's the weather in Hangzhou?"}] +message = send_messages(messages) +print(f"User>\t {messages[0]['content']}") + +tool = message.tool_calls[0] +messages.append(message) + +print(message) + +messages.append({"role": "tool", "tool_call_id": tool.id, "content": "24℃"}) +message = send_messages(messages) +print(f"Model>\t {message.content}") -```bash -uv sync ``` + +result: + +``` +User> How's the weather in Hangzhou? +ChatCompletionMessage(content='', refusal=None, role='assistant', annotations=None, audio=None, function_call=None, tool_calls=[ChatCompletionMessageToolCall(id='call_0_8777af62-631d-4af9-aefe-d984936397df', function=Function(arguments='{"location":"Hangzhou"}', name='get_weather'), type='function', index=0)]) +Model> The current weather in Hangzhou is 24°C. Let me know if you'd like more details! +``` \ No newline at end of file diff --git a/service/src/controller/llm.ts b/service/src/controller/llm.ts index 3ed80bd..cfdae3b 100644 --- a/service/src/controller/llm.ts +++ b/service/src/controller/llm.ts @@ -14,7 +14,7 @@ export async function chatCompletionHandler(client: MCPClient | undefined, data: } - const { baseURL, apiKey, model, messages, temperature } = data; + const { baseURL, apiKey, model, messages, temperature, tools = [] } = data; try { const client = new OpenAI({ @@ -26,6 +26,8 @@ export async function chatCompletionHandler(client: MCPClient | undefined, data: model, messages, temperature, + tools, + tool_choice: 'auto', web_search_options: {}, stream: true }); @@ -52,17 +54,15 @@ export async function chatCompletionHandler(client: MCPClient | undefined, data: }); break; } - - const content = chunk.choices[0]?.delta?.content || ''; - if (content) { + + if (chunk.choices) { const chunkResult = { code: 200, msg: { - content, - finish_reason: chunk.choices[0]?.finish_reason || null + chunk } }; - + webview.postMessage({ command: 'llm/chat/completions/chunk', data: chunkResult diff --git a/service/tabs.json b/service/tabs.json index dc5798c..ba232a0 100644 --- a/service/tabs.json +++ b/service/tabs.json @@ -10,32 +10,37 @@ "messages": [ { "role": "user", - "content": "你好，请问什么是 core dump" + "content": "test" }, { "role": "assistant", - "content": "**Core Dump（核心转储）**是操作系统在程序异常终止（如崩溃或收到特定信号）时生成的一个文件，记录了程序崩溃时的内存状态、寄存器值、堆栈信息等关键数据，用于后续调试和分析问题。\n\n### 核心概念：\n1. **触发条件**：\n - 程序发生**段错误**（Segmentation Fault）、**总线错误**（Bus Error）等严重错误。\n - 收到特定信号（如 `SIGSEGV`、`SIGABRT`）。\n - 用户主动触发（如通过 `gcore` 命令）。\n\n2. **文件内容**：\n - 崩溃时的内存映像（包括堆、栈、全局变量等）。\n - 程序计数器（PC）、寄存器状态。\n - 动态链接库信息。\n\n3. **文件命名**：\n - 通常命名为 `core` 或 `core.`（如 `core.1234`）。\n\n---\n\n### 常见用途：\n- **调试崩溃问题**：通过调试器（如 `gdb`）分析 core dump，定位崩溃的代码位置。\n ```bash\n gdb /path/to/program /path/to/core\n ```\n- **事后分析**：即使程序已终止，仍可复现崩溃时的场景。\n\n---\n\n### 配置与启用：\n1. **检查系统限制**：\n ```bash\n ulimit -c # 查看 core 文件大小限制（0 表示禁用）\n ulimit -c unlimited # 临时解除限制\n ```\n2. **永久生效**：\n - 在 `/etc/security/limits.conf` 中添加：\n ```\n * soft core unlimited\n ```\n - 或通过 `sysctl` 配置存储路径：\n ```bash\n echo \"/var/coredumps/core.%e.%p\" > /proc/sys/kernel/core_pattern\n ```\n\n---\n\n### 注意事项：\n- **安全性**：Core dump 可能包含敏感信息（如密码），需妥善保管。\n- **磁盘空间**：大内存程序生成的 core 文件可能很大，需确保磁盘充足。\n- **容器环境**：某些容器默认禁用 core dump，需额外配置。\n\n---\n\n### 示例场景：\n若程序崩溃后生成 `core.1234`，用 `gdb` 分析：\n```bash\ngdb ./my_program core.1234\n(gdb) bt # 查看崩溃时的调用栈\n```\n\n通过分析，可快速定位到引发崩溃的代码行或函数。" - }, - { - "role": "user", - "content": "python 的" - }, - { - "role": "assistant", - "content": "在 Python 中，**Core Dump** 的概念与系统层面的核心转储类似，但 Python 作为一种高级语言，通常不直接生成传统的 core dump 文件（如 C/C++ 程序）。不过，Python 程序崩溃时仍可能通过以下方式提供类似调试信息：\n\n---\n\n### 1. **Python 程序崩溃的常见场景**\n - **段错误（Segmentation Fault）**：通常由底层 C 扩展（如 NumPy、Pandas 的 C 模块）引发。\n - **未捕获的异常**：如 `MemoryError`、`SystemError` 等。\n - **信号中断**：如 `SIGSEGV`（非法内存访问）。\n\n---\n\n### 2. **获取类似 Core Dump 的信息**\n#### **方法 1：使用 `faulthandler` 模块**\n Python 内置的 `faulthandler` 可以在程序崩溃时打印堆栈跟踪（类似 core dump 的简化版）：\n ```python\n import faulthandler\n faulthandler.enable() # 默认输出到 stderr\n # 或者在程序启动时通过环境变量启用：\n # PYTHONFAULTHANDLER=1 python your_script.py\n ```\n **效果**：当发生段错误时，会输出当前 Python 和 C 的调用栈。\n\n#### **方法 2：生成核心转储文件（需系统支持）**\n 如果 Python 解释器或 C 扩展崩溃，可以强制生成系统的 core dump：\n ```bash\n ulimit -c unlimited # 启用 core dump\n python your_script.py\n ```\n - 生成的 `core` 文件可用 `gdb` 分析：\n ```bash\n gdb /usr/bin/python core\n (gdb) bt # 查看调用栈\n ```\n\n#### **方法 3：使用 `pdb` 或 `traceback`**\n - 对 Python 层面的异常，通过 `try-except` 捕获并记录：\n ```python\n import traceback\n try:\n your_code()\n except Exception as e:\n with open(\"error.log\", \"w\") as f:\n traceback.print_exc(file=f) # 输出完整堆栈到文件\n ```\n\n---\n\n### 3. **调试 C 扩展崩溃**\n 如果崩溃来自 Python 的 C 扩展（如自定义模块）：\n - 用 `gdb` 直接调试 Python 进程：\n ```bash\n gdb --args python your_script.py\n (gdb) run\n ```\n - 或分析 core dump 文件（需编译扩展时带调试符号 `-g`）。\n\n---\n\n### 4. **容器/Kubernetes 环境**\n 若在容器中运行 Python：\n - 确保容器有权限生成 core dump（需挂载 `/proc/sys/kernel/core_pattern`）。\n - 示例 Docker 命令：\n ```bash\n docker run --ulimit core=-1 -v /tmp:/coredumps your_image\n ```\n\n---\n\n### 5. **注意事项**\n - **性能开销**：`faulthandler` 对性能有轻微影响，生产环境慎用。\n - **敏感信息**：Core dump 可能泄露内存中的数据，需限制访问权限。\n - **替代方案**：对于纯 Python 代码，优先用日志和异常处理而非 core dump。\n\n---\n\n### 示例：分析段错误\n假设一个 C 扩展崩溃导致 Python 段错误：\n```bash\n# 启用 core dump 后运行程序\nulimit -c unlimited\npython crashy_script.py # 生成 core 文件\n\n# 用 gdb 分析\ngdb /usr/bin/python core.\n(gdb) bt full # 查看完整调用栈\n```\n\n通过结合 Python 的 `faulthandler` 和系统工具，可以高效定位问题根源。" - }, - { - "role": "user", - "content": "python 的生成器是如何实现的" - }, - { - "role": "assistant", - "content": "Python 的**生成器（Generator）**是一种特殊的迭代器，通过延迟计算（惰性求值）动态生成值，而不是一次性生成所有数据。它的核心实现依赖于 **Python 解释器对函数执行状态的暂停与恢复**，以下是其底层机制和关键实现原理：\n\n---\n\n### 1. **生成器的基本实现**\n当一个函数包含 `yield` 关键字时，Python 会将其编译为**生成器函数**，调用时返回一个生成器对象（而非直接执行函数体）：\n```python\ndef my_generator():\n yield 1\n yield 2\n\ngen = my_generator() # 返回生成器对象，函数体未执行\nprint(next(gen)) # 输出 1，函数执行到第一个 yield 暂停\nprint(next(gen)) # 输出 2，从暂停处恢复执行到下一个 yield\n```\n\n---\n\n### 2. **底层实现原理**\n生成器的核心依赖以下 Python 内部机制：\n\n#### **（1）代码对象（Code Object）**\n- Python 在编译阶段会将生成器函数的字节码标记为 `GENERATOR` 类型，区别于普通函数。\n- 通过 `dis` 模块可查看字节码差异：\n ```python\n import dis\n dis.dis(my_generator)\n ```\n 输出中会看到 `YIELD_VALUE` 操作码，这是生成器的关键指令。\n\n#### **（2）帧对象（Frame Object）**\n- 每次调用生成器函数时，Python 会创建一个**独立的帧对象**（Frame），保存局部变量、执行位置（如 `yield` 的断点）等状态。\n- 生成器暂停时，帧对象会被保留；恢复时，从帧对象中加载状态继续执行。\n\n#### **（3）生成器对象（Generator Object）**\n- 生成器对象是 `PyGenObject`（CPython 实现中的 C 结构体），包含：\n - `gi_frame`：指向当前帧对象的指针。\n - `gi_code`：指向生成器函数的代码对象。\n - `gi_running`：标记生成器是否正在执行。\n\n---\n\n### 3. **关键行为分析**\n#### **（1）状态保存与恢复**\n- 当执行到 `yield` 时，Python 会：\n 1. 保存当前帧的所有状态（局部变量、指令指针等）。\n 2. 返回 `yield` 的值给调用者。\n 3. **暂停执行**，直到下一次调用 `next()` 或 `send()`。\n- 恢复时，从保存的帧状态继续执行。\n\n#### **（2）协程特性**\n生成器可通过 `send()`、`throw()`、`close()` 实现**协程**功能：\n```python\ndef coro():\n x = yield 1 # 接收外部 send 的值\n yield x + 2\n\nc = coro()\nprint(next(c)) # 输出 1\nprint(c.send(10)) # 输出 12（x=10）\n```\n\n---\n\n### 4. **CPython 源码层面的实现**\n在 CPython 中，生成器的核心逻辑位于：\n- **字节码解释器**（`Python/ceval.c`）处理 `YIELD_VALUE` 操作码。\n- **生成器对象**（`Include/genobject.h` 和 `Objects/genobject.c`）：\n ```c\n typedef struct {\n PyObject_HEAD\n PyFrameObject *gi_frame; // 执行帧\n PyObject *gi_code; // 代码对象\n PyObject *gi_weakreflist; // 弱引用列表\n int gi_running; // 是否在运行\n } PyGenObject;\n ```\n\n---\n\n### 5. **与普通迭代器的对比**\n| 特性 | 生成器 | 普通迭代器（如 `list`） |\n|--------------------|--------------------------------|-----------------------------|\n| 内存占用 | 低（逐项生成） | 高（需存储所有数据） |\n| 实现方式 | 函数 + `yield` | 类 + `__iter__`/`__next__` |\n| 状态保存 | 自动由帧对象管理 | 需手动维护状态（如索引） |\n| 延迟计算 | 支持 | 不支持 |\n\n---\n\n### 6. **生成器的应用场景**\n1. **处理大数据流**：逐行读取文件避免内存爆炸。\n ```python\n def read_large_file(file):\n while True:\n line = file.readline()\n if not line:\n break\n yield line\n ```\n2. **无限序列**：如斐波那契数列。\n ```python\n def fibonacci():\n a, b = 0, 1\n while True:\n yield a\n a, b = b, a + b\n ```\n3. **协程与异步编程**：作为早期 Python 协程的基础（现代异步已由 `async/await` 替代）。\n\n---\n\n### 7. **性能优化技巧**\n- **避免多次创建生成器**：重复调用生成器函数会创建新对象，如需复用，可转换为列表或缓存结果。\n- **组合生成器**：使用 `itertools.chain` 合并多个生成器：\n ```python\n import itertools\n gen = itertools.chain(gen1(), gen2())\n ```\n\n---\n\n### 总结\nPython 生成器的本质是**通过 `yield` 暂停函数执行并保存状态**，利用帧对象和字节码指令实现惰性求值。这种设计在内存效率和代码简洁性上具有显著优势，是 Python 迭代器协议的核心实现方式之一。" + "content": "错误: OpenAI API error: 422 Failed to deserialize the JSON body into the target type: tools[0]: missing field `type` at line 31 column 5" } ], "settings": { "modelIndex": 0, - "enableTools": true, + "enableTools": [ + { + "name": "add", + "description": "对两个数字进行实数域的加法", + "enabled": true + }, + { + "name": "multiply", + "description": "对两个数字进行实数域的乘法运算", + "enabled": true + }, + { + "name": "is_even", + "description": "判断一个整数是否为偶数", + "enabled": true + }, + { + "name": "capitalize", + "description": "将字符串首字母大写", + "enabled": true + } + ], "enableWebSearch": false, "temperature": 0.7, "contextLength": 10,