1891 字

9 分钟

Qwen3.5-9B ToolHub：打造你的最强“绿色”本地 AI 助手

2026-03-06

Notes

Qwen

/

AI

Qwen3.5-9B ToolHub：打造你的最强“绿色”本地 AI 助手#

在 AI 满天飞的 2026 年，很多模型依然依赖云端，这不仅有隐私泄露的风险，还经常因为断网而变“智障”。Qwen3.5-9B ToolHub 是一个基于阿里云 Qwen3.5 多模态大模型的本地一体化方案，它让你的电脑瞬间变身为一个能联网、能看图、能读文件的“数字贾维斯”。

项目仓库

https://github.com/chixi4/Qwen3.5-9B-ToolHub

🌟 为什么选择这个项目？#

超越 GPT-3.5 的智商：在中文语境和代码逻辑上，Qwen3.5-9B 表现极佳，开启“深度思考”模式后，逻辑严密性直逼高级模型。
全能工具箱：内置联网搜索、图片局部放大分析、本地文件只读浏览、长期记忆等工具。
系统洁癖友好：全绿色部署，依赖库全部隔离在项目文件夹内，不污染系统全局环境，删除文件夹即彻底卸载。
硬件门槛亲民：只需 8GB 显存即可流畅运行，RTX 4070 等 12GB 显卡可获得顶级体验。

🛠️ 第一部分：小白一键部署指南#

1. 硬件准备#

显卡：NVIDIA 显卡（驱动版本 >= 525），建议 6GB 以上显存（8GB 最佳）。
磁盘：至少 20GB 可用空间。
系统：Windows 10/11。

2. 环境配置（仅需一次）#

安装 Python：前往官网下载 Python 3.10 或 3.11，安装时务必勾选 “Add Python to PATH”。
解除执行限制：右键点击 Windows 开始菜单，选择“终端管理员（PowerShell）”，输入并回车：

Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope CurrentUser

这能确保安装脚本可以正常运行。

3. 一键安装#

下载/克隆项目到你的电脑（例如 D:\AI\ToolHub）。
双击运行目录下的 bootstrap.bat。
耐心等待：脚本会自动创建隔离的虚拟环境，并下载约 6GB 的模型文件。

4. 启动与访问#

安装完成后，双击 start_8080_toolhub_stack.cmd 并选择 start。如果闪退可在CMD里执行
```
1
.\start_8080_toolhub_stack.cmd start
```
看到“栈已启动”后，打开浏览器访问：http://127.0.0.1:8080。

5 启动后的“三不原则”#

不慌张：看到主窗口返回 > 且多出黑窗口，说明你成功了。
不关窗：虽然窗口是黑的，但它是服务的“肉体”，请让它留在任务栏。
不盲目重启：如果觉得卡，先用 status 命令查看，不要直接再点一次 start（会导致端口冲突）。

6. 正确的“收尾”流程（洁癖必读）#

由于这套系统是“静默后台式”，清理必须走程序：

第一步：执行
```
1
.\start_8080_toolhub_stack.cmd stop
```
第二步：观察任务栏，如果黑窗口消失，显存（VRAM）通常会在 3-5 秒内跌回基准值。

⚠️ 第二部分：避坑指南（小白必看）#

坑 1：Python 3.10 用户遭遇 Numpy 报错#

现象：安装时提示 ERROR: No matching distribution found for numpy==2.3.3。

原因：Numpy 2.3+ 要求 Python 3.11+。

解法：

打开项目根目录的 requirements.txt。
将 numpy==2.3.3 改为 numpy>=1.26.0,<2.1.0。
重新运行 bootstrap.bat 即可。

坑 2：显存不释放（僵尸进程）#

现象：关掉 CMD 窗口后，发现显存依然被占用几 GB。

原因：直接点“X”不会杀掉后台的推理进程 llama-server.exe。

解法：不要点“X”。请在窗口输入 stop 退出，或者创建一个 Clean.bat 文件，内容如下：

1
taskkill /f /im llama-server.exe /t
2
taskkill /f /im python.exe /t

坑 3：模型加载失败#

现象：提示 llama-server.exe 不存在或模型文件不完整。

检查：确认 .tmp/models 目录下有两个约 5GB 和 1GB 的 .gguf 文件。如果没有，请重新运行安装脚本，不要断网。

🌐 第三部分：进阶修复——解决“网络超时”错误#

当你执行像“搜索并总结长文”这种复杂任务时，可能会遇到 Network Error。这通常是因为网关等待工具返回数据的时间太长了。

核心对策：#

配置代理：如果你在中国大陆使用，web_search 调用 DuckDuckGo 时需要稳定的网络环境。建议开启系统全局代理。
修改超时参数：
- 找到 run_8080_toolhub_gateway.py。
- 搜索 timeout 相关的设置，将默认的 30s 或 60s 修改为 120s。
分步指令：不要一次性给太复杂的任务。
- 错误示范：“搜一下 2026 年所有新闻并写个 5000 字报告。”
- 正确示范：“先搜一下 2026 年 3 月 6 日的头条新闻标题，然后我选一个你再详细抓取。”

🚀 第四部分：针对高端显卡（如 RTX 4070）的“神级”优化#

如果你拥有 12GB 及以上显存，请务必开启以下配置以释放完整性能：

复制文件：将 .env.example 复制并重命名为 .env。
修改配置：
- MMPROJ_OFFLOAD=on ：让图片分析速度提升 5 倍！
- CTX_SIZE=32768 ：让 AI 拥有 3 万字的“短期记忆”，能一次读完一整本书。
- IMAGE_MAX_TOKENS=2048 ：看图更清晰，识字更准。

🧼 结语：如何优雅地“分手”？#

如果你不想用了，这款项目体现了极致的洁癖美学：

运行一次 Clean.bat 释放显存。
直接删除项目文件夹。
清空 C:\Users\用户名\AppData\Local\pip\cache（可选，回收磁盘）。

从此，你的电脑里不留下一丝 AI 跑过的痕迹。

Qwen3.5-9B ToolHub 避坑与进阶：从“能用”到“好用”#

在完成基础部署后，你可能会发现 AI 还是有些“笨”：改了配置不生效、读不了 E 盘、大文件直接报错。别担心，这不是模型的问题，而是本地脚本的“潜规则”。

🛠️ 进阶坑 1：消失的 `.env` 变量（配置无效谜团）#

【现象】：你在 .env 里改了 CTX_SIZE=32768（32K 上下文）或更换了模型路径，但启动日志显示还是 16384 且模型没换。

【真相】：

Python 懂，但 PowerShell 不懂：.env 主要是给 Python 网关看的。
脚本隔离：负责启动模型后端的 switch_qwen35_webui.ps1 脚本并不会主动读取 .env。如果它没在系统环境变量里找到指令，就会自动回退到硬编码的默认值。

【洁癖解法】：直接修改 switch_qwen35_webui.ps1。