地址
ai.aimlc.cn —— 打开就是聊天界面,手机电脑都能用。
它是怎么跑起来的
浏览器 → ai.aimlc.cn(云服务器 nginx)
→ 127.0.0.1:8083
→ SSH 反向隧道
→ 家里电脑 llama.cpp(RX 580 8G / Vulkan)也就是说:计算在家里,入口在云上。云服务器只做转发,不消耗算力,省钱;家里电脑关机或断网时,页面会给出中文提示而不是报错。
模型与速度
| 模型 | 参数量 | 速度 | 显存 |
|---|---|---|---|
| Qwen2.5-3B | 30 亿 | 约 28 字/秒 | 2.3 GB |
| Qwen2.5-7B | 70 亿 | 约 20 字/秒 | 4.4 GB |
7B 默认启用,接近正常阅读速度。3B 更快,适合短问答。
能做什么
- 中文写作润色、改写、摘要
- 代码解释与报错排查
- 各类文档的提纲与结构整理
不能做什么
- 不知道实时信息——没有联网,问新闻、股价、天气它只能编
- 不支持图片——纯文本模型,传图无效
- 上下文有限——4096 token,长文需要分段
- 会一本正经地错——涉及数字、日期、人名,务必自己核
维护
本地服务由开机启动脚本守护,进程挂掉 30 秒内自动拉起。日志在 C:\Users\Administrator\llama-cpp\logs\。桌面「启动AI服务.vbs」可手动重启。