Administrator
发布于 2026-10-27 / 3 阅读
0
0

本地 AI 助手怎么用:地址、模型、速度、限制

地址

ai.aimlc.cn —— 打开就是聊天界面,手机电脑都能用。

它是怎么跑起来的

浏览器 → ai.aimlc.cn(云服务器 nginx)
        → 127.0.0.1:8083
        → SSH 反向隧道
        → 家里电脑 llama.cpp(RX 580 8G / Vulkan)

也就是说:计算在家里,入口在云上。云服务器只做转发,不消耗算力,省钱;家里电脑关机或断网时,页面会给出中文提示而不是报错。

模型与速度

模型参数量速度显存
Qwen2.5-3B30 亿约 28 字/秒2.3 GB
Qwen2.5-7B70 亿约 20 字/秒4.4 GB

7B 默认启用,接近正常阅读速度。3B 更快,适合短问答。

能做什么

  • 中文写作润色、改写、摘要
  • 代码解释与报错排查
  • 各类文档的提纲与结构整理

不能做什么

  • 不知道实时信息——没有联网,问新闻、股价、天气它只能编
  • 不支持图片——纯文本模型,传图无效
  • 上下文有限——4096 token,长文需要分段
  • 会一本正经地错——涉及数字、日期、人名,务必自己核

维护

本地服务由开机启动脚本守护,进程挂掉 30 秒内自动拉起。日志在 C:\Users\Administrator\llama-cpp\logs\。桌面「启动AI服务.vbs」可手动重启。


评论