下载 Ollama 或 LM Studio,选择一个模型,几分钟内便可启动本地聊天机器人。该服务无需订阅费用,也可在无需互联网连接的情况下运行,且您的数据不会离开电脑。然而,有一个限制:您能运行的模型及其响应速度完全取决于您的电脑性能。配备 16GB RAM 的日常电脑可以运行约七至八十亿参数的相对较小模型,例如 Meta 的 Llama 3.1 8B 或阿里巴巴的 Qwen3 8B,并且配备 8GB VRAM 的显卡能够较快地运行这些模型。
但这些模型与今日 ChatGPT 或 Claude 背后的前沿模型相比仍有很大差距。如果希望运行更接近的模型,则需要至少 32GB 的内存和 16GB 或以上 VRAM 的显卡,这在当前价格下并不便宜。
本地聊天机器人模型的运行需求
模型所需的内存几乎是与其大小成线性比例的,这一大小以十亿参数(B)计算。大多数人运行的都是压缩(“量化”)版本的本地模型,每个参数以约四位元存储,将模型缩小至其原始大小的约四分之一。在 Ollama 的库中,Llama 3.1 8B 的大小为 4.9GB,Microsoft 的 Phi-4 为 9.1GB, Google 的 Gemma 3 27B 为 17GB,而 Meta 的 Llama 3.3 70B 则为 43GB。
Ollama 的一般原则是,7B 模型需要 8GB RAM,13B 模型需要 16GB,33B 模型需要 32GB。OpenAI 的 gpt-oss-20b 拥有 210 亿参数,但每个标记仅使用 3.6 亿参数,这是通过一种名为“专家混合”的设计实现的。这使得它反应迅速,但模型仍然必须适合可用的内存。OpenAI 表示它可以“在仅 16GB 内存下运行”,但在 Ollama 中为 14GB,几乎耗尽了 16GB 电脑的所有内存。
运行速度与内存带宽的关系
每当模型生成一个词,或更准确地说是一个标记时,它都必须逐一检索所有参数。因此,速度主要取决于内存带宽,而非原始处理能力。Nvidia 的工程师将这一阶段描述为“内存受限”。显卡的 VRAM 速度比电脑其余部分的 RAM 快几倍,因此能够在 GPU 上运行的模型运行速度要快得多,而不是溢出到系统内存。作为一个经验法则,每秒生成五到十个标记的速度,能够跟上大多数人的阅读速度。
在 LMSYS 的测试中,Nvidia 的 RTX 5090 被发现能以每秒 205 个标记的速度生成 OpenAI 的 gpt-oss-20b 文本。相比之下,llama.cpp 的基准测试显示 Apple 的基础 M4 芯片在 7B 模型上大约能生成每秒 24 个标记。
Ollama 测试了 Nvidia 的 DGX Spark,这款价格为 US$3,999 (约 HK$31,199) 的 AI 开发电脑在 Llama 3.1 8B 上的生成速度为每秒 38 个标记,而在 70B 版本上则仅为 4.42。我个人曾在配备 32GB RAM 和 Intel AI Boost NPU 的 2024 年 Asus Zenbook Duo 上运行 Mistral 7B。
通过 Ollama,Mistral 将 CPU 使用率推至 52%,内存使用率约为 17GB。这样的使用情况尚可,但如果有其他需求较高的应用程序同时运行,则会拖慢笔记本电脑的速度。使用 Intel 的 OpenVINO 工具包,该模型则将 NPU 保持在 98% 的使用率,而 CPU 仅为 3%,在生成约 2,500 字(无意义内容)时,笔记本电脑依然保持快速响应。
在 Artificial Analysis 的 2026 年 4 月排名中,中国阿里巴巴的 Qwen3.5 27B 在其智能指数中得分 42,与 OpenAI 的 GPT-5 在中等设置下持平,而 Google 的 Gemma 4 31B 得分 39。然而,领先的前沿云模型得分达到 57,而 Qwen3.5 27B 需要 17GB 至 20GB 的内存,这显然超出了 16GB 电脑的承受范围。
但即使是最强大的电脑也仅能勉强满足前沿智能的需求。Moonshot 的 Kimi K2.6 是一款拥有 1 兆参数的模型,于 2026 年 4 月推出时是最佳开放权重模型之一,根据 Unsloth 的资料,其运行需要约 600GB 的 RAM 和 VRAM 的组合,该公司发布了压缩版本的开放模型。其后继版本 Kimi K3 在 2026 年 7 月的人工分析智能指数中得分 57,仅次于 Anthropic 的 Claude Fable 5 和 OpenAI 的 GPT-5.6 Sol。
然而,该模型拥有 2.8 兆参数,其权重仅计算约 1.4TB,TECHi 估计,这几乎无法在八 GPU 数据中心服务器上运行。因此,对于偶尔的私人摘要或一些离线编程帮助,16GB 电脑是足够的。若想要使用可替代云聊天机器人的功能,则需要 32GB RAM 或 16GB 显卡。根据 Tom's Hardware 的 RAM 价格指数,仅 32GB 的 DDR5 套件就需花费 US$434 (约 HK$3,385),几乎相当于每月 US$20 (约 HK$156) 的 ChatGPT Plus 或 Claude Pro
订阅费用近两年的支出。然而,任何接近前沿的需求,仍需依赖数据中心。
项目 规格 RAM 16GB / 32GB 显卡 VRAM 8GB / 16GB 模型大小 4.9GB (Llama 3.1 8B) 生成速度 每秒 38 个标记 (DGX Spark) 价格 US$3,999 (约 HK$31,199)

