本地大模型热潮

本地大模型让我重新体验到早年折腾 Linux 的感觉：下载权重、调量化、看显存、试推理速度。它不一定比云端模型强，但它给了我一种控制感。很多个人场景不需要最强模型，只需要数据不离开机器、延迟稳定、成本可预测。自由有时不是更先进，而是可掌控。

我在 M1 MacBook 上跑过 Llama 2 7B，速度还可以，但 13B 就明显卡顿了。本地模型的瓶颈在内存带宽——M1 的统一内存架构对 AI 推理很友好，但 16GB 内存跑大模型还是捉襟见肘。而且本地模型的输出质量比 GPT-4 差很多，只能做一些简单的任务。

本地模型最有价值的场景是处理敏感数据。比如分析医疗记录、整理私人日记、处理公司内部文档——这些数据不适合上传到云端。本地模型虽然能力弱一些，但数据完全在自己手里，不用担心隐私泄露。

2023 年 11 月 再看这个热潮，我觉得本地模型不会取代云端模型，但会成为重要的补充。它的价值在于”隐私可控”和”成本可预测”，适合特定场景。对普通用户来说，云端模型更方便；对隐私敏感的用户来说，本地模型是必要的选择。