小模型和边缘设备

小模型的价值常常被大模型光环遮住。很多任务并不需要最强推理，只需要快速、便宜、稳定，比如分类、摘要、简单问答和本地检索。把模型放到边缘设备或本机，能减少延迟，也能降低隐私压力。未来应用的聪明，可能来自大小模型的分工，而不是一个模型包打天下。

我在一个 IoT 项目里用过小模型（MobileNet），发现它在图像分类任务上准确率 95%，推理速度 50ms，完全够用。而且模型只有 10MB，可以跑在树莓派上。如果用云端大模型，延迟会高 10 倍，还需要网络连接。

小模型的优势在于”确定性”。大模型的输出有随机性，同样输入可能得到不同输出。小模型的输出是确定的，更适合需要稳定性的场景。比如工业检测、医疗诊断、自动驾驶——这些场景不能接受”有时候对有时候错”。

2024 年 7 月 再看这个方向，我觉得 AI 的未来是”大小模型协同”。大模型负责复杂推理和创意任务，小模型负责快速分类和本地处理。两者配合，才能在性能、成本和隐私之间找到平衡。