大语言模型 问题与修复
大模型重要参数 ① temperature（随机性控制） temperature 影响模型的回答随机性： 低值（如 0.1-0.3） → 生成更加稳定、确定的回答（适合正式文档、技术说明） 高值（如 …
大模型重要参数
① temperature（随机性控制）
- temperature 影响模型的回答随机性：
- 低值（如 0.1-0.3） → 生成更加稳定、确定的回答（适合正式文档、技术说明）
- 高值（如 0.7-1.0） → 生成更有创造性、发散性的回答（适合创意写作、头脑风暴）
② top_p（核采样）
- top_p 控制生成时选取高概率词汇的范围：
- 低值（如 0.2-0.5） → 生成更保守、可靠的回答
- 高值（如 0.8-1.0） → 生成更有多样性、丰富的回答
- temperature 和 top_p 一般不要同时调高，以避免过度随机化
③ max_tokens（控制输出长度）
- 限制模型的回答长度，避免冗长：
- 例如，max_tokens=100 让模型的回答简短而直接
④ frequency_penalty & presence_penalty
- frequency_penalty：降低重复内容的概率
- presence_penalty：鼓励引入新词汇和概念
- 适当调整可以减少重复回答，提高内容的新颖性
大模型重要技术
- Ollama [11434] 大模型容器化部署
- vLLM [8000] 并发推理部署
- Xinference [9997] 多模态模型部署
- Dify [3000] 大模型智能体平台
- LLaMA-Factory [7860] 大模型训练框架
- llama.cpp 大模型 pytorch 格式转换 gguf 格式
- AI Gateway Cloudflare 提升大模型可观察性、可靠性和可扩展性的服务
开发技术
- LangChain
- Deep Agents
推理引擎
- Transformers：Hugging Face 提供的预训练模型加载和推理库，支持多种模型架构和推理优化。
- vLLM：高效并发推理引擎，专注于优化大模型推理性能。
- llama.cpp：轻量级推理引擎，专为 LLaMA 模型在本地设备上的高效推理设计。
| 特性 / 引擎 | vLLM | Transformers | llama.cpp |
|---|---|---|---|
| 运行速度 | ✅ 非常快（批量推理快） | ❌ 相对较慢（PyTorch） | ✅ 极快（C++ 编译） |
| 资源消耗 | ❌ 高（GPU 资源大） | ❌ 中等偏高（GPU/CPU） | ✅ 非常低（纯 CPU 可用） |
| 部署复杂度 | 中（需支持 CUDA + Triton） | ✅ 简单（Python + pip） | ✅ 简单（编译一次即可） |
| 并发支持 | ✅ 高（支持连续批处理） | ❌ 差（一次只能处理一个请求） | ❌ 差（命令行式） |
| 适用平台 | 仅支持 GPU（NVIDIA） | CPU / GPU | ✅ 任意 CPU（轻量） |
| 精度表现 | ✅ 原始精度（FP16） | ✅ 支持 FP16 / BF16 | ❌ 需量化（int4/8） |
| 是否支持多用户并发 | ✅ 支持 | ❌ 不支持 | ❌ 不支持 |
量化显存占用
7B 参数大模型在 8-bit 和 4-bit 量化时的显存占用：
- 全精度（FP16）存储计算
7B（70 亿）参数，每个参数 2 字节（FP16）
总显存占用：7B * 2B = 14GB
- 8-bit 量化
每个参数从 2 字节（FP16）降至 1 字节（INT8）
总显存占用：7B * 1B = 7GB
- 4-bit 量化
每个参数从 2 字节（FP16）降至 0.5 字节（INT4）
总显存占用：7B * 0.5B = 3.5GB
模型名 it 尾缀
google/gemma-4-26B-A4B-it（instruction-tuned）
部署用 it，训练才用 base
量化名称
看名字，名字里带量化关键词 = 量化模型
GPTQ 4bit/8bit 量化
AWQ 更高性能 4bit
GGUF llama.cpp 用
int4 / int8 bitsandbytes
进入模型页面 → 看 config.json，如果看到以下，就是量化模型
1"quantization_config": {
2 "quant_method": "awq",
3 "bits": 4
4}如果要用量化，推荐 AWQ，AWQ 是新一代默认方案
激活参数
对应模型：google/gemma-4-26B-A4B-it，A4B = Active 4 Billion（激活 40亿参数）
A4B 对部署的真实影响，很多人会认为：“只用 4B → 显存也像 4B”，这是错误的，实际情况是所有 26B 权重仍然要加载到显存
为什么 A4B 还是值得用？
1）速度更快，每次只计算 4B 参数，推理速度 ≈ 4B 模型
2）效果接近 30B，能力接近 31B dense，但计算成本远低
MOE 架构
MoE（Mixture of Experts）
MoE 只是“选择专家计算”，但所有专家权重必须在 GPU 上
| 项目 | 是否降低 |
|---|---|
| 显存占用 | ❌ 不降低 |
| 推理算力 | ✅ 降低 |
| token速度 | ✅ 提高 |
Dense 与 MoE 模型区别
- 最本质区别
Dense（普通模型） → 每个 token 都使用 全部参数
MoE（混合专家模型） → 每个 token 只使用 一部分参数（专家）
- 结构区别
Dense（普通模型）
结构特点：
- 每一层只有一个 FFN
- 所有 token 走同一条计算路径
结果：
- 所有参数每次都参与计算
MoE（混合专家）
结构变化：
- 一个 FFN → 多个 FFN（Experts）
- 增加一个 Router（路由器）
执行流程：
- 输入 token
- Router 判断
- 选择 Top-K 个专家（通常 1~2 个）
- 只让这些专家计算
结果：
- 只激活部分参数（稀疏计算）