要解决的问题
在个人电脑、手机或边缘设备上运行模型，内存、算力和功耗都受限，还没有专业的运维团队。
关键技术
- 权重压缩：低比特量化，把模型装进有限的内存。
- 计算后端适配：选择支持目标设备 CPU、GPU 或 NPU 的运行时；一个部署方案不必同时支持所有后端。
- 低内存 KV 缓存：控制长对话时的显存或内存占用。
- 简化运维：单个可执行文件或一条命令即可运行。
代表工具
- llama.cpp：用 C/C++ 实现的推理引擎，依赖极少，支持的硬件范围很广，定义了 GGUF 模型格式。
- Ollama：在 llama.cpp 等引擎之上提供模型管理和本地 API。
实践建议
- 使用 llama.cpp 等兼容运行时时，可评估 4-bit 或 8-bit 的 GGUF 模型；其他运行时可能需要不同格式，应同时比较内存、速度和任务质量。
- 先确定硬件预算，再反推能跑多大的模型。