帖子

买了台无头骑士部署本地模型玩玩

483

未完待续2026-09-06
44518
32G内存m1pro想部署Qwen3.8 27B 的q4版本，大概16G的那个，怎么才能开到长上下文（想用128k），lm和ollama都不太行（lm强制限制40多k上下文改不了，然后ollama后面跑到快100k的时候回复一下要思考一个小时），然后问ai，ai说用omlx，但是缓存率只有个位数，
主楼
3 48
Ruby2026-09-06
5716
1. 基础知识
1.1 什么是本地部署
本地部署就是通过个人或者企业通过消费级设备或工作站设备，将云端开源大语言模型部署到本地私有化设备上的过程
1.2 本地部署所需的环境
硬件层面：一般而言需要一张消费级显卡，消费级显卡上满足显存≥16GB 的显卡都可以适用本教程。具体见下表
显卡厂商
起步型号
注解
Nvidia
4060 Ti 16G / 5060 Ti 16G
起步型号…
#1
BlitzKat2026-09-06
31251
多少钱买的呀。部署模型不是让agent直接搞嘛
#2
未完待续2026-09-06
44518
5k，跑不了长下文啊，默认设置可以随便跑，我已经让ai搞了两天了，死活搞不定，正在尝试楼上大佬的方法
#3

登录后回复