主要看部署多大的模型，太大的话用内存会很慢的

没理解，是要把模型部署在这台机器上吗 ^-^

跑本地大模型的话，4060ti 16g很吃力吧

这部署个蛋大模型，跑e4b跟手机坐一桌吗？

软件开发？这配置？闹呢？这配置能运行的也就能处理一下小东西。

有条件的话，起码得上一个RTX pro6000

是用这台电脑跑本地模型吗？4060还不如买老一点的高端卡呢？而且游戏卡显存基本也就能够跑个7B。能用来做软件开发吗？

这个配置软件开发还行，并发调用本地大模型是什么意思？不是部署吧？部署的化就有点闹笑话了

我这个跑本地都不行，你这个能干嘛？

要本地部署模型用来开发, 至少也得是v4flash级别的吧, 这配置跑个智商正常的模型都够呛

这是要干嘛 这配置打游戏倒是够用了 ^-^。

你这个能跑啥？好像能跑一些模型。

跑个量化的12b，陪自己谈恋爱可以，领导这是想谈了。

这配置太低了吧 用来翻译估计都不准

16GB显存似乎只能部署14b以下的模型

内存+CPU推理根本慢到没法用，16G显存连27B都部署不动，不要想了

16G硬跑是跑得起来，上下文应该也就64K吧，再叠加多轮对话肯定要用到ram了，再套agent的话几乎带不动

除了浪费钱，这个配置想不到有任何作用，本地部署没几家能玩的起

跑ai，单卡5090都差点意思，4060跑不了，佬，