现在自己部署deepseek是不是配置要求比LLAMA低了很多

netAlchemist

有没有折腾过的大神 说说自己配置和体验

julie

要是你说的是r1的话, 个人应该不好部署. 要是你说的是蒸馏的千问或Llama, 我觉得还不如base model.

因为deepseek r1是MoE结构, 我估计拿CPU跑都不慢的. 以前我用老的服务器只用CPU跑也是MoE的WizardLM-2-8x22B, 一秒钟也有2, 3个token.

你要是有1T的内存, 可以试试用纯CPU跑.

无神通

低很多，原版只需要 800G 内存，Q4 量化版本只需要 400G 内存

httpd

是不是參雜許多特色內容

netAlchemist

redneck 发表于 2025-1-27 19:02

这个有意思啊 4个MAC MINI也不是很贵 一般公司负担的起

vcred

7B及其以下没有什么卵用，
即使是最高参数的离线大模型，
体验也无法和官方比。

wop

ultramancliub 发表于 2025-1-29 23:08
支持，但实际体验下来并不好。投机零做做脑筋急转弯或者文字游戏数学题可以，但是真正需要发挥它号称的强 ...

360 部署的R1 也体验很差

ultramancliub

wop 发表于 2025-1-29 18:25
自己部署的也支持 联网吗

支持，但实际体验下来并不好。投机零做做脑筋急转弯或者文字游戏数学题可以，但是真正需要发挥它号称的强处的经济政治历史哲学等等资料全部空白。本地部署和官网WEB版可以看成两个产品。。。只是官方版本多一个强大的数据库。所以严格来说它并不算是完整开源。

wop

ultramancliub 发表于 2025-1-29 13:42
不连外网它会胡乱回答，不联网实际用下来体验很差。

自己部署的也支持 联网吗

ultramancliub

美国VPS综合讨论 发表于 2025-1-29 12:12
部署的可以完全不连外网吗

不连外网它会胡乱回答，不联网实际用下来体验很差。

cbm

为啥要自己部署，官网不是免费

美国VPS综合讨论

部署的可以完全不连外网吗

louiejordan

julie 发表于 2025-1-29 11:18
只用显卡, 个人应该负担不起跑r1的成本, 要几百G的显存. 跑蒸馏的版本至少要2-3个3090/4090才能跑量化.  ...

好吧，我还以为一张普通显卡就行了

julie

louiejordan 发表于 2025-1-29 00:41
用显卡跑有什么要求？

只用显卡, 个人应该负担不起跑r1的成本, 要几百G的显存. 跑蒸馏的版本至少要2-3个3090/4090才能跑量化. 或者买192GB的mac studio, 几万块就行, 跑得比4090慢, 但是速度可以接受, 比CPU跑快很多.