deepseek模型能在vps上跑吗

Clost · 发表于 2025-2-2 05:44:44

就是deepseekchat模型能用cpu跑吗如果vps不行杜甫需要至少什么配置才行？有没有试过的大佬

ttyhtg · 发表于 2025-2-2 08:43:30

看配置，可以试试1.5B的，我的普通笔记本配置问了ChatGPT说最多能跑7B的，我试了试，勉强能跑14B的呢

何处不惹尘埃 · 发表于 2025-2-2 12:46:57

不太清楚, 但就算能跑的话, 也没必要啊. VPS 那点算力, 对于跑大模型来说, 聊胜于无? 你倒是可以充点钱在 Colab 里先在 Colab 里试试, Colab 里的机器是带 GPU 的, 而且型号不错.

----------------------------------------------------------------

小尾巴~~~~~

grave_lyt · 发表于 2025-2-2 11:09:20

家里电脑配置还过得去的，可以跑个14B-32B，然后提供接口，通过FRP映射到VPS上，这样就可以在外面用了，不过没什么必要，完整版的API以后就是白菜价，正常人又不会高频使用的，自建意义不大

louiejordan · 发表于 2025-2-2 10:25:22

能，但是没有必要

oimo · 发表于 2025-2-2 10:21:32

LLM很久以前就能跑在树莓派上了，但是都是很小的模型或者经过量化的模型，跟L没什么关系了

Keensword · 发表于 2025-2-2 09:48:35

普通的肯定不行

友谊地久天长 · 发表于 2025-2-2 08:47:33

云服务器差不多吧. 谷歌甲骨文亚马逊的. GPU估计价格贵死.
自己部署没任何意义. 部署完的跟他们官网的问答结果也不一样. 自己部署的一般都比较笨.

Fightlee · 发表于 2025-2-2 07:56:38

蒸馏过的
原版671b
你4090最多就32b

mylove1 · 发表于 2025-2-2 07:20:04

有4090 gpu的vps勉强一试

		自动登录	找回密码
密码			注册