全球主机交流论坛

标题: 龙虾怎么配本地模型跑 [打印本页]

作者: youshao 时间: 2026-3-10 10:35
标题: 龙虾怎么配本地模型跑
14600KF 4060Ti16G 48GDDR5够用不

作者: 职业菜鸟 时间: 2026-3-10 10:39
应该可以吧。那玩意我看了下没装。自己搭了个本地模型。纯CPU 是真不行。 80核 128G 的一个会话 CPU 就50% 了。内存占用倒是不高. 这玩意还是得显卡跑。

这个同事在用。据说成本还是很高的。 token消耗巨大。

作者: youshao 时间: 2026-3-10 10:45

职业菜鸟发表于 2026-3-10 10:39
应该可以吧。那玩意我看了下没装。自己搭了个本地模型。纯CPU 是真不行。 80核 128G 的一个会话 CP ...

据说一个月要烧1-2K，所以看看本地模型是否靠谱，也不干什么特别重要的东西么。

作者: Musk 时间: 2026-3-10 10:46
内存，存贮，显卡都有一定的要求

作者: 芭啦啦能量 时间: 2026-3-10 10:51
烧的很，钱多可以玩。。昨天1000W TOKEN 1小时就给我干完了，。。。一个复杂点的问答直接50Wtoken，如果带点图片啥的，，，那更多了，如果有免费的API还是挺爽的，完全AI去执行处理任务。但数据肯定会泄漏，那么多代码，谁知道呢。。

作者: youshao 时间: 2026-3-10 10:53

芭啦啦能量发表于 2026-3-10 10:51
烧的很，钱多可以玩。。昨天1000W TOKEN 1小时就给我干完了，。。。一个复杂点的问答直接50Wtoken，如果带 ...

所以看看能不能搞个本地的玩一下，纯API业余选手烧不起啊

作者: HOH 时间: 2026-3-10 10:56
怪不得要推广，原来token这么好赚钱

作者: fuckjp 时间: 2026-3-10 10:58
自己搭了 qianwen 3.5b的，可以给龙虾用，具体你直接问AI吧

作者: youshao 时间: 2026-3-10 11:01
我本地做图片反推提示词的用着一个qianwen3.1 16B的

作者: 芭啦啦能量 时间: 2026-3-10 11:08

youshao 发表于 2026-3-10 10:53
所以看看能不能搞个本地的玩一下，纯API业余选手烧不起啊

肯定可以，你有卡吗，顶级卡才行，垃圾显卡就算了把。。

作者: kiwix 时间: 2026-3-10 12:07
买个minimax coding plan 最便宜的套餐，一个月不到30块

作者: floe 时间: 2026-3-10 12:15

Musk 发表于 2026-3-10 10:46
内存，存贮，显卡都有一定的要求

32g + 4060能跑起来不

作者: 职业菜鸟 时间: 2026-3-10 13:05

youshao 发表于 2026-3-10 10:45
据说一个月要烧1-2K，所以看看本地模型是否靠谱，也不干什么特别重要的东西么。 ...

昨天还在群里问同事了。他说一次 0.25刀。我是玩不起。

作者: MukaichiMion 时间: 2026-3-10 16:13
装一个ollama 本地跑模型一般都用这个接入openclaw官方文档很完善 16G显存可以跑Qwen3.5 9B 上月刚发布的目前最强的小模型

作者: rqp 时间: 2026-3-10 16:17

作者: louiejordan 时间: 2026-3-10 16:18
你这个本地配置连给龙虾提鞋都不配

作者: 520520 时间: 2026-3-10 18:10

这么烧钱

作者: mfch666 时间: 2026-3-10 18:56
智能诈骗

作者: guyuefeng 时间: 2026-3-10 19:07
ollama 不过龙虾上下文需要64k，需要占用好几G的现存，所以能跑的模型就很小

作者: scheme 时间: 2026-3-10 20:25
个人认为龙虾还得再进化下，否则token一般人玩不起，目前可以白票gpt给龙虾用。自己搭建也挺耗电，玩玩可以。另外有错删文件，清空磁盘的风险，mjj需要注意

作者: gengen 时间: 2026-3-11 10:11
我3090显卡双e52666洋垃圾 128g内存 ollama搭建了qwen3.5 27b，小龙虾本地用，回答一个“介绍一下你自己”，用了大概6分多钟。

作者: williamc2 时间: 2026-3-11 10:29
烧钱

作者: cg865 时间: 2026-3-11 10:47
minimax 最便宜套餐，29 一个月。够用了的。
比本地搞强了 n 个次方。虽然比不上 opus 这些，但龙虾完全足够

作者: archer99 时间: 2026-3-11 12:00
小参数模型+一个龙虾服务，跑肯定可以跑

作者: 非常店小二 时间: 2026-3-11 12:55
豆包不够你用嘛

作者: coco99 时间: 2026-3-11 15:09
从带宽焦虑变成了token焦虑

作者: 联邦调查局 时间: 2026-3-12 04:04
不过确实好用

作者: 店长推荐 时间: 2026-3-12 09:21
本地ai跟傻子一样能用吗，基本上同配置吧，不过内存是64。早就放弃本地的弱智ai了。

作者: yixin82 时间: 2026-3-12 11:35
本地AI=弱智，不要自己气自己

作者: lotus 时间: 2026-3-12 12:30
智谱有免费模型，就是很蠢

作者: RuntoLoc 时间: 2026-3-12 16:15
16G还是算了吧，游戏卡

作者: floe 时间: 2026-3-12 16:16
不够用很傻的

欢迎光临全球主机交流论坛 (https://loc.wget.at/)