3210亿参数塞进单张显卡,26 token每秒跑起来了
将文章核心主题、阅读路径与关联内容进行更清晰的组织,帮助用户以更流畅的节奏进入正文。
当前位置
当前正在查看文章详情,可沿路径返回栏目页或继续切换其他内容。
3210亿参数塞进单张显卡,26 token每秒跑起来了
UED整理如下:
把总参数 3210亿 的模型塞进一台只有一张显卡的机器里,这件事现在有了开源方案。
免费开源工具「Project Maya」给出的思路很直接:不要求你把几百GB的模型权重全塞进显存,而是把显存、内存、固态硬盘拼成一个层级,条件凑齐就能跑。
它支持的模型清单不止一个:GLM-5.
3(744B)、GLM-5.
3-Flash(321B)、DeepSeek-V4.
1-Flash(748B)、MiniMax-M3.
1-Flash(428B),一套引擎、一块面板,对外提供与 OpenAI、Anthropic 兼容的接口。
GLM-5.
3-Flash 是这里的主角。
3210亿总参数,能写文章、写代码,也能读取图片内容。
公开的用户实测数据里,单张 RTX 3090 的配置跑出每秒 26 token ;
两张 RTX 5090 加一张 RTX 4090 的配置跑到每秒 148.
6 token 。
token 是模型处理文本的单位,这个数值越大,回答显示得越快。
不过两次测量的条件不同,光看显卡数量没法直接比速度。
并发方面,Project Maya 最多同时处理 8 个请求 ,面向多人使用和 AI 编程代理的场景。
8 路并发不等于 8 倍生成速度,它的意义是把多个请求并行接住,而不是把单条回答加速八倍。
为什么装不进显存的模型能跑起来 关键在于 MoE,也就是混合专家结构。
模型内部准备了多个叫「Expert」的专门计算单元,常用的专家放在显卡显存里,接下来要用的挪到内存,剩下的存进固态硬盘,按需换入换出。
显存不够,就用内存和硬盘顶上。
另一层工夫是量化,把模型数值用更少的比特存下来。
GLM-5.
3-Flash 对应的版本有这么几档: Maya-XS :73.
4GB Maya-S :96.
5GB,标准版 Maya-S24 :面向 24GB 以下显存的显卡 Maya-M :116GB Maya-L :156.
3GB 官方零样本评测给出的精度保持率是:Maya-XS 为原 FP8 模型的 92.
4% ,Maya-S 为 97.
9% ,Maya-L 为 99.
2% 。
这组数字是特定评测题目的相对值,不等于所有问题的正确率。
跑起来到底要多少内存 官方文档给出的推荐显存加主内存合计:Maya-XS 为 88GB ,Maya-S 为 128GB ,Maya-L 为 192GB 。
最低运行条件是支持的显卡、32GB 主内存加固态硬盘。
但最低条件不等于能启动。
实际拿 64GB 主内存配一张 8GB 显存的显卡去启动,程序直接报「显存不足」,起不来。
想省显存,得先看清楚自己卡在哪一档。
对想在自己机器上跑大模型的人来说,Project Maya 多了一个选项。
代价是动手之前得把内存容量和固态硬盘性能这两笔账算清楚,否则卡在启动那一步,参数再大也只是一串数字。
特别
本文内容由UED整理。
推荐阅读
Search
热点新闻
一花店老板接到4781元订单,客人要求用百元大钞做“现金花束”,老板直接报警,获重大线索奖
一束普通的鲜花,平时只要几十块钱。而这次客户的要求格外“浪漫”,要用百元大钞来做。近日,成都金牛区荷花池街道辖区一家鲜花店接到这样一笔网络订单,老板没有急着接单,而是拨通了荷花池派出所电话,两小时内,4名嫌疑人全部落网。 当天,荷花池派出所接到辖区某鲜花店经营者张先生报警: 有人通过网络下单,要求用现金制作花束,联系过程中对方行为可疑。 警方抓获犯罪嫌疑人 真正让花店老板警觉的,除了这“别出心裁”
徐杰投奔深圳男篮?3个理由说得通,他已拒绝合同,关键看广东队
“徐杰转投深圳”这则传闻之所以传得开,是因为它把三方的账都摆得很顺:深圳补后场,球员拿顶薪,广东收补偿。三个理由单拎出来,每一个都像那么回事。可传闻最怕的就是把“说得通”当成“已经发生”。围绕徐杰的合同,眼下至少有“300万C类”和“5年600万D类顶薪”两个版本同时在流传,都没有得到广东俱乐部或徐杰本人的正式确认。 而所谓“已拒绝合同”,在公开信息里同样找不到站得住的出处,反倒有报道显示徐杰曾在
凯特王妃酒红斜挎包卖断货,亚马逊30美元同款被抢着买
凯特王妃又一次带火了一件配饰。她最近背的一款酒红色斜挎包已经售罄,而亚马逊上一款售价仅 30美元 的相似款,成了不少人复刻这一造型的替代选择。 这次亮相发生在凯特王妃到访汉普郡博尔登的蔡斯社区医院期间。她身穿灰色粗花呢裤装,裤装上带有低调的酒红色条纹,内搭同色系羊绒高领衫,脚踩麂皮高跟鞋。整套造型里最抢眼的,是她那只结构挺括的牛津红斜挎包,也正是这只包让不少人转头去亚马逊找同款。 被拿来对标的是
浙江一6月龄婴儿被误打8月龄接种的麻腮风疫苗,接种核对时医护一直在和别人说话
说真的,这种涉及生命健康的岗位,特别是服务对象还是婴幼儿的,真的不适合粗心大意的人去做。 有的人一聊起天来真的就是忘乎所以,不知天地为何物了。 11月16日,浙江台州一家长发视频称,6个月大的孩子在天台县坦头镇中心卫生院被护士误打了8月龄应该接种的疫苗,原本要接种的是A群流脑疫苗,却被误接种为麻腮风疫苗。 家长表示,接种核对时医护一直在和别人说话。 18日,该卫生院相关科室人员称,当时医护呼叫别的
APEC峰会刚结束仅2天,深圳就收获意外惊喜,这次真是赚到了
在阅读此文前,为了方便您进行讨论和分享,麻烦您点击一下“关注”,可以给您带来不一样的参与感,感谢您的支持。 本文章内容均有可靠的信息来源,相关信源加在文章结尾 APEC 峰会在深圳顺利落幕,谁也没有料到,峰会结束仅仅两天,深圳就迎来了一份惊喜收获。 这场汇聚亚太众多经济体的盛会,吸引了各国客商近距离了解深圳的电子、新能源等产业。 不少海外客商在参会考察之后,快速敲定合作意向,订单和投资接连落地。大