✦ Article Detail

内容详情阅读页

围绕重点内容、深度观点与信息整理,提供更清晰的阅读结构与延伸浏览入口。

黄仁勋惨了!英伟达被抓包恶意劣化显卡性能!AI限速近10倍

图片 「 黄圣变黄贼 」 之前AI芯片 Jalapeño 发布时,OpenAI科学家曾指控:英伟达GPU沉迷跑分参数,让超90%硬件性能白白浪费! 现在,借助AI Coding技术,老黄的骚操作被网友扒出来! 事情是这样的,最近开源AI推理引擎Strata以极限榨干硬件性能在全球科技圈大火,动辄在个人电脑上跑出赶超云端大模型的输出token速度! 海外社交媒体X上,一群技术大拿开始自发将Strata适配到不同硬件上,然后大家惊讶地发现,英伟达竟然故意大幅限制自家显卡的AI性能近十倍! 具体操作是: 英伟达人为将20~50系列显卡的AI专用矩阵乘法运算速度,降低50~80%! 除此之外,故意让大模型每次运算时,通过闪存重新加载验证部分参数,造成大模型输出速度降低近90%! X用户@tvytlx总结得很清楚:RTX 3090 Ti和A6000其实是同一块GA102硅片。区别不在核心数量、不在显存,甚至不在功耗墙,而在于 一个标志位 ——一个写着FULL_SPEED,一个写着HALF_SPEED。 Reddit上有人翻了大量代码后还原了事情真相:从20系到50系的消费级游戏卡,NVIDIA在FP16、BF16做矩阵乘再累加到FP32这条路径上,故意把指令发射速率砍掉一半。40系和50系连FP8也砍了。专业卡和数据中心卡则是全速。 被砍的,恰好是AI最吃算力的那几块: 训练、微调LoRA 文生图、文生视频这类扩散模型 大模型的prefill(读长prompt那一步) 一个人跟模型聊天、一个字一个字往外吐,基本没影响——那一步主要卡显存带宽。 有人实测,自己的RTX 6000 PRO核心数只比5090多10-15%,prefill却快了70%左右。差距就在这里。 GitHub上已经有开源项目 gpu-unlock (Zagitta维护),用一个Linux内核模块,在NVIDIA驱动接管之前抢先把速度选择器改掉。不需要刷vBIOS,也不需要每次驱动更新后重新打补丁。 3090 Ti实测数据相当夸张: BF16:87.5 → 157.4 TFLOPS (约+80%) TF32:42.6 → 82.6 TFLOPS (接近翻倍) FP16也有明显提升 社区反馈里,3080、3070、3060 12GB等卡也有60-80%的矩阵乘收益。vLLM长上下文prefill能快14-36%,ComfyUI生图大概快47-59%。token生成(decode)基本不变,因为那是带宽瓶颈。 40系已经有人在Windows上跑通AD103,并开始往其他型号移植;50系更难,NVIDIA加了熔丝专门读这个标志位。有意思的是,50系的FP4似乎没被砍。 仅仅过了一天,又有大神发现英伟达的另一项人为性能限制! X用户@MinLiBuilds发布推文,揭露了自己仅改造英伟达显卡底层软件两行代码,就直接突破了官方的性能限制! 一张魔改RTX 4090 48GB,跑DeepSeek-V4.1-Flash(ISTA GSQ-RCO IQ2_XXS,2.00 bpw),用Strata官方引擎。默认配置下生成速度只有 5.35 tok/s ,首Token等待动辄三十多秒,长提示词甚至超过100秒。折腾一上午查日志,发现真正的瓶颈居然是 SATA SSD 。 专家缓存命中率明明已经89.4%,但每生成一个Token,系统仍要从SSD读取约77.7 MB专家数据。SATA盘带宽就那么点,天花板自然卡在6 tok/s左右。机器有256GB内存,作者只改了两个参数: --ssd-cache 0 --mmap-experts off 把约91.7GB的CPU专家完整驻留进内存,不再频繁读盘。 结果直接起飞: 生成速度 5.35 → 42.64 tok/s (约8倍) 首Token等待 33.36 → 0.66秒 长提示词首Token 102.69 → 11.79秒 冷启动加载时间翻倍(约552秒),但日常使用体验完全变了。 这不是玄学超频,也不是改模型精度,纯粹是 把专家权重从“磁盘流式”改成“内存驻留” 。MoE模型的特性决定了:总参数巨大,但每个Token只激活少量专家。Strata这类引擎会把专家分层放在GPU缓存、系统RAM、甚至SSD上。默认配置在内存充足时仍可能走mmap/低RAM路径,导致即使命中率高,依然有大量磁盘I/O拖后腿。 内存对MoE真的太重要了。作者自己的总结很实在:这速度和首Token延迟目前还没到“生产可用”的128K/256K长上下文级别,但已经证明单卡4090 48GB的潜力远没挖完。接下来他计划继续压榨单卡极限、研究草稿模型加速、开大KV Cache、以及多卡测试。 你觉得这是英伟达为了保护硬件,而“不得不”写下的保护机制? NO! 对GPU寿命有影

about image
⌁ 觉得有用?分享给朋友

让更多人看到这篇内容,也方便朋友快速进入相关信息。

微博 QQ 微信

✦ 推荐阅读