感觉至少有一百万人对RDMA组cluster跑LLM的负载特性毛都不懂一个就知道复读Spark有200GbE,不得不说NVIDIA的营销能力深入人心😅
https://x.com/FrameworkPuter/status/2080005377434005756
https://x.com/FrameworkPuter/status/2080005377434005756
X (formerly Twitter)
Framework (@FrameworkPuter) on X
@trout_kilg31775 For tensor parallelism, the constraint is latency more than throughput. As long as you get RDMA (RoCE), you can get latency lower enough t o enable that.
😁21
我用最直接、最真相、最不绕弯的方式来告诉你,如果一个跑分软件3年大改3次评分标准,那不如大家都别测试了,直接找厂商搞竞价排名。
😁40⚡3
可是他自家的open model就是一坨巨大的狗屎,说这么多鬼话到头来还是想白嫖中国公司融资的钱然后倾销到美国去跟OpenAI/Anthropic恶性竞争罢了(
https://x.com/hjc4869/status/2080658505732858223
现在看到那几个美国公司谈开源模型就想笑。
两三年时间,要么是造了几吨Nemotron那种下载嫌浪费流量的不可回收垃圾,要么发一次gpt oss就没了下文,要么弄phi那种改几个字就跑分骤降的过拟合刷分神器。没哪家拿出真正SOTA方案给客户本地部署。
现在倒是想起来还有开源模型这回事了,怎么这么巧呢?
👍26
K3本质上还是个闭源模型,所谓开源主要是一种营销手段。
虽然我这两天吐槽了A\和OpenAI等一堆商业公司,但是现在很多人对开源模型有奇怪的期待,也是时候该泼下冷水了。开源并不能省钱,你算出来便宜只是在白嫖别人的训练成本,长期看这个钱你还是得以某种形式付出去。
当然我100%支持模型厂商收钱。
https://x.com/cherylnatsu/status/2081996644476965119
虽然我这两天吐槽了A\和OpenAI等一堆商业公司,但是现在很多人对开源模型有奇怪的期待,也是时候该泼下冷水了。开源并不能省钱,你算出来便宜只是在白嫖别人的训练成本,长期看这个钱你还是得以某种形式付出去。
当然我100%支持模型厂商收钱。
https://x.com/cherylnatsu/status/2081996644476965119
X (formerly Twitter)
夏雨婷 (@cherylnatsu) on X
个人根本没有硬件跑得起来。
小服务商跑这种东西可能根本没什么利润还不如跑规模低的模型。
大服务商跑这个假设真能赚钱那还是在帮K厂做生态。
别厂研究者也没法吸收或进行有效二次开发因为仅仅拿到权重。
这种“开源”我把它称为伪开源,蹭开源软件打下的名声。
小服务商跑这种东西可能根本没什么利润还不如跑规模低的模型。
大服务商跑这个假设真能赚钱那还是在帮K厂做生态。
别厂研究者也没法吸收或进行有效二次开发因为仅仅拿到权重。
这种“开源”我把它称为伪开源,蹭开源软件打下的名声。
🤡25👍13👎4🤣3🤔2🖕1👀1
本来现在gcc在生态上就已经被llvm远远甩在身后,再拒绝AI生成代码会怎么样我不好说。。。
https://www.phoronix.com/news/GCC-Declining-AI-Contributions
https://www.phoronix.com/news/GCC-Declining-AI-Contributions
Phoronix
GCC To Decline Any Significant Contributions Made Via AI/LLMs - Except For Test Cases
The GCC Steering Committee announced today that they have accepted the recommended policy of the GCC AI Policy Working Group, which means no 'legally significant' code contributions made via AI/LLM agents will be accepted into this open-source compiler.
👎2
AI分析师们一个个都引用MS财报里卖出多少M365 copilot订阅来洋洋洒洒的分析AI的前景和盈利能力,可是我看到的用公司订的copilot的员工怎么没一个是不对这货骂娘的😂
😁35
在 AvaloniaUI 软件中渲染 HDR 视频内容 https://blog.hjc.im/avaloniaui-hdr.html
🤓2👨💻2🤔1
3年过去了,Twitter/X的spam大概是让这平台真的已经完蛋了吧。当然另一方面Telegram也几乎变成Spam-as-a-Service了,好在有llm admin bot帮我自动化清理评论区还算勉强能用😅
https://x.com/hjc4869/status/1675401146607738882
https://x.com/hjc4869/status/1675401146607738882
X (formerly Twitter)
David Huang (@hjc4869) on X
考虑到Twitter💊的可能性,先开个Telegram channel备用吧……
接下来一段时间会把各个平台的想法同步发布进去,有兴趣的可以进 https://t.co/IbPzL8O5gh
接下来一段时间会把各个平台的想法同步发布进去,有兴趣的可以进 https://t.co/IbPzL8O5gh
更新Intel 386H (DDR5-5600 SODIMM)的全套测试成绩。感觉还是首发的358H强……
https://benchview.hjc.im/#dataset=data%2FSPECrate2026_int_base.csv&base=Intel+Core+Ultra+9+386H+P-core+%28DDR5-5600B+64G%29
https://benchview.hjc.im/#dataset=data%2FSPECrate2026_int_base.csv&base=Intel+Core+Ultra+9+386H+P-core+%28DDR5-5600B+64G%29
😁9🔥1