说起来现在这个图是不是某种意义上成真的了

MicroLLM 实验室——在浏览器中体验 7 款微型 LLM
原文：https://stateofutopia.com/experiments/microllmlab/
阅读时间：2 分钟
分数：209

Links Rewritten
duangsuse:
【有力的文字是简洁的】这其实是欧化汉语（翻译腔）。 #english #china
https://fixupx.com/xuanwo/status/2104811628063854831

如果100%保持原意，你会认为它无法再精炼，但其实，【XX是XX的】不够中文化。

“有力的文字必然简洁”
“行文要有力，贵在简练。”
“文贵简练。” 或 “文章有力，重在精粹。如画无废笔，器无繁构。”

It rains. 翻译后不一定写【天在下雨】，可能是“小雨” “天晴雨轻”。 如果你译去译回一次能90%对回原文，说明不够中文

中文的词法，特点在于压缩+扩写，而不单单删掉语素。《文言和白话(人教版)》 《论中文的常态与变态》里就曾以理驳斥诟病“不如文言简洁”或“文字游戏”的说法，列举 “进行……”、“是……的”、“具有……性质” 这些黑名单语法。

LOTU$:
我怀疑你是LLM但是我没有证据

duangsuse:
额

没错，我写的很详细，而且内嵌了50%左右Gemini的输出

但是这个点子确实是我提的，AI只是帮我搜集资料

我说的也是一个问题啊， str2str 的数据流，找到一个MacOS+热键专属的【框】

如果放在网页世界的话， deepl 可能都支持.md 或者按句选择翻译版本了。 LLM的语言能力比它更强不是吗

如果上线还想更新的话，这种润色模块也可以加啊

LLM 自己可不会凭空跑去给 Xuanwo 提这种产品哲学上的 issue。这样分享思路，总比点个赞扔掉对两边更有趣吧

我不想显得自己很judge所以用了类似AI的口吻，str2str 说的好像Xuanwo没有打磨一样，其实我是觉得，既然叫辞达，可以保留简洁和Tuneable

LLM本身信噪比挺优秀的，如果不是往那一甩，它可以作为技术参考

#perf #rust #net Xuanwo是谁
https://xuanwo.io/2023/01-beyond-storage-why-we-failed/
《BeyondStorage: why we failed》在开源界广为流传

三个月？Metadata 框架？这不就是json转静态补齐，顶多挂个funame……

没错…… 这也太可怕了。数十个下游服务仓库，几十个 PR CI 流水线绿成一片，这还是Codex们没有深度集成时， 这种品味，未来不得干成一个go文件0.5MB啊

说回来，unix的mount不够，也不用户态线程，而且fs树的重要性放低了。xxfs的未来恐怕是一片RO给层叠一片给(No)SQLs，s3fs这些东西终究是bash的小秘而已

没错…… s3fs这些FUSE其实本该做成fakeroot的纯用户态。至于网络本地 r/w/a 的块和流统一接口，在特定体积和吞吐量下和 u[k]=v 读写赋值不一样，和 u.map('k',v=>v) 融恰一些，只可惜IO不能这样优雅。

尽管有读写背压和事务retry，S3在应用里还是大同小异的。所以这不是有DAL了吗？ 尽管没有做成纯声明式封装，但op.cmd()也是很聪明的设计

Go=new Java 这个问题还真是，犯过的错都要犯一遍

接口和注解地狱，nil和iferr，pnpm，只是个大数据吞吐量的升级，依旧软件失忆

真的不能理解为什么有人热衷于100行一个repo和left_pad。Codex们出现以后真的都不鸟他们。Unix 提倡“做一件事并做好（Do one thing and do it well）”，但很多开发者把“一件事”极端曲解成了“一个函数” “缺乏用户共情的MVP功能”。

要不是LLM智商在线，我都以为我才是有病的那个，并且还要陪他们一起【震惊跌坐】了

Monorepo和microrepo这些东西真是把我搞笑了，虽然我几乎只写过脚本，但我非常清楚每一百行代码暴露了什么能力和flow。 真搞不懂git那么多有什么意义，“Star 虚荣与 PMC 官僚病” 也是常见问题。至于codegen，我看了也没什么创新，就是javapoet级别，可能字面量vs变量的escape都没做

英伟达让AI重写Kimi注意力内核：速度达到官方版近3倍 #ai #news

NVIDIA 研究团队让 AI Agent 直接重写了 Kimi Delta Attention 的 GPU 内核。Kimi Delta Attention 是月之暗面 Kimi-Linear 模型使用的核心注意力机制之一。这类底层代码过去通常需要熟悉 CUDA 和芯片架构的工程师反复手工优化。

最终，Agent 写出的版本在 NVIDIA B300 上达到月之暗面官方 FlashKDA 的 2.96 倍速度。团队测试了固定长度和不同变长序列共 6 组任务，2.96 倍是全部任务的几何平均值。相关内核已经开源。
信源

动察 Beating 频道 · 动察 Beating 交流群

#signal #statement

#ai锐评 算 SHM 的 Bank Conflict、死扣 Register 的用量防止 Spill、计算 Warp Divergence、Triton 精心切分多层 Tiling。这些东西，都是汇编时代，比如GBA游戏开发的遗毒

🤔💭 你觉得这些东西很厉害，那硬件工程师跑哪说理去呢？ 这些ABI是他们【实现的设计】，OpenGL和Vulkan那群人在网上有个毛的声量，谁说他们是手艺人呢？ 他们是透明人。

长期以来，我理解的【软件工艺】，是同一份代码，布局差不多的功能效果，但通过元编程知识，让每个.py.js .. 更短且可扩展，或许是要像 tf->th 的范式转移那样的元编程

它们（特定厂商krnl）没有任何visualize，也缺乏复用、分支繁荣的能力，没有人机界面或生态圈，仅仅是spell。  【软件工艺】不是以IQ和理解能力为护城河的，而是以灵感和语境

KDA² 并不是让人脊背发凉，它只是%timeit自返馈回输入的优秀【机-核界面】而已。 没有这样的【元能力】【元思路】才是让人奇怪的，比如，为什么全栈没有融合跑分的转译器？ 为什么perf和覆盖率不像F12事件断点那样容易？

作者焦虑的方向——不是"我再也不能一个字一个字敲了"，而是"我说得清楚什么叫对吗"。

那我们都已经用上自反馈架构了，冯诺曼确实已经过时了。 解释力(distill.pub) 的多元化没有过时，但矩阵转来转去也不属于这个【人机界面】范围啊。

ML 的初衷不就是隐藏参数、只面向任务和迁移吗？喜欢【知道啥更对】应该去AI领域。 SIG领域从来没有过人能解释，但表现能够用的（比如FFT要么是钢琴键和EAC音高，若结合相位做ASR/TTS一秒破功），hardcode雕刻的都是和数学方程一样不真实的情况

比如demucs就没有用频谱，mel对数stft就像在CV里边缘检测还翻转卷积核一样怪异。

你手工插进管线的，机器怎么拟合？ Sobel本身是2D求导技巧，放信号处理上不算什么可读的原理

这些个算法，本质上是Canny或f0音高那样的 “ControlNet”，为了辅助训练加速FLOPs提供，但不是说生物就用那种方法做判断。就像语法可以有，但流形编码的词典效果比手搓的屎山可维护

而且希望手搓的许多人，往往没有博客可视化介绍手搓技巧和跟因啊 。 。

ML的哲学本来就是以力破巧，照抄平均脸。 跳步、预先省试错的智能，就像画师的数位板那样，单线程的。

这就像狙击手以为破盾容易，除非对方反应过来唯快不破，但，人家是个反重力铅板坦克……

英国火车站进行50万次人脸扫描：零逮捕，仅出现1次误报
原文：https://www.theguardian.com/technology/2026/sep/29/trial-live-facial-recognition-cameras-london-stations-false-positive
阅读时间：3 分钟
分数：462 🔥

#signal
CUDA 的 PTX 汇编设计者、Khronos 那群人（ ShaderToy.com 的上游） 、Mesa 维护者，没有任何声量，而 kernel 作者恰好坐在 ML 圈子看得见的那条边界上，就成了顶尖英雄。

都在说手搓汇编牛逼，谁问把指令流翻译成布线，同时掌握二者的人怎么样了

声量分配跟贡献无关，只跟"离热点多近" “是不是北大高材生”有关。

如果追求人机界面，应该喜欢编译器和DSL元编程；如果追求底层，可以与嵌入式和可观测圈打交道

Hopper 上调好的东西到 Blackwell 得重来，这不是工艺积累，是对漏水抽象的【人肉编译器】适配。是反向积累和“分支预测失败”。

就像一个能力足够的人坐在那录一整天20min会议稿。 有天赋，但是不scale。 可能过一年你的判断力还是老样子

这就像一个人曾以为，【apk增量更新】就是像make -j8 那样按日期降序同步文件，写完后知道CAS分块寻址，震惊跌坐了。然而，read()本来就有块、流、列表三个模式，而且fork()的脏页正是4K块的“内容寻址”

以为【deb打包】就是手写文件地址的，后来知道PKGBUILD和自动 ld.so/exec 转依赖名，AppImage叠层，继续头脑爆雷，然而，包管理本来能反查，PATH也本就是只增叠层

两个世界互相不在乎。包管理让你自己填表格，既不安全更不方便。这就是计算机界许多牛人的真相——他们太顺了，以至于忘记了直觉。

🎁 洞察力对代码质量（甚至功能）的提升有限，但它会帮你减少摩擦。如果对【增量更新】的理解从 find . -depth 变为.bytes[hash]，基于数据流的实现，不会出根本性的变化（还是消息传递，换个类型），而zipdiff的思路，就是代码库没用了。这还只是个生活化的案例。

当然，KDA² 长期以来没爆，不是因为没有源码级自反馈的思路，而是AI编程（自己调超参数）能力太差，以至于旧的框架特性重获挑战需要二开

我说的灵感不是指调试时的经验，是【不需要问这个问题】的元能力。比如，torch就是靠Tape和动态图/静态优化/断点支持“瞬间”超过tf的

这不是一个【淘汰工匠】的问题，实际上，没人是不受消费主义“价值威胁”的。 这是动机纯洁并持续投入者的胜利。

#learn #ml #math

“让计算机在没有被明确编程的情况下具备学习能力的研究领域。” 这是句递归废话

说的好像不应该为通用模态优化一样：这就和Web是一个道理。

内容才是关键，什么mp4 mp3的先验都是过度强调实现（“先验”）而没有直觉。变形金刚是"集合+位置"音画词元都塞的下

那ML时，对目标音画任务的手工经验，又有什么物理意义呢？ 还是在解决DNN自己的信噪比和loop中的效率问题

“ML 的初衷不就是隐藏参数、只面向任务和迁移吗？”

我这句好歹还指向了函数模块化，以及概率模型与硬编码流控/GPU核间的最大语法级差异（几个自ret反馈的参数）

AI给的教科书定义，别说和ONNX这些可比于jvm的货对齐了（调教技术是算子运行的AOP侧面），向量、词元、流形和嵌入，CNN,RNN和RL这些反馈策略也没提。一个语境都搭不起来

传统任务，比如cv模板匹配（找茬/截图OCR）、同义词搜索和视频推荐、轨迹平滑跟踪、人脸处理、游戏抗锯齿、鸡头稳定器（云台和大疆），无DNN的方法刚好够用

AI有降采样和升采样的界别。在早期应用里ASR较难而TTS容易，OCR较难而字存字渲容易。 最后搞成浓缩的可能是精华，补齐的也未必是废料，不能说len(信息量)都不是先验了吧？ 但算力（熵值）对不上去

之前的【小模型】基本是Jev/SAM那种分类器，或预测续写，3gram和HMM就是纯概率论的预测。GenAI，就不一样了，一边补齐音画里没有的信息量，又有一定分类器的中间产物

信息熵≠信息量，也没有绝对客观的“低惊奇”。蝙蝠眼里的低熵和人一样吗？

传统 ML 是无状态的DAG，只能整体loop调教，加了循环展开(torch)就变成DNN，可以随便挂RNN(seq2seq)分析器，加了“点赞系统”的梯度就是RL。这个思路和Taichi的可微物理学（投篮偏差可以一步矫正）互补

王垠说RNN是编程里那个嵌套纯粹扯淡，AB帧缓冲防撕裂和[100]->[1]*100的关系都比字面意义更近

sd用向量场来肢解token“噪声”扭曲画布的意图(CLIP+INCE)，LLM则依赖QKV缓存的P(all_tokens)链条，单向链条对应的mask和Attn配合，U-Net 的形状就是字面的编码器-解码器（飞线skip解决信息瓶颈）。

或许你训练了很多年，擅长在运行之前思考和剪掉各种坏处，但对DNN来说依旧是【很差的父母】 #life

许多人说，【炼丹】时希望用到博士时期学的，以及玩具应用的论证经验，但最后就是像英伟达KDA这样，发现自己成了预处理的脚手架，或git方案盖章员，技术栈彻底大宗商品化

【人工的智能】就像硬件外设一样，是MFU跑分的优化器，至于你“会写高知思维链”，没人在乎，那只是个“握手协议”。 物理之于数学，就像sex之于鹿管。

毕竟你不听孩子怎么叫唤，只想着自己学到过什么“真理”。真理就像Fma和Emc，说服父母需要几百行理论，但直觉和兴趣足以理解它们。就像父母造人时一样