一个老板为什么不要去请什么战略顾问？
1. 销售问题
有时候销售问题的关键是产品力还没有起来，而不是真的销售有问题。产品前期都要边营销、边快速增强产品的功能，不要因为焦虑去请顾问。
2. 融资问题
本质还是产品问题。只有产品好一点、销售多一点，才能融到资。融资是一个证明团队能力的过程，急不得。销售不行，战略顾问也解决不了你的问题。
3. 定位问题
《定位》这本书写得很好，但是很多老板犯的错误，是想在家里“坐着”幻想把市场定位想清楚。但真正的定位，是在市场上被鼓励或者被质疑以后，老板真金白银撒出去、交了学费，千疮百孔地坐在家里盘点：哪些是自己真的想做的？哪些是自己不想做的？吃亏以后才能找到自己，因为定位本质是创始人自己的特质，而不仅仅是市场行为。你喜欢什么，才能坚持什么，战略顾问帮不了你。
老板要花很长的时间去提升自己的认知。市场上大部分战略顾问，是治疗那些本来病会自愈的创始人，而不是治疗本来就没法救的病人。
从这一点来看，与其期望别人救你，真的不如多和客户聊，多看售后反馈，把心思都花在产品和读书上。这些都要比花钱请顾问节省很多时间和精力。
创业本质是提升认知、找到自我、等待花开的过程。说给同在创业的你：不要着急，安静的努力才是创业最平淡、也是最美好的过程。
via https://manateelazycat.github.io/feed.xml
1. 销售问题
有时候销售问题的关键是产品力还没有起来，而不是真的销售有问题。产品前期都要边营销、边快速增强产品的功能，不要因为焦虑去请顾问。
2. 融资问题
本质还是产品问题。只有产品好一点、销售多一点，才能融到资。融资是一个证明团队能力的过程，急不得。销售不行，战略顾问也解决不了你的问题。
3. 定位问题
《定位》这本书写得很好，但是很多老板犯的错误，是想在家里“坐着”幻想把市场定位想清楚。但真正的定位，是在市场上被鼓励或者被质疑以后，老板真金白银撒出去、交了学费，千疮百孔地坐在家里盘点：哪些是自己真的想做的？哪些是自己不想做的？吃亏以后才能找到自己，因为定位本质是创始人自己的特质，而不仅仅是市场行为。你喜欢什么，才能坚持什么，战略顾问帮不了你。
老板要花很长的时间去提升自己的认知。市场上大部分战略顾问，是治疗那些本来病会自愈的创始人，而不是治疗本来就没法救的病人。
从这一点来看，与其期望别人救你，真的不如多和客户聊，多看售后反馈，把心思都花在产品和读书上。这些都要比花钱请顾问节省很多时间和精力。
创业本质是提升认知、找到自我、等待花开的过程。说给同在创业的你：不要着急，安静的努力才是创业最平淡、也是最美好的过程。
via https://manateelazycat.github.io/feed.xml
学会蛙泳手的关键
昨天跟教练把蛙泳腿学会了，今天主要学习了蛙泳手。
今天反复练习才发现，我的蛙泳手划的圈太大，所以游得很累，而且会导致不平衡。正确的方法应该是：
1. 双手扒水到 60 度，不要太宽。
2. 小臂下垂。我之前就是小臂没下垂，导致我划了很大的一个圈，很累，而且很容易不平衡。
3. 小臂下垂以后，大臂旋转到手朝脸，手肘贴着。这一步很重要。
4. 手肘贴着的时候，翻腿，手往前伸。
我觉得最重要的其实就是第二步和第三步。教练说，第二步和第三步做好以后，你的阻力就很小，就不容易来回晃。
我之前就是蛙泳手不对，来回晃，导致我的脚和手一直在做平衡，游不快。这次手不晃以后，再配上腿，感觉都快比自由泳快了😂
via https://manateelazycat.github.io/feed.xml
昨天跟教练把蛙泳腿学会了，今天主要学习了蛙泳手。
今天反复练习才发现，我的蛙泳手划的圈太大，所以游得很累，而且会导致不平衡。正确的方法应该是：
1. 双手扒水到 60 度，不要太宽。
2. 小臂下垂。我之前就是小臂没下垂，导致我划了很大的一个圈，很累，而且很容易不平衡。
3. 小臂下垂以后，大臂旋转到手朝脸，手肘贴着。这一步很重要。
4. 手肘贴着的时候，翻腿，手往前伸。
我觉得最重要的其实就是第二步和第三步。教练说，第二步和第三步做好以后，你的阻力就很小，就不容易来回晃。
我之前就是蛙泳手不对，来回晃，导致我的脚和手一直在做平衡，游不快。这次手不晃以后，再配上腿，感觉都快比自由泳快了😂
via https://manateelazycat.github.io/feed.xml
本地跑 AI Agent 成本到底有多低？
网上很多讲2台英伟达DGX构建本地算力的文章，都在讲每秒中能跑多少Tokens，今天我们讲点实际的：本地AI在真实软件工程项目中，到底需要多长时间？构建软件的成本到底有多低？
懒猫 AI 算力舱
首先介绍一下我们家的懒猫AI算力舱，英伟达芯片，128GB显存，2070T算力，273GB显存带宽，40~130W功耗
很多人问的第一个问题，懒猫AI算力舱和英伟达DGX有什么区别？
1. AI算力是DGX的2倍
2. 外壳散热性更好，运行更稳定，轻松支撑 7x24 小时运行
3. 有专业的AI模型团队提供售后服务，包括最新大模型适配和安装服务，传统硬件厂商卖完硬件后就无法提供后续的模型适配服务
两台算力舱并联
很多朋友第二个问题，两台算力舱怎么并联？ 和一台有什么区别？
1. 两台算力舱通过100G光口并联，实现显存直通，通过vLLM技术可以装载运行更大的模型，两台算力舱的显存加载一起是256GB
2. 一台也可以跑DeepSeek V4 Flash，两台因为显存增大会获得更大的KV缓存，简而言之就是跑大型软件工程项目更稳
实战
好，我们今天直接进入实战，首先通过Pi Agent 来跑 DeepSeek V4 Flash， Pi Agent是目前最省Token的Coding Agent，速度超级快
我按照下面的提示词告诉DeepSeek，把一个开源的模型移植为懒猫微服的LPK，让AI自动看懒猫微服的开发手册和AI Skill，剩下的就让AI自己研究搞定
50分钟以后，AI全自动搞定了，包括写代码，构建docker镜像还有推送镜像的时间！
最后效果图如下
构建成本
好了，我们最后来算一下构建这个应用的成本：
两台机器，最高130w，运行时大概50%的负载，两台260w除以2是130w，130w跑50分钟，我们把时间算大一点，按照一个小时算
两台算力舱一个小时消耗0.13度电，按照0.65元一度电算，一个小时的电费是8分钱
DeepSeek V4 Flash现在非常能打了，虽然绝对的AI智力还和线上有差距，但是一天1.9元的电费，还要啥自行车呀？ 大多数软件工程的体力活完全可以交给一个一天不到2元花费的AI去执行，睡一觉早上起来就好了
离线 AI 计算的好处
而且离线AI计算有三大好处：
1. 公司机密数据不上传公有云服务商，保护机密就是公司的竞争力
2. 可以跑很多 “不审查” AI模型，线上的模型都做了很多限制，你懂得
3. 一次投入以后就是电费，你用线上的AI模型，随着显卡和内存越来越贵，以后的线上Token只会越来越贵，而离线设备每天只用付不到2元的电费，这还是按照7x24小时去算的，如果只是偶尔蹬一下AI，一天电费只有几毛钱
via https://manateelazycat.github.io/feed.xml
Invalid media:
image
image
image
image
image
image
网上很多讲2台英伟达DGX构建本地算力的文章，都在讲每秒中能跑多少Tokens，今天我们讲点实际的：本地AI在真实软件工程项目中，到底需要多长时间？构建软件的成本到底有多低？
懒猫 AI 算力舱
首先介绍一下我们家的懒猫AI算力舱，英伟达芯片，128GB显存，2070T算力，273GB显存带宽，40~130W功耗
很多人问的第一个问题，懒猫AI算力舱和英伟达DGX有什么区别？
1. AI算力是DGX的2倍
2. 外壳散热性更好，运行更稳定，轻松支撑 7x24 小时运行
3. 有专业的AI模型团队提供售后服务，包括最新大模型适配和安装服务，传统硬件厂商卖完硬件后就无法提供后续的模型适配服务
两台算力舱并联
很多朋友第二个问题，两台算力舱怎么并联？ 和一台有什么区别？
1. 两台算力舱通过100G光口并联，实现显存直通，通过vLLM技术可以装载运行更大的模型，两台算力舱的显存加载一起是256GB
2. 一台也可以跑DeepSeek V4 Flash，两台因为显存增大会获得更大的KV缓存，简而言之就是跑大型软件工程项目更稳
实战
好，我们今天直接进入实战，首先通过Pi Agent 来跑 DeepSeek V4 Flash， Pi Agent是目前最省Token的Coding Agent，速度超级快
我按照下面的提示词告诉DeepSeek，把一个开源的模型移植为懒猫微服的LPK，让AI自动看懒猫微服的开发手册和AI Skill，剩下的就让AI自己研究搞定
50分钟以后，AI全自动搞定了，包括写代码，构建docker镜像还有推送镜像的时间！
最后效果图如下
构建成本
好了，我们最后来算一下构建这个应用的成本：
两台机器，最高130w，运行时大概50%的负载，两台260w除以2是130w，130w跑50分钟，我们把时间算大一点，按照一个小时算
两台算力舱一个小时消耗0.13度电，按照0.65元一度电算，一个小时的电费是8分钱
DeepSeek V4 Flash现在非常能打了，虽然绝对的AI智力还和线上有差距，但是一天1.9元的电费，还要啥自行车呀？ 大多数软件工程的体力活完全可以交给一个一天不到2元花费的AI去执行，睡一觉早上起来就好了
离线 AI 计算的好处
而且离线AI计算有三大好处：
1. 公司机密数据不上传公有云服务商，保护机密就是公司的竞争力
2. 可以跑很多 “不审查” AI模型，线上的模型都做了很多限制，你懂得
3. 一次投入以后就是电费，你用线上的AI模型，随着显卡和内存越来越贵，以后的线上Token只会越来越贵，而离线设备每天只用付不到2元的电费，这还是按照7x24小时去算的，如果只是偶尔蹬一下AI，一天电费只有几毛钱
via https://manateelazycat.github.io/feed.xml
Invalid media:
image
image
image
image
image
image
Pi Agent + DeepSeek 深度优化
昨天晚上用2台懒猫AI算力舱完成了一个真实的编程项目，但是在使用过程中，发现很多需要微调和优化的地方，不是很爽
今天优化了一上午，和大家分享一下我的进展：
1. 上下文优化： 最开始的版本是131K，但是只占用了100GB的显存，每台还剩20GB显存没用，我觉得浪费了，直接把DeepSeek max-model-len 和 kv-cache-memory-bytes 都拉到 328K， 拉到328K后， 每台显存还剩7~9GB，挺好。 这样优化以后，我就可以跑更大的项目而不需要压缩上下文，显存最后还是留一点，保证7x24小时运行的稳定性
2. 增加思考模式： 把DeepSeek的 –reasoning-parser 参数默认打开， 这样 Pi Agent 中就可以通过 Shift + Tab 快速切换 DeepSeek 的思考模式，当切换到 think:high 模式后，你就可以认为 DeepSeek 进入 GPT Max的模式，更加聪明。但是因为我们懒猫AI算力舱是本地部署的，所以默认就 high 吧，无限Tokens使劲蹬
3. 默认打开工具调用： 默认把 –enable-auto-tool-choice 打开，要不是 Pi Agent 无法使用 DeepSeek 自动调用工具的能力， 问几个问题DeepSeek就停止了。优化后，相当于 Pi Agent 配合 DeepSeek 就可以进入 yolo 模式了。只用许愿，剩下的事情让AI搞定
优化完成以后，就可以直接重启 Pi Agent 享受深度优化的 DeepSeek 模型啦，下面是 Pi Agent + DeepSeek 跑的实际效果
很多朋友也在问，两台算力舱 + DeepSeek 离线跑有多快？可以看下面的视频感受一下速度， 每秒 60 tokens ，超级能打了，很多国产模型的在线版本还没这个快呢
最后，很多朋友关心，成本呢？
一天24小时100%负荷使用，一天成本1.9元，是不是世界上最便宜的 DeepSeek ？
via https://manateelazycat.github.io/feed.xml
Invalid media:
image
image
video
昨天晚上用2台懒猫AI算力舱完成了一个真实的编程项目，但是在使用过程中，发现很多需要微调和优化的地方，不是很爽
今天优化了一上午，和大家分享一下我的进展：
1. 上下文优化： 最开始的版本是131K，但是只占用了100GB的显存，每台还剩20GB显存没用，我觉得浪费了，直接把DeepSeek max-model-len 和 kv-cache-memory-bytes 都拉到 328K， 拉到328K后， 每台显存还剩7~9GB，挺好。 这样优化以后，我就可以跑更大的项目而不需要压缩上下文，显存最后还是留一点，保证7x24小时运行的稳定性
2. 增加思考模式： 把DeepSeek的 –reasoning-parser 参数默认打开， 这样 Pi Agent 中就可以通过 Shift + Tab 快速切换 DeepSeek 的思考模式，当切换到 think:high 模式后，你就可以认为 DeepSeek 进入 GPT Max的模式，更加聪明。但是因为我们懒猫AI算力舱是本地部署的，所以默认就 high 吧，无限Tokens使劲蹬
3. 默认打开工具调用： 默认把 –enable-auto-tool-choice 打开，要不是 Pi Agent 无法使用 DeepSeek 自动调用工具的能力， 问几个问题DeepSeek就停止了。优化后，相当于 Pi Agent 配合 DeepSeek 就可以进入 yolo 模式了。只用许愿，剩下的事情让AI搞定
优化完成以后，就可以直接重启 Pi Agent 享受深度优化的 DeepSeek 模型啦，下面是 Pi Agent + DeepSeek 跑的实际效果
很多朋友也在问，两台算力舱 + DeepSeek 离线跑有多快？可以看下面的视频感受一下速度， 每秒 60 tokens ，超级能打了，很多国产模型的在线版本还没这个快呢
最后，很多朋友关心，成本呢？
一天24小时100%负荷使用，一天成本1.9元，是不是世界上最便宜的 DeepSeek ？
via https://manateelazycat.github.io/feed.xml
Invalid media:
image
image
video
Pi Agent 编程插件列表
我玩了一下午，发现下面这几个插件配合最完美，上一版有兼容性问题。
1.
2.
3.
4.
5.
via https://manateelazycat.github.io/feed.xml
Invalid media: image
我玩了一下午，发现下面这几个插件配合最完美，上一版有兼容性问题。
1.
pi-web-access：访问网络资源2.
pi-mcp-adapter：访问 MCP3.
pi-grok-cli：访问 Grok API，蓝 V 必备4.
pi-rewind：每次 AI 输出的时候都备份一下代码5.
pi-powerline-footer：底部显示一些彩色的好看信息via https://manateelazycat.github.io/feed.xml
Invalid media: image
让 Pi Agent 的快捷键和 Codex 保持一致
已经习惯了 Codex 的快捷键了，把 Pi Agent 的快捷键也改成和 Codex 一样的。这样切换不同 AI 的时候，手指头的习惯可以保持一致。
Pi Agent 改快捷键的方法
新建
按键说明
1. Enter：提交消息（空闲时发送，忙碌时插队）
2. Alt+H：路径/文件自动补全
3. ↑ / Ctrl+P：光标上移（含历史浏览）
4. ↓ / Ctrl+N：光标下移（含历史浏览）
5. Tab：排队跟进消息（等当前任务完成后再执行）
6. Ctrl+C：中断当前操作
7. Ctrl+L：清空编辑区
via https://manateelazycat.github.io/feed.xml
已经习惯了 Codex 的快捷键了，把 Pi Agent 的快捷键也改成和 Codex 一样的。这样切换不同 AI 的时候，手指头的习惯可以保持一致。
Pi Agent 改快捷键的方法
新建
~/.pi/agent/keybindings.json，填入下面的内容：{
"tui.input.submit": "enter",
"tui.input.tab": "alt+h",
"tui.editor.cursorUp": ["up", "ctrl+p"],
"tui.editor.cursorDown": ["down", "ctrl+n"],
"app.message.followUp": "tab",
"app.interrupt": "ctrl+c",
"app.clear": "ctrl+l"
}
按键说明
1. Enter：提交消息（空闲时发送，忙碌时插队）
2. Alt+H：路径/文件自动补全
3. ↑ / Ctrl+P：光标上移（含历史浏览）
4. ↓ / Ctrl+N：光标下移（含历史浏览）
5. Tab：排队跟进消息（等当前任务完成后再执行）
6. Ctrl+C：中断当前操作
7. Ctrl+L：清空编辑区
via https://manateelazycat.github.io/feed.xml
人生不只是节省，更要投资于认知
买房子的目的是什么？
不仅仅只是避免定期被房东赶走、搬家的痛苦，更重要的是可以一点一点地装饰属于自己的房子，给自己提供面对一切困难的精神港湾。
买车的目的是什么？
不仅仅只是挡风遮雨，更重要的是可以带自己和家人去探索不同的人文和绝世的美景。除了工作外，也让自己感觉到不虚此生。
买懒猫 AI 算力舱的目的是什么？
不仅仅只是拥有无线 Tokens 和数据隐私，更重要的是，你可以自由地探索 AI 模型，学习不一样的 AI 认知。当你有了更广阔的视野和深厚的知识以后，才能享受任意创造的快乐。
人生不仅仅只是节省，更重要的是要把自己赚来的钱投资于认知，多经历，享受当下。
via https://manateelazycat.github.io/feed.xml
买房子的目的是什么？
不仅仅只是避免定期被房东赶走、搬家的痛苦，更重要的是可以一点一点地装饰属于自己的房子，给自己提供面对一切困难的精神港湾。
买车的目的是什么？
不仅仅只是挡风遮雨，更重要的是可以带自己和家人去探索不同的人文和绝世的美景。除了工作外，也让自己感觉到不虚此生。
买懒猫 AI 算力舱的目的是什么？
不仅仅只是拥有无线 Tokens 和数据隐私，更重要的是，你可以自由地探索 AI 模型，学习不一样的 AI 认知。当你有了更广阔的视野和深厚的知识以后，才能享受任意创造的快乐。
人生不仅仅只是节省，更重要的是要把自己赚来的钱投资于认知，多经历，享受当下。
via https://manateelazycat.github.io/feed.xml
这两天 DHH 被各路开源社区大神讽刺，我要站出来跟他说句话
仁慈的独裁者
世界上伟大的作品，其实都是由仁慈的独裁者创造的。
就拿大家最认同的 Linux 开源社区的发展来说，离不开两个人。第一个是创造 GNU 工具链的 Richard Stallman，另外一个人就是创造 Linux 内核的 Linus。
斯托曼老人家当年在 Unix 大型机横行的时代，创作了一系列的底层编译工具链。GCC、GDB、Emacs 和一系列 GNU 的底层软件，都是这个老人家一手创建的。在当时 Unix 横行、面对基本上所有人的不理解时，他一意孤行，打下了良好的编译工具链基础，才有了今天 Linux 上层的枝繁叶茂。
Linus 大神当年在芬兰的大学待了整整 8 年，就为了创作一个跟 Minix 截然不同的 Linux 系统，独自一人搞定了 POSIX 接口和完整的 x86 内核。
如果没有当时这两个人坚定的意志、超强的能力和仁慈的独裁，我相信大家今天不会享受到 Linux 开源社区的繁荣，也不可能有安卓和服务器的生态。
很多人说，Linux 社区的成功更源于开源社区全世界黑客的巨大贡献，当然，这是无可否认的。但是你们要知道，最关键的是，这两位老人家做了前面的 1，才有后面社区的 0。工程化的东西，可以靠人多力量大来解决；但是开创性的理念，只能靠最开始的那一个人去做决策。
Linux 桌面缺少什么
Linux 桌面本身已经有了非常好的基础，但是为什么发展不起来？就是因为缺少一个足够好的桌面系统。
而一个足够好的桌面系统，不光是内核要足够强大、技术要多么先进。一个桌面系统最重要的就是交互体验和取舍，简而言之，就是让你装上去就用得舒心。
Linux 桌面发展这么多年，面对普通人的需求时，就被拉扯得很奇怪。很多人说，你为什么这里不像 Windows，那里不像 Windows；这里不像 Mac，那里不像 Mac？最后在各种抄袭中迷失了自我。
其实我觉得完全没必要。因为 Linux 的主要人群就是工程师，他们装 Linux 的目的就是探索开源库，然后创造很多新的玩法。
所以 Linux 桌面就应该聚焦到这些工程师身上，做一个快捷键导向、简洁高效的开发环境。而 DHH 本身就是兼具超强工程能力和优秀审美的天才，他可以把很多纷繁复杂的需求转化为简洁高效的默认设置。
期待 DHH 的 Linux 桌面
所以我非常看好 DHH 在 Linux 桌面上的创作，因为他本身就是最懂工程师的产品设计师。而 Linux 社区，有超强技术的人一大把，但是有审美的产品设计师寥寥无几。
期待 DHH 更多设计，做出无与伦比的 Linux 桌面。
via https://manateelazycat.github.io/feed.xml
仁慈的独裁者
世界上伟大的作品，其实都是由仁慈的独裁者创造的。
就拿大家最认同的 Linux 开源社区的发展来说，离不开两个人。第一个是创造 GNU 工具链的 Richard Stallman，另外一个人就是创造 Linux 内核的 Linus。
斯托曼老人家当年在 Unix 大型机横行的时代，创作了一系列的底层编译工具链。GCC、GDB、Emacs 和一系列 GNU 的底层软件，都是这个老人家一手创建的。在当时 Unix 横行、面对基本上所有人的不理解时，他一意孤行，打下了良好的编译工具链基础，才有了今天 Linux 上层的枝繁叶茂。
Linus 大神当年在芬兰的大学待了整整 8 年，就为了创作一个跟 Minix 截然不同的 Linux 系统，独自一人搞定了 POSIX 接口和完整的 x86 内核。
如果没有当时这两个人坚定的意志、超强的能力和仁慈的独裁，我相信大家今天不会享受到 Linux 开源社区的繁荣，也不可能有安卓和服务器的生态。
很多人说，Linux 社区的成功更源于开源社区全世界黑客的巨大贡献，当然，这是无可否认的。但是你们要知道，最关键的是，这两位老人家做了前面的 1，才有后面社区的 0。工程化的东西，可以靠人多力量大来解决；但是开创性的理念，只能靠最开始的那一个人去做决策。
Linux 桌面缺少什么
Linux 桌面本身已经有了非常好的基础，但是为什么发展不起来？就是因为缺少一个足够好的桌面系统。
而一个足够好的桌面系统，不光是内核要足够强大、技术要多么先进。一个桌面系统最重要的就是交互体验和取舍，简而言之，就是让你装上去就用得舒心。
Linux 桌面发展这么多年，面对普通人的需求时，就被拉扯得很奇怪。很多人说，你为什么这里不像 Windows，那里不像 Windows；这里不像 Mac，那里不像 Mac？最后在各种抄袭中迷失了自我。
其实我觉得完全没必要。因为 Linux 的主要人群就是工程师，他们装 Linux 的目的就是探索开源库，然后创造很多新的玩法。
所以 Linux 桌面就应该聚焦到这些工程师身上，做一个快捷键导向、简洁高效的开发环境。而 DHH 本身就是兼具超强工程能力和优秀审美的天才，他可以把很多纷繁复杂的需求转化为简洁高效的默认设置。
期待 DHH 的 Linux 桌面
所以我非常看好 DHH 在 Linux 桌面上的创作，因为他本身就是最懂工程师的产品设计师。而 Linux 社区，有超强技术的人一大把，但是有审美的产品设计师寥寥无几。
期待 DHH 更多设计，做出无与伦比的 Linux 桌面。
via https://manateelazycat.github.io/feed.xml
Pi Agent + Qwen 3.8 27B 深度优化
昨天晚上部署了一下 Qwen 3.8 27B 到懒猫AI算力舱 X5 上，因为 X5 有 128GB 的显存，所有一台就够了。
这次测试，没有简单的测试 Tokens 数据，在一个真实的项目中跑了 4 个任务。
第二天起来，4 个任务都完成的不错，Qwen 3.8 虽然是一个小模型，但是它的 27B 应该是一个稠密性模型，不像很多 MoE 模型那样运行速度并不快，大概只有 13 ~ 15 Tokens。
早上对 Qwen 3.8 27B 做了 MTP 投机解码 + NVFP8 混合优化，并且关闭了 thinking 模式，速度从 13.9 Tokens 提升到 30.8 Tokens。
我随后调研了一下 Qwen 3.8 27B 这种模型不要关闭思考模式，虽然思考模式会让输出变快，但是关闭后，会降低代码推理的准确度，所以，我又基于前面的优化，开启了思考模式，实测速度可以稳定在 26.47 Tokens，其实思考模式并不会降低 Token 的输出，只是原始思考阶段输出的 Token 没有计算在内，如果把思考阶段和实际产出的 Tokens 一起算的话，最后实际测试的速度可以达到 35.23 Tokens/s。
这次优化后发现 MTP 是用的 NVFP4/FP8，draft 权重用的是 FP16/BF16，这一块还有提升空间，如果重新量化并构建 draft engine，速度应该还会再快，今天先优化到这里，下次再继续跟大家分享。;)
via https://manateelazycat.github.io/feed.xml
Invalid media: image
昨天晚上部署了一下 Qwen 3.8 27B 到懒猫AI算力舱 X5 上，因为 X5 有 128GB 的显存，所有一台就够了。
这次测试，没有简单的测试 Tokens 数据，在一个真实的项目中跑了 4 个任务。
第二天起来，4 个任务都完成的不错，Qwen 3.8 虽然是一个小模型，但是它的 27B 应该是一个稠密性模型，不像很多 MoE 模型那样运行速度并不快，大概只有 13 ~ 15 Tokens。
早上对 Qwen 3.8 27B 做了 MTP 投机解码 + NVFP8 混合优化，并且关闭了 thinking 模式，速度从 13.9 Tokens 提升到 30.8 Tokens。
我随后调研了一下 Qwen 3.8 27B 这种模型不要关闭思考模式，虽然思考模式会让输出变快，但是关闭后，会降低代码推理的准确度，所以，我又基于前面的优化，开启了思考模式，实测速度可以稳定在 26.47 Tokens，其实思考模式并不会降低 Token 的输出，只是原始思考阶段输出的 Token 没有计算在内，如果把思考阶段和实际产出的 Tokens 一起算的话，最后实际测试的速度可以达到 35.23 Tokens/s。
这次优化后发现 MTP 是用的 NVFP4/FP8，draft 权重用的是 FP16/BF16，这一块还有提升空间，如果重新量化并构建 draft engine，速度应该还会再快，今天先优化到这里，下次再继续跟大家分享。;)
via https://manateelazycat.github.io/feed.xml
Invalid media: image
Qwen 3.8 27B 编程能力实测：一次修复4个复杂 Bug
惊艳，Qwen 3.8 27B 的编程能力超强！
图中是我在公司一个非常复杂的项目（有 LPK、有算力舱、有 ARM、有 X86，还有 Chrome 插件），Qwen 3.8 27B 一次修复的 bug 有：
1. 添加手机端长按 Chrome 新标签图标弹出右键菜单
2. 添加手机端 Chrome 新标签页下拉刷新效果
3. PC 端和手机端删除新标签页的图标，另一端刷新后，删除图标又回来的 bug
4. 新标签的图标支持顺序拖拽
我只是像 GPT 那样说出我的需求，Qwen 3.8 27B 自己研究复杂项目的代码关系，一次做对！
虽然思考时间很长，但是结果是真的很能打！
等我再优化一下 Qwen 3.8 27B 的速度，就可以当作主力编程模型来用了，关键是全离线的 AI 模型编程能力恐怖。
via https://manateelazycat.github.io/feed.xml
Invalid media: image
惊艳，Qwen 3.8 27B 的编程能力超强！
图中是我在公司一个非常复杂的项目（有 LPK、有算力舱、有 ARM、有 X86，还有 Chrome 插件），Qwen 3.8 27B 一次修复的 bug 有：
1. 添加手机端长按 Chrome 新标签图标弹出右键菜单
2. 添加手机端 Chrome 新标签页下拉刷新效果
3. PC 端和手机端删除新标签页的图标，另一端刷新后，删除图标又回来的 bug
4. 新标签的图标支持顺序拖拽
我只是像 GPT 那样说出我的需求，Qwen 3.8 27B 自己研究复杂项目的代码关系，一次做对！
虽然思考时间很长，但是结果是真的很能打！
等我再优化一下 Qwen 3.8 27B 的速度，就可以当作主力编程模型来用了，关键是全离线的 AI 模型编程能力恐怖。
via https://manateelazycat.github.io/feed.xml
Invalid media: image
世界纪录，Qwen 3.8 27B 单台 125 token！
经过昨天一晚上的调优，懒猫 AI 算力仓单台跑 Qwen 3.8 27B 的性能测试结果：prefill 速度 3754 TPS（思考更快），长代码解码速度 125 TPS（写代码更快），八会话代码解码速度 231 TPS（性能压榨到极限），显存占用 70GB。
Qwen 3.8 27B 这种模型，虽然看着很小，但是它是稠密型的模型，它的 27B 是专注于写代码的，我最近都是在本地用它写代码，它的最大的好处就是单台就可以跑，而且永远不降智，我最近 GPT 降智非常严重。
相对于 Mac Studio 优势是，英伟达芯片 prefill 性能高很多，并发能力强很多，兼容 CUDA 生态，而且价格便宜太多了。
所以说老板们不要等了，我们还有优惠的机器，赶紧冲吧！这时候买，不但享受我们顶级 AI 模型团队给你做世界上最好的性能调优，而且价格是非常优惠的，千万不要错过，评论区打 1。
via https://manateelazycat.github.io/feed.xml
Invalid media: image
经过昨天一晚上的调优，懒猫 AI 算力仓单台跑 Qwen 3.8 27B 的性能测试结果：prefill 速度 3754 TPS（思考更快），长代码解码速度 125 TPS（写代码更快），八会话代码解码速度 231 TPS（性能压榨到极限），显存占用 70GB。
Qwen 3.8 27B 这种模型，虽然看着很小，但是它是稠密型的模型，它的 27B 是专注于写代码的，我最近都是在本地用它写代码，它的最大的好处就是单台就可以跑，而且永远不降智，我最近 GPT 降智非常严重。
相对于 Mac Studio 优势是，英伟达芯片 prefill 性能高很多，并发能力强很多，兼容 CUDA 生态，而且价格便宜太多了。
所以说老板们不要等了，我们还有优惠的机器，赶紧冲吧！这时候买，不但享受我们顶级 AI 模型团队给你做世界上最好的性能调优，而且价格是非常优惠的，千万不要错过，评论区打 1。
via https://manateelazycat.github.io/feed.xml
Invalid media: image
Qwen 3.8 27B YaRN 768K 上下文实测
有人建议测一下开启 YaRN 扩展上下文后的表现，说 Qwen 3.8 27B 可以扩展到 1M 上下文。
我试了一下，Qwen 3.8 27B 通过 YaRN 技术最多可以把上下文从原版 265K 增加到 768K。
1M 上下文主要是 KV Cache 就需要 84GB 显存，差 3GB 显存😂
在这台 128GB 机器上的具体测试结果：
● 1M：启动失败，KV Cache 需要约 83.68 GiB，可分配约 80.32 GiB
● 768K：可启动，KV 容量约 882K token，max_model_len=786432
● 512K：可启动，10 万 token 请求成功
● 接近上限时 TTFT 极长，760K/500K 测试未在测试窗口内产生首 token
当前统一内存约使用 107.5/125.8 GB，可用约 17 GB，因此这台 128GB 机器目前实用上限是 768K，不是 1M。
我一会试一下这个 768K 上下文的时候，在日常的编程中能不能打，不能光看参数，我要去实战压测一下😎
via https://manateelazycat.github.io/feed.xml
Invalid media: image
有人建议测一下开启 YaRN 扩展上下文后的表现，说 Qwen 3.8 27B 可以扩展到 1M 上下文。
我试了一下，Qwen 3.8 27B 通过 YaRN 技术最多可以把上下文从原版 265K 增加到 768K。
1M 上下文主要是 KV Cache 就需要 84GB 显存，差 3GB 显存😂
在这台 128GB 机器上的具体测试结果：
● 1M：启动失败，KV Cache 需要约 83.68 GiB，可分配约 80.32 GiB
● 768K：可启动，KV 容量约 882K token，max_model_len=786432
● 512K：可启动，10 万 token 请求成功
● 接近上限时 TTFT 极长，760K/500K 测试未在测试窗口内产生首 token
当前统一内存约使用 107.5/125.8 GB，可用约 17 GB，因此这台 128GB 机器目前实用上限是 768K，不是 1M。
我一会试一下这个 768K 上下文的时候，在日常的编程中能不能打，不能光看参数，我要去实战压测一下😎
via https://manateelazycat.github.io/feed.xml
Invalid media: image
vLLM 默认多模态参数导致 Qwen 3.8 27B 报错
NND，今天正在用 Pi Agent + Qwen 3.8 27B 整活呢，突然就报错了，我最开始还以为是 Pi Agent 配置和 Qwen 不兼容，最后发现不是。
然后我又以为是我部署的 Qwen 3.8 27B 模型有问题，看了一圈不对啊，Qwen 3.8 27B 本身就是多模态的模型呀。
最后发现，NND，原来是部署的时候 vLLM 默认加了下面这两个参数：
第一个的意思是，如果上下文超过 2 张图片，vLLM 就直接报错，第二个的意思是，禁止发送视频文件给大模型。
我把这两个参数删除以后，重启 Docker，世界安静了，Qwen 3.8 27B 又开始干活了。
via https://manateelazycat.github.io/feed.xml
Invalid media: image
NND，今天正在用 Pi Agent + Qwen 3.8 27B 整活呢，突然就报错了，我最开始还以为是 Pi Agent 配置和 Qwen 不兼容，最后发现不是。
然后我又以为是我部署的 Qwen 3.8 27B 模型有问题，看了一圈不对啊，Qwen 3.8 27B 本身就是多模态的模型呀。
最后发现，NND，原来是部署的时候 vLLM 默认加了下面这两个参数：
--limit-mm-per-prompt.image 2
--limit-mm-per-prompt.video 0
第一个的意思是，如果上下文超过 2 张图片，vLLM 就直接报错，第二个的意思是，禁止发送视频文件给大模型。
我把这两个参数删除以后，重启 Docker，世界安静了，Qwen 3.8 27B 又开始干活了。
via https://manateelazycat.github.io/feed.xml
Invalid media: image
挑战成功，Qwen 3.8 27B 实现 900K 的代码上下文。
利用 YaRN 技术实现 Qwen 3.8 27B 模型从 786K 提升到 900K 的挑战，整个模型占了 120GB 的显存。
900K 的上下文无限接近于 1M 上下文，意味着世界上 99% 的代码项目，利用 Qwen 3.8 27B 本地 AI 都很难遇到因为上下文不足而降智的问题。
做个对比：
● 懒猫 AI 算力舱单流可以实现 133 Tokens 的速度，4090 只能实现 40 ~ 50 Tokens
● 懒猫 AI 算力舱上下文可以达到 900K，4090 因为显存太小最多只能实现 128K 的上下文
● 4090 上你只能跑 Qwen 3.8 27B，但是你一旦遇到大型的代码项目，马上就会因为上下文不足降智
懒猫 AI 算力舱跑 Qwen 3.8 27B 不但速度超快，还可以不降智地支持 99% 的大型代码项目稳定运行。
via https://manateelazycat.github.io/feed.xml
Invalid media:
image
image
利用 YaRN 技术实现 Qwen 3.8 27B 模型从 786K 提升到 900K 的挑战，整个模型占了 120GB 的显存。
900K 的上下文无限接近于 1M 上下文，意味着世界上 99% 的代码项目，利用 Qwen 3.8 27B 本地 AI 都很难遇到因为上下文不足而降智的问题。
做个对比：
● 懒猫 AI 算力舱单流可以实现 133 Tokens 的速度，4090 只能实现 40 ~ 50 Tokens
● 懒猫 AI 算力舱上下文可以达到 900K，4090 因为显存太小最多只能实现 128K 的上下文
● 4090 上你只能跑 Qwen 3.8 27B，但是你一旦遇到大型的代码项目，马上就会因为上下文不足降智
懒猫 AI 算力舱跑 Qwen 3.8 27B 不但速度超快，还可以不降智地支持 99% 的大型代码项目稳定运行。
via https://manateelazycat.github.io/feed.xml
Invalid media:
image
image
算力舱AI模型适配实录：
DeepSeek V4 Flash
通过两台协同计算的方式，一台计算一半最终对结果，实现稳定 70 TPS 的效果，顺带把上下文从 131K 拉到了 382K。主打日常 Agent 全能。
Qwen 3.8 27B
稠密计算模型小钢炮，通过 DFlash2 优化，最终实现单流 125 ~ 133 TPS、8 并发 231 TPS 的效果。虽然 27B 稠密模型计算非常耗费性能，但是显存消耗不多，可以做大量 KV Cache。最终通过 YaRN 技术把上下文从官方的 265K 拉到恐怖的 900K，代码智力爆表 + 超大上下文。主打离线代码 GPT。
Qwen 3.8 Flash Next
相对于社区两台方案，昨晚实现单台就可以稳定跑。昨晚首先测试了 n-gram 的方案，虽然 decode 速度最高可以到 92 TPS，但发现这个方案纯粹是噱头——只有抄重复代码的时候快，Prefill 只有 100 多，而且上下文太小只有 64K。最后还是换传统的 MTP 方案，现在日常解码稳定在 60 TPS，Prefill 2232 TPS，上下文也增大了 265K，这样的数据更适合日常写代码。
看看我晚上能优化到什么水平？
等 Qwen 3.8 Flash Next 优化完，我准备继续挑战两台 GLM 5.3 Flash。大佬们你们想要我移植什么 AI 模型？评论区留下你的建议 😎
via https://manateelazycat.github.io/feed.xml
DeepSeek V4 Flash
通过两台协同计算的方式，一台计算一半最终对结果，实现稳定 70 TPS 的效果，顺带把上下文从 131K 拉到了 382K。主打日常 Agent 全能。
Qwen 3.8 27B
稠密计算模型小钢炮，通过 DFlash2 优化，最终实现单流 125 ~ 133 TPS、8 并发 231 TPS 的效果。虽然 27B 稠密模型计算非常耗费性能，但是显存消耗不多，可以做大量 KV Cache。最终通过 YaRN 技术把上下文从官方的 265K 拉到恐怖的 900K，代码智力爆表 + 超大上下文。主打离线代码 GPT。
Qwen 3.8 Flash Next
相对于社区两台方案，昨晚实现单台就可以稳定跑。昨晚首先测试了 n-gram 的方案，虽然 decode 速度最高可以到 92 TPS，但发现这个方案纯粹是噱头——只有抄重复代码的时候快，Prefill 只有 100 多，而且上下文太小只有 64K。最后还是换传统的 MTP 方案，现在日常解码稳定在 60 TPS，Prefill 2232 TPS，上下文也增大了 265K，这样的数据更适合日常写代码。
看看我晚上能优化到什么水平？
等 Qwen 3.8 Flash Next 优化完，我准备继续挑战两台 GLM 5.3 Flash。大佬们你们想要我移植什么 AI 模型？评论区留下你的建议 😎
via https://manateelazycat.github.io/feed.xml
Qwen 3.8 27B：算力舱还是 Mac Studio？
最近在优化 Qwen 3.8 27B 模型的过程中，发现一个值得分享的现象。
像 Qwen 3.8 27B 这种稠密型 + 超级重思考的 AI 模型，其实非常适合算力舱这种 2070T 算力的机器。Prefill 轻松可以干到 3500 ~ 4000 TPS。
原因在于，Qwen 3.8 27B 70% ~ 80% 的时间都在思考而不是在 decode，所以 Prefill 的性能至关重要。算力舱凭借英伟达的芯片能力，在 Prefill 阶段表现非常出色，正好契合这类模型的特性。
Mac Studio 的短板
Mac Studio 这种显存带宽很大的机器反而不适合 Qwen 3.8 27B 这类模型。因为 Mac 的绝对芯片能力还是离英伟达很远，Prefill 能力不行——你会发现 Apple 只宣传显存带宽，但从来不宣传 Prefill 速度。
当模型把大部分时间花在思考上时，思考时间过慢就成了瓶颈。Mac Studio 的 Prefill 速度跟不上，导致整体推理效率大打折扣。
Mac Studio 更适合什么
Mac Studio 更适合那种非思考模型——想得很少、一顿狂干的那种。对于不需要大量 CoT（Chain of Thought）推理的模型，Mac Studio 的大显存带宽优势才能发挥出来。
小结
选择硬件不能只看显存带宽，还要看模型的推理范式。对于重思考的稠密模型，算力舱这类英伟达方案在 Prefill 上的优势是决定性的；而对于轻思考的模型，Mac Studio 的大显存带宽才是真正的杀手锏。
via https://manateelazycat.github.io/feed.xml
最近在优化 Qwen 3.8 27B 模型的过程中，发现一个值得分享的现象。
像 Qwen 3.8 27B 这种稠密型 + 超级重思考的 AI 模型，其实非常适合算力舱这种 2070T 算力的机器。Prefill 轻松可以干到 3500 ~ 4000 TPS。
原因在于，Qwen 3.8 27B 70% ~ 80% 的时间都在思考而不是在 decode，所以 Prefill 的性能至关重要。算力舱凭借英伟达的芯片能力，在 Prefill 阶段表现非常出色，正好契合这类模型的特性。
Mac Studio 的短板
Mac Studio 这种显存带宽很大的机器反而不适合 Qwen 3.8 27B 这类模型。因为 Mac 的绝对芯片能力还是离英伟达很远，Prefill 能力不行——你会发现 Apple 只宣传显存带宽，但从来不宣传 Prefill 速度。
当模型把大部分时间花在思考上时，思考时间过慢就成了瓶颈。Mac Studio 的 Prefill 速度跟不上，导致整体推理效率大打折扣。
Mac Studio 更适合什么
Mac Studio 更适合那种非思考模型——想得很少、一顿狂干的那种。对于不需要大量 CoT（Chain of Thought）推理的模型，Mac Studio 的大显存带宽优势才能发挥出来。
小结
选择硬件不能只看显存带宽，还要看模型的推理范式。对于重思考的稠密模型，算力舱这类英伟达方案在 Prefill 上的优势是决定性的；而对于轻思考的模型，Mac Studio 的大显存带宽才是真正的杀手锏。
via https://manateelazycat.github.io/feed.xml
懒猫读书 iPad OOM 问题排查与修复
20 年古法编程，非遗手法就是 “远程把脉”。
今天有一个用户反映懒猫读书会导致平板卡死，我一看，好家伙，超大文件 PDF 彩印文件。
排查过程
1. 先排除是不是机械盘 IO 问题——用户说用的固态盘，排除 IO 瓶颈。
2. 扫描 PDF 的后台有渲染进程，问题肯定出在这条逻辑支流上。
3. 问了一下用户，是打开就卡死，没有做缩放操作，排除缩放分支。
4. 让用户试一下手机，手机没问题。再问平板内存，iPad 6。
原因很清楚了：PDF 过于大，首屏渲染高清图片加上后面几页预加载，瞬间内存过大触发了果子家的 OOM，直接把前端 WebView 进程干死了。
修复方案
做更精细的视口渲染，保持清晰度和操作不变的情况下，让后端只发屏幕区域和缩放比例的图，把内存占用控制在常量，减少 90% 的内存占用，这样果子就不会杀进程了。
远程定位问题，三下五除二找到根因，这就是二十年老程序员的手感。
via https://manateelazycat.github.io/feed.xml
20 年古法编程，非遗手法就是 “远程把脉”。
今天有一个用户反映懒猫读书会导致平板卡死，我一看，好家伙，超大文件 PDF 彩印文件。
排查过程
1. 先排除是不是机械盘 IO 问题——用户说用的固态盘，排除 IO 瓶颈。
2. 扫描 PDF 的后台有渲染进程，问题肯定出在这条逻辑支流上。
3. 问了一下用户，是打开就卡死，没有做缩放操作，排除缩放分支。
4. 让用户试一下手机，手机没问题。再问平板内存，iPad 6。
原因很清楚了：PDF 过于大，首屏渲染高清图片加上后面几页预加载，瞬间内存过大触发了果子家的 OOM，直接把前端 WebView 进程干死了。
修复方案
做更精细的视口渲染，保持清晰度和操作不变的情况下，让后端只发屏幕区域和缩放比例的图，把内存占用控制在常量，减少 90% 的内存占用，这样果子就不会杀进程了。
远程定位问题，三下五除二找到根因，这就是二十年老程序员的手感。
via https://manateelazycat.github.io/feed.xml
世界纪录，Qwen 3.8 Flash Next 单台 102 TPS！
经过三天的优化，我已经把 Qwen 3.8 Flash Next 在单台算力舱的 Decode 速度实现了从 23 TPS -> 65 TPS -> 102 TPS 的跨越，应该还可以再提升一点。
在 102 TPS decode 速度下，18K Prefill 的速度实现了 2588 TPS，30K TTFT 实现 11.43s。
这个数据估计很多两台 DGX 都很难达到，因为在 FP4 的精度下，我们算力舱的 T5000 芯片的算力是 2070T，DGX G10 是 1000T。相当于算力舱一台的价格，就可以实现两台 DGX G10 组合才能达到的性能。
via https://manateelazycat.github.io/feed.xml
经过三天的优化，我已经把 Qwen 3.8 Flash Next 在单台算力舱的 Decode 速度实现了从 23 TPS -> 65 TPS -> 102 TPS 的跨越，应该还可以再提升一点。
在 102 TPS decode 速度下，18K Prefill 的速度实现了 2588 TPS，30K TTFT 实现 11.43s。
这个数据估计很多两台 DGX 都很难达到，因为在 FP4 的精度下，我们算力舱的 T5000 芯片的算力是 2070T，DGX G10 是 1000T。相当于算力舱一台的价格，就可以实现两台 DGX G10 组合才能达到的性能。
via https://manateelazycat.github.io/feed.xml
Qwen 3.8 Flash Next：101 TPS + 320K 上下文
Qwen 3.8 Flash Next 在单台懒猫AI算力舱上反复优化，这个应该达到极限了：Decode 100 ~ 102 TPS，Prefill 2070 ~ 2609 TPS，TTFT 5K 1.9s。
接下来把上下文增大。官方是 265K 的上下文，但是显存没用满呀，所以我通过 YaRN 技术把 Qwen 3.8 Flash Next 的 KV Cache 调大到 16GB，这样上下文就从 265K 搞到 320K 了。
除了 Fresh Decode 稍微下降一点点，其他的指标兜没变，甚至 Edit Decode 速度还提升了，哈哈哈哈。
优化了72小时后，Qwen 3.8 Flash Next 终于被我调教的差不多了，明天整要给图形化的部署程序给懒猫AI算力舱的用户用。
而社区DGX GB10要两台才能做到 100+ TPS，为啥算力舱可以一台搞定呢？因为 FP4 的算力，算力舱是GB10的2倍，因为算力够，显存够，一台算力舱直接访问显存的速度要比两台GB10的光口快太多了，反而效率更高。
via https://manateelazycat.github.io/feed.xml
Invalid media:
image
image
Qwen 3.8 Flash Next 在单台懒猫AI算力舱上反复优化，这个应该达到极限了：Decode 100 ~ 102 TPS，Prefill 2070 ~ 2609 TPS，TTFT 5K 1.9s。
接下来把上下文增大。官方是 265K 的上下文，但是显存没用满呀，所以我通过 YaRN 技术把 Qwen 3.8 Flash Next 的 KV Cache 调大到 16GB，这样上下文就从 265K 搞到 320K 了。
除了 Fresh Decode 稍微下降一点点，其他的指标兜没变，甚至 Edit Decode 速度还提升了，哈哈哈哈。
优化了72小时后，Qwen 3.8 Flash Next 终于被我调教的差不多了，明天整要给图形化的部署程序给懒猫AI算力舱的用户用。
而社区DGX GB10要两台才能做到 100+ TPS，为啥算力舱可以一台搞定呢？因为 FP4 的算力，算力舱是GB10的2倍，因为算力够，显存够，一台算力舱直接访问显存的速度要比两台GB10的光口快太多了，反而效率更高。
via https://manateelazycat.github.io/feed.xml
Invalid media:
image
image