方寸间
604 subscribers
188 photos
3 videos
13 files
965 links
➡️频道内容: @WithdewHua 存档及瞎扯 / 博客友链 RSS
➡️我的折腾地:https://10101.io
Download Telegram
你眼中的别人才是你

别人眼中的你不是你

因为别人不了解你,所以不用为别人的言论所累。

你眼中的自己也不是你

每个人都会多多少少自恋,用完美形象包装和欺骗自己,所以有时候并不真实。

你眼中的别人才是你

你怎么看别人,其实就是你内心最潜意识的镜子反射。善良的人看所有人都是好人,邪恶的人看所有人都觉得别人是 SB,所以这种视角最真实。

常常用第三种视角自省,会让自己对自己有清晰的认识,保持谦虚和进步。

via https://manateelazycat.github.io/feed.xml
AI快速构建的方法

1. 调研

一定要用 Grok 调研,Grok 数据最新,它还知道社区评价哪个最好。让 Grok 给你做技术调研最靠谱,它会告诉你根本没听过、但别人已经实现的 GitHub 项目。

2. 设计图

先把界面用 AI 搭建好,不要做任何功能开发。手机和电脑的布局和 UX 都想好,UI 主要让设计师把配色方案定好。

3. AI

Grok 调研的项目直接丢给 Codex,直接让 GPT 5.6 Max 去蹬。

这样组合拳,你的项目一出来就是顶级能力,后期调节一下 UI 细节就可以快速发布了。

via https://manateelazycat.github.io/feed.xml
赚钱有时候与技术能力关系不大

赚钱的能力来源于被逼的环境,超强的意志和认知能力。

而这些能力和是否智商超高、技术卓越关系不大。

因为智商和技术这些在人性面前不堪一击,越强的技术,因为人性最后都会趋于竞争和平权。

而那些洞察客户、洞察人性的需求的能力却永远不会变化。认知差会触动利益交换,也会产生赚钱的机会。

简而言之,AI 很强大,但是用 AI 创作产品不是赚钱的关键,而是创造以后通过商业能力把这个消息告诉你的用户。技术越强的时代,营销和广告越重要。

很多人说广告会影响身段,是的,你一做广告,别人就会带偏见、歧视你。但是世界上那些顶级富豪的谦逊,难道不是被市场经济教育的结果吗?

只有放下身段才能赚钱,而大多数技术人把身段看得比技术原理还重要。不躬身怎么能赚钱呢?理解了吗?你不赚钱不是技术能力不行,而是你放不下身段去宣传你的作品。你不宣传,别人怎么会知道你的价值和你的产品好呢?

via https://manateelazycat.github.io/feed.xml
Lamhosting DECR 三网 9929 线路 VPS 测评

最近扎堆出现了德国三网 9929 线路的小🐔,上游主要为 91Telecom 和 Netlab 两家 这次入手...

来源

via DivineEngine (author: Conners Hua)
今天和懒猫的用户聊,怎么让 Codex 做出来的软件不要丑。

我自己 Vibe 了 10 多个软件,我发现 Codex 丑的原因主要是它不会配色。

下面分享我的方法:

1. 还是需要人让 Codex 把界面布局整出来。
2. 整完以后,把下面这张图丢给 Codex,让它根据这张图重新调整所有控件的颜色。
3. AI 会分析这个用色规范,把界面全部重构一遍。

这样做出来的软件绝对不丑,不会像 Codex 那样,要不用色很土,要不就是很朴素、简陋。

希望我的这个简单的方法,可以帮助你们用 AI 快速写出高质量的软件。

via https://manateelazycat.github.io/feed.xml

Invalid media: image
今天和懒猫的用户聊,怎么让 Codex 做出来的软件不要丑。

我自己 Vibe 了 10 多个软件,我发现 Codex 丑的原因主要是它不会配色。

下面分享我的方法:

1. 还是需要人让 Codex 把界面布局整出来。
2. 整完以后,把下面这张图丢给 Codex,让它根据这张图重新调整所有控件的颜色。
3. AI 会分析这个用色规范,把界面全部重构一遍。

这样做出来的软件绝对不丑,不会像 Codex 那样,要不用色很土,要不就是很朴素、简陋。

希望我的这个简单的方法,可以帮助你们用 AI 快速写出高质量的软件。

via https://manateelazycat.github.io/feed.xml

Invalid media: image
一个老板为什么不要去请什么战略顾问?

1. 销售问题

有时候销售问题的关键是产品力还没有起来,而不是真的销售有问题。产品前期都要边营销、边快速增强产品的功能,不要因为焦虑去请顾问。

2. 融资问题

本质还是产品问题。只有产品好一点、销售多一点,才能融到资。融资是一个证明团队能力的过程,急不得。销售不行,战略顾问也解决不了你的问题。

3. 定位问题

《定位》这本书写得很好,但是很多老板犯的错误,是想在家里“坐着”幻想把市场定位想清楚。但真正的定位,是在市场上被鼓励或者被质疑以后,老板真金白银撒出去、交了学费,千疮百孔地坐在家里盘点:哪些是自己真的想做的?哪些是自己不想做的?吃亏以后才能找到自己,因为定位本质是创始人自己的特质,而不仅仅是市场行为。你喜欢什么,才能坚持什么,战略顾问帮不了你。

老板要花很长的时间去提升自己的认知。市场上大部分战略顾问,是治疗那些本来病会自愈的创始人,而不是治疗本来就没法救的病人。

从这一点来看,与其期望别人救你,真的不如多和客户聊,多看售后反馈,把心思都花在产品和读书上。这些都要比花钱请顾问节省很多时间和精力。

创业本质是提升认知、找到自我、等待花开的过程。说给同在创业的你:不要着急,安静的努力才是创业最平淡、也是最美好的过程。

via https://manateelazycat.github.io/feed.xml
学会蛙泳手的关键

昨天跟教练把蛙泳腿学会了,今天主要学习了蛙泳手。

今天反复练习才发现,我的蛙泳手划的圈太大,所以游得很累,而且会导致不平衡。正确的方法应该是:

1. 双手扒水到 60 度,不要太宽。
2. 小臂下垂。我之前就是小臂没下垂,导致我划了很大的一个圈,很累,而且很容易不平衡。
3. 小臂下垂以后,大臂旋转到手朝脸,手肘贴着。这一步很重要。
4. 手肘贴着的时候,翻腿,手往前伸。

我觉得最重要的其实就是第二步和第三步。教练说,第二步和第三步做好以后,你的阻力就很小,就不容易来回晃。

我之前就是蛙泳手不对,来回晃,导致我的脚和手一直在做平衡,游不快。这次手不晃以后,再配上腿,感觉都快比自由泳快了😂

via https://manateelazycat.github.io/feed.xml
本地跑 AI Agent 成本到底有多低?

网上很多讲2台英伟达DGX构建本地算力的文章,都在讲每秒中能跑多少Tokens,今天我们讲点实际的:本地AI在真实软件工程项目中,到底需要多长时间?构建软件的成本到底有多低?

懒猫 AI 算力舱

首先介绍一下我们家的懒猫AI算力舱,英伟达芯片,128GB显存,2070T算力,273GB显存带宽,40~130W功耗

很多人问的第一个问题,懒猫AI算力舱和英伟达DGX有什么区别?

1. AI算力是DGX的2倍
2. 外壳散热性更好,运行更稳定,轻松支撑 7x24 小时运行
3. 有专业的AI模型团队提供售后服务,包括最新大模型适配和安装服务,传统硬件厂商卖完硬件后就无法提供后续的模型适配服务

两台算力舱并联

很多朋友第二个问题,两台算力舱怎么并联? 和一台有什么区别?

1. 两台算力舱通过100G光口并联,实现显存直通,通过vLLM技术可以装载运行更大的模型,两台算力舱的显存加载一起是256GB
2. 一台也可以跑DeepSeek V4 Flash,两台因为显存增大会获得更大的KV缓存,简而言之就是跑大型软件工程项目更稳

实战

好,我们今天直接进入实战,首先通过Pi Agent 来跑 DeepSeek V4 Flash, Pi Agent是目前最省Token的Coding Agent,速度超级快

我按照下面的提示词告诉DeepSeek,把一个开源的模型移植为懒猫微服的LPK,让AI自动看懒猫微服的开发手册和AI Skill,剩下的就让AI自己研究搞定

50分钟以后,AI全自动搞定了,包括写代码,构建docker镜像还有推送镜像的时间!

最后效果图如下

构建成本

好了,我们最后来算一下构建这个应用的成本:

两台机器,最高130w,运行时大概50%的负载,两台260w除以2是130w,130w跑50分钟,我们把时间算大一点,按照一个小时算

两台算力舱一个小时消耗0.13度电,按照0.65元一度电算,一个小时的电费是8分钱

DeepSeek V4 Flash现在非常能打了,虽然绝对的AI智力还和线上有差距,但是一天1.9元的电费,还要啥自行车呀? 大多数软件工程的体力活完全可以交给一个一天不到2元花费的AI去执行,睡一觉早上起来就好了

离线 AI 计算的好处

而且离线AI计算有三大好处:

1. 公司机密数据不上传公有云服务商,保护机密就是公司的竞争力
2. 可以跑很多 “不审查” AI模型,线上的模型都做了很多限制,你懂得
3. 一次投入以后就是电费,你用线上的AI模型,随着显卡和内存越来越贵,以后的线上Token只会越来越贵,而离线设备每天只用付不到2元的电费,这还是按照7x24小时去算的,如果只是偶尔蹬一下AI,一天电费只有几毛钱

via https://manateelazycat.github.io/feed.xml

Invalid media:
image
image
image
image
image
image
Pi Agent + DeepSeek 深度优化

昨天晚上用2台懒猫AI算力舱完成了一个真实的编程项目,但是在使用过程中,发现很多需要微调和优化的地方,不是很爽

今天优化了一上午,和大家分享一下我的进展:

1. 上下文优化: 最开始的版本是131K,但是只占用了100GB的显存,每台还剩20GB显存没用,我觉得浪费了,直接把DeepSeek max-model-len 和 kv-cache-memory-bytes 都拉到 328K, 拉到328K后, 每台显存还剩7~9GB,挺好。 这样优化以后,我就可以跑更大的项目而不需要压缩上下文,显存最后还是留一点,保证7x24小时运行的稳定性

2. 增加思考模式: 把DeepSeek的 –reasoning-parser 参数默认打开, 这样 Pi Agent 中就可以通过 Shift + Tab 快速切换 DeepSeek 的思考模式,当切换到 think:high 模式后,你就可以认为 DeepSeek 进入 GPT Max的模式,更加聪明。但是因为我们懒猫AI算力舱是本地部署的,所以默认就 high 吧,无限Tokens使劲蹬

3. 默认打开工具调用: 默认把 –enable-auto-tool-choice 打开,要不是 Pi Agent 无法使用 DeepSeek 自动调用工具的能力, 问几个问题DeepSeek就停止了。优化后,相当于 Pi Agent 配合 DeepSeek 就可以进入 yolo 模式了。只用许愿,剩下的事情让AI搞定

优化完成以后,就可以直接重启 Pi Agent 享受深度优化的 DeepSeek 模型啦,下面是 Pi Agent + DeepSeek 跑的实际效果

很多朋友也在问,两台算力舱 + DeepSeek 离线跑有多快?可以看下面的视频感受一下速度, 每秒 60 tokens ,超级能打了,很多国产模型的在线版本还没这个快呢

最后,很多朋友关心,成本呢?

一天24小时100%负荷使用,一天成本1.9元,是不是世界上最便宜的 DeepSeek ?

via https://manateelazycat.github.io/feed.xml

Invalid media:
image
image
video
Pi Agent 编程插件列表

我玩了一下午,发现下面这几个插件配合最完美,上一版有兼容性问题。

1. pi-web-access:访问网络资源
2. pi-mcp-adapter:访问 MCP
3. pi-grok-cli:访问 Grok API,蓝 V 必备
4. pi-rewind:每次 AI 输出的时候都备份一下代码
5. pi-powerline-footer:底部显示一些彩色的好看信息

via https://manateelazycat.github.io/feed.xml

Invalid media: image
让 Pi Agent 的快捷键和 Codex 保持一致

已经习惯了 Codex 的快捷键了,把 Pi Agent 的快捷键也改成和 Codex 一样的。这样切换不同 AI 的时候,手指头的习惯可以保持一致。

Pi Agent 改快捷键的方法

新建 ~/.pi/agent/keybindings.json,填入下面的内容:

{
"tui.input.submit": "enter",
"tui.input.tab": "alt+h",
"tui.editor.cursorUp": ["up", "ctrl+p"],
"tui.editor.cursorDown": ["down", "ctrl+n"],
"app.message.followUp": "tab",
"app.interrupt": "ctrl+c",
"app.clear": "ctrl+l"
}


按键说明

1. Enter:提交消息(空闲时发送,忙碌时插队)
2. Alt+H:路径/文件自动补全
3. ↑ / Ctrl+P:光标上移(含历史浏览)
4. ↓ / Ctrl+N:光标下移(含历史浏览)
5. Tab:排队跟进消息(等当前任务完成后再执行)
6. Ctrl+C:中断当前操作
7. Ctrl+L:清空编辑区

via https://manateelazycat.github.io/feed.xml
人生不只是节省,更要投资于认知

买房子的目的是什么?

不仅仅只是避免定期被房东赶走、搬家的痛苦,更重要的是可以一点一点地装饰属于自己的房子,给自己提供面对一切困难的精神港湾。

买车的目的是什么?

不仅仅只是挡风遮雨,更重要的是可以带自己和家人去探索不同的人文和绝世的美景。除了工作外,也让自己感觉到不虚此生。

买懒猫 AI 算力舱的目的是什么?

不仅仅只是拥有无线 Tokens 和数据隐私,更重要的是,你可以自由地探索 AI 模型,学习不一样的 AI 认知。当你有了更广阔的视野和深厚的知识以后,才能享受任意创造的快乐。

人生不仅仅只是节省,更重要的是要把自己赚来的钱投资于认知,多经历,享受当下。

via https://manateelazycat.github.io/feed.xml
这两天 DHH 被各路开源社区大神讽刺,我要站出来跟他说句话

仁慈的独裁者

世界上伟大的作品,其实都是由仁慈的独裁者创造的。

就拿大家最认同的 Linux 开源社区的发展来说,离不开两个人。第一个是创造 GNU 工具链的 Richard Stallman,另外一个人就是创造 Linux 内核的 Linus。

斯托曼老人家当年在 Unix 大型机横行的时代,创作了一系列的底层编译工具链。GCC、GDB、Emacs 和一系列 GNU 的底层软件,都是这个老人家一手创建的。在当时 Unix 横行、面对基本上所有人的不理解时,他一意孤行,打下了良好的编译工具链基础,才有了今天 Linux 上层的枝繁叶茂。

Linus 大神当年在芬兰的大学待了整整 8 年,就为了创作一个跟 Minix 截然不同的 Linux 系统,独自一人搞定了 POSIX 接口和完整的 x86 内核。

如果没有当时这两个人坚定的意志、超强的能力和仁慈的独裁,我相信大家今天不会享受到 Linux 开源社区的繁荣,也不可能有安卓和服务器的生态。

很多人说,Linux 社区的成功更源于开源社区全世界黑客的巨大贡献,当然,这是无可否认的。但是你们要知道,最关键的是,这两位老人家做了前面的 1,才有后面社区的 0。工程化的东西,可以靠人多力量大来解决;但是开创性的理念,只能靠最开始的那一个人去做决策。

Linux 桌面缺少什么

Linux 桌面本身已经有了非常好的基础,但是为什么发展不起来?就是因为缺少一个足够好的桌面系统。

而一个足够好的桌面系统,不光是内核要足够强大、技术要多么先进。一个桌面系统最重要的就是交互体验和取舍,简而言之,就是让你装上去就用得舒心。

Linux 桌面发展这么多年,面对普通人的需求时,就被拉扯得很奇怪。很多人说,你为什么这里不像 Windows,那里不像 Windows;这里不像 Mac,那里不像 Mac?最后在各种抄袭中迷失了自我。

其实我觉得完全没必要。因为 Linux 的主要人群就是工程师,他们装 Linux 的目的就是探索开源库,然后创造很多新的玩法。

所以 Linux 桌面就应该聚焦到这些工程师身上,做一个快捷键导向、简洁高效的开发环境。而 DHH 本身就是兼具超强工程能力和优秀审美的天才,他可以把很多纷繁复杂的需求转化为简洁高效的默认设置。

期待 DHH 的 Linux 桌面

所以我非常看好 DHH 在 Linux 桌面上的创作,因为他本身就是最懂工程师的产品设计师。而 Linux 社区,有超强技术的人一大把,但是有审美的产品设计师寥寥无几。

期待 DHH 更多设计,做出无与伦比的 Linux 桌面。

via https://manateelazycat.github.io/feed.xml
Pi Agent + Qwen 3.8 27B 深度优化

昨天晚上部署了一下 Qwen 3.8 27B 到懒猫AI算力舱 X5 上,因为 X5 有 128GB 的显存,所有一台就够了。

这次测试,没有简单的测试 Tokens 数据,在一个真实的项目中跑了 4 个任务。

第二天起来,4 个任务都完成的不错,Qwen 3.8 虽然是一个小模型,但是它的 27B 应该是一个稠密性模型,不像很多 MoE 模型那样运行速度并不快,大概只有 13 ~ 15 Tokens。

早上对 Qwen 3.8 27B 做了 MTP 投机解码 + NVFP8 混合优化,并且关闭了 thinking 模式,速度从 13.9 Tokens 提升到 30.8 Tokens。

我随后调研了一下 Qwen 3.8 27B 这种模型不要关闭思考模式,虽然思考模式会让输出变快,但是关闭后,会降低代码推理的准确度,所以,我又基于前面的优化,开启了思考模式,实测速度可以稳定在 26.47 Tokens,其实思考模式并不会降低 Token 的输出,只是原始思考阶段输出的 Token 没有计算在内,如果把思考阶段和实际产出的 Tokens 一起算的话,最后实际测试的速度可以达到 35.23 Tokens/s。

这次优化后发现 MTP 是用的 NVFP4/FP8,draft 权重用的是 FP16/BF16,这一块还有提升空间,如果重新量化并构建 draft engine,速度应该还会再快,今天先优化到这里,下次再继续跟大家分享。;)

via https://manateelazycat.github.io/feed.xml

Invalid media: image
Qwen 3.8 27B 编程能力实测:一次修复4个复杂 Bug

惊艳,Qwen 3.8 27B 的编程能力超强!

图中是我在公司一个非常复杂的项目(有 LPK、有算力舱、有 ARM、有 X86,还有 Chrome 插件),Qwen 3.8 27B 一次修复的 bug 有:

1. 添加手机端长按 Chrome 新标签图标弹出右键菜单
2. 添加手机端 Chrome 新标签页下拉刷新效果
3. PC 端和手机端删除新标签页的图标,另一端刷新后,删除图标又回来的 bug
4. 新标签的图标支持顺序拖拽

我只是像 GPT 那样说出我的需求,Qwen 3.8 27B 自己研究复杂项目的代码关系,一次做对!

虽然思考时间很长,但是结果是真的很能打!

等我再优化一下 Qwen 3.8 27B 的速度,就可以当作主力编程模型来用了,关键是全离线的 AI 模型编程能力恐怖。

via https://manateelazycat.github.io/feed.xml

Invalid media: image
世界纪录,Qwen 3.8 27B 单台 125 token!

经过昨天一晚上的调优,懒猫 AI 算力仓单台跑 Qwen 3.8 27B 的性能测试结果:prefill 速度 3754 TPS(思考更快),长代码解码速度 125 TPS(写代码更快),八会话代码解码速度 231 TPS(性能压榨到极限),显存占用 70GB。

Qwen 3.8 27B 这种模型,虽然看着很小,但是它是稠密型的模型,它的 27B 是专注于写代码的,我最近都是在本地用它写代码,它的最大的好处就是单台就可以跑,而且永远不降智,我最近 GPT 降智非常严重。

相对于 Mac Studio 优势是,英伟达芯片 prefill 性能高很多,并发能力强很多,兼容 CUDA 生态,而且价格便宜太多了。

所以说老板们不要等了,我们还有优惠的机器,赶紧冲吧!这时候买,不但享受我们顶级 AI 模型团队给你做世界上最好的性能调优,而且价格是非常优惠的,千万不要错过,评论区打 1。

via https://manateelazycat.github.io/feed.xml

Invalid media: image
Qwen 3.8 27B YaRN 768K 上下文实测

有人建议测一下开启 YaRN 扩展上下文后的表现,说 Qwen 3.8 27B 可以扩展到 1M 上下文。

我试了一下,Qwen 3.8 27B 通过 YaRN 技术最多可以把上下文从原版 265K 增加到 768K。

1M 上下文主要是 KV Cache 就需要 84GB 显存,差 3GB 显存😂

在这台 128GB 机器上的具体测试结果:

● 1M:启动失败,KV Cache 需要约 83.68 GiB,可分配约 80.32 GiB
● 768K:可启动,KV 容量约 882K token,max_model_len=786432
● 512K:可启动,10 万 token 请求成功
● 接近上限时 TTFT 极长,760K/500K 测试未在测试窗口内产生首 token

当前统一内存约使用 107.5/125.8 GB,可用约 17 GB,因此这台 128GB 机器目前实用上限是 768K,不是 1M。

我一会试一下这个 768K 上下文的时候,在日常的编程中能不能打,不能光看参数,我要去实战压测一下😎

via https://manateelazycat.github.io/feed.xml

Invalid media: image
vLLM 默认多模态参数导致 Qwen 3.8 27B 报错

NND,今天正在用 Pi Agent + Qwen 3.8 27B 整活呢,突然就报错了,我最开始还以为是 Pi Agent 配置和 Qwen 不兼容,最后发现不是。

然后我又以为是我部署的 Qwen 3.8 27B 模型有问题,看了一圈不对啊,Qwen 3.8 27B 本身就是多模态的模型呀。

最后发现,NND,原来是部署的时候 vLLM 默认加了下面这两个参数:

--limit-mm-per-prompt.image 2
--limit-mm-per-prompt.video 0

第一个的意思是,如果上下文超过 2 张图片,vLLM 就直接报错,第二个的意思是,禁止发送视频文件给大模型。

我把这两个参数删除以后,重启 Docker,世界安静了,Qwen 3.8 27B 又开始干活了。

via https://manateelazycat.github.io/feed.xml

Invalid media: image
挑战成功,Qwen 3.8 27B 实现 900K 的代码上下文。

利用 YaRN 技术实现 Qwen 3.8 27B 模型从 786K 提升到 900K 的挑战,整个模型占了 120GB 的显存。

900K 的上下文无限接近于 1M 上下文,意味着世界上 99% 的代码项目,利用 Qwen 3.8 27B 本地 AI 都很难遇到因为上下文不足而降智的问题。

做个对比:

● 懒猫 AI 算力舱单流可以实现 133 Tokens 的速度,4090 只能实现 40 ~ 50 Tokens
● 懒猫 AI 算力舱上下文可以达到 900K,4090 因为显存太小最多只能实现 128K 的上下文
● 4090 上你只能跑 Qwen 3.8 27B,但是你一旦遇到大型的代码项目,马上就会因为上下文不足降智

懒猫 AI 算力舱跑 Qwen 3.8 27B 不但速度超快,还可以不降智地支持 99% 的大型代码项目稳定运行。

via https://manateelazycat.github.io/feed.xml

Invalid media:
image
image