懒猫视频翻译的说话人声纹追踪
今天移植了两个新的 AI 模型
Pyannote Segmentation 3.0: 主要是找出语音片段、说话人的位置
CAM++: 主要是提取说话人的声纹特征,对于超长音频的切断识别的时候,好通过声纹来把不同音频的声纹做归一识别
这两个模型主要是用在 “懒猫视频翻译” App中,通过这两个模型实现任意长度的音频可以始终追踪同一个人的声纹,在视频翻译和会议记录中特别有用
两个模型都采用 FP32 精度, Pyannote Segmentation 3.0 用的 ONNX 推理框架, CAM++用的 TensorRT 框架 ;)
原文
via https://manateelazycat.github.io/feed.xml
Invalid media: image
今天移植了两个新的 AI 模型
Pyannote Segmentation 3.0: 主要是找出语音片段、说话人的位置
CAM++: 主要是提取说话人的声纹特征,对于超长音频的切断识别的时候,好通过声纹来把不同音频的声纹做归一识别
这两个模型主要是用在 “懒猫视频翻译” App中,通过这两个模型实现任意长度的音频可以始终追踪同一个人的声纹,在视频翻译和会议记录中特别有用
两个模型都采用 FP32 精度, Pyannote Segmentation 3.0 用的 ONNX 推理框架, CAM++用的 TensorRT 框架 ;)
原文
via https://manateelazycat.github.io/feed.xml
Invalid media: image
投机解码如何提升 DGX 的解码速度
我看到很多人都在吐槽英伟达DGX的273GB/s的带宽小,所以认为解码速度就慢
因为很多人是按照显存带宽的极限来算吞吐的
但是很多人忽略今年非常流行的投机解码速度,包括MTP、DFlash2 甚至是 TensorFold
投机解码的原理就是利用英伟达强大的冗余算力,除了解码模型,并行跑一个草稿模型,一旦草稿模型的提前计算倍押中以后,273GB/s的机器,解码速度可以提升2~3倍
这种技术就跟CPU的随机流水线一样, 利用算力优势,做几个不同的预测分支,一旦押中,就可以快速提升解码速度
via https://manateelazycat.github.io/feed.xml
我看到很多人都在吐槽英伟达DGX的273GB/s的带宽小,所以认为解码速度就慢
因为很多人是按照显存带宽的极限来算吞吐的
但是很多人忽略今年非常流行的投机解码速度,包括MTP、DFlash2 甚至是 TensorFold
投机解码的原理就是利用英伟达强大的冗余算力,除了解码模型,并行跑一个草稿模型,一旦草稿模型的提前计算倍押中以后,273GB/s的机器,解码速度可以提升2~3倍
这种技术就跟CPU的随机流水线一样, 利用算力优势,做几个不同的预测分支,一旦押中,就可以快速提升解码速度
via https://manateelazycat.github.io/feed.xml
英伟达不应该赶走黄仁勋
一家靠创始人白手起家辛辛苦苦创建的公司,让创始人走路,这家公司就毁了
公司不光是产品和价值,这些仅仅是公司现在价值的体现
现在的价值是创始人过去冥思苦想开拓出来的,而公司未来的价值也要靠行业专家型创始人的敏锐度才能察觉到
如果创始人走了,这家公司就没未来了,无一例外,因为世界就是草台班子, 公司不怕不能赚钱,就怕所有人都不知道未来怎么走,而创始人就是创业黑暗森林里那唯一的一束光
创业比拼的是认知,而认知的发动机就是创始人本人,创始人走了,一切都会趋于混乱,最终消亡
苹果是,英伟达也是,一声叹息
via https://manateelazycat.github.io/feed.xml
一家靠创始人白手起家辛辛苦苦创建的公司,让创始人走路,这家公司就毁了
公司不光是产品和价值,这些仅仅是公司现在价值的体现
现在的价值是创始人过去冥思苦想开拓出来的,而公司未来的价值也要靠行业专家型创始人的敏锐度才能察觉到
如果创始人走了,这家公司就没未来了,无一例外,因为世界就是草台班子, 公司不怕不能赚钱,就怕所有人都不知道未来怎么走,而创始人就是创业黑暗森林里那唯一的一束光
创业比拼的是认知,而认知的发动机就是创始人本人,创始人走了,一切都会趋于混乱,最终消亡
苹果是,英伟达也是,一声叹息
via https://manateelazycat.github.io/feed.xml
最稳定的 Claude 订阅方案
今天给大家分享一个邪修使用 Opus 5.5 的方案:
1. Google 账号买 Google AI Ultra:https://one.google.com/ 199 美金一个月,国内信用卡支付。
2. 设置 Google 关联国家:https://policies.google.com/country-association-form 直接选择美国,其他,理由就写“开发者工具使用”。这一步的目的是让第三步 Antigravity 可以使用,申请后等半个小时 Gmail 邮件确认。
3. 安装 Antigravity CLI:用 Google OAuth 登录,选择 Opus 5.5 就可以了。
注意,全程需要配合美国的 VPS IP。
这个方法是我试过所有方法最稳定的,不需要国外支付,不需要搞干净家宽 IP,不需要 KYC 验证啥的,Google 基本上全给你屏蔽了,长期稳定使用,Gemini 和 Claude 的额度是分开计算的。
附带的福利就是,YouTube 看视频没广告了,哈哈哈哈。
大佬们不要广泛传播,偷偷用就好了,免得你们用的太厉害,导致我最后也没法用了。
via https://manateelazycat.github.io/feed.xml
今天给大家分享一个邪修使用 Opus 5.5 的方案:
1. Google 账号买 Google AI Ultra:https://one.google.com/ 199 美金一个月,国内信用卡支付。
2. 设置 Google 关联国家:https://policies.google.com/country-association-form 直接选择美国,其他,理由就写“开发者工具使用”。这一步的目的是让第三步 Antigravity 可以使用,申请后等半个小时 Gmail 邮件确认。
3. 安装 Antigravity CLI:用 Google OAuth 登录,选择 Opus 5.5 就可以了。
注意,全程需要配合美国的 VPS IP。
这个方法是我试过所有方法最稳定的,不需要国外支付,不需要搞干净家宽 IP,不需要 KYC 验证啥的,Google 基本上全给你屏蔽了,长期稳定使用,Gemini 和 Claude 的额度是分开计算的。
附带的福利就是,YouTube 看视频没广告了,哈哈哈哈。
大佬们不要广泛传播,偷偷用就好了,免得你们用的太厉害,导致我最后也没法用了。
via https://manateelazycat.github.io/feed.xml
最让我觉得「应该发生在上海」的偶遇
今天发生的偶遇,是我来上海之后最让我觉得「应该在上海发生」的事。
之前在新华路「来合作社」加了一个杂耍抛球活动的微信群。今天群里突然有人问要不要电影票《脸庞,村庄》,说朋友临时去不了,直接送。
我发现这个纪录片的导演,还有这部电影我之前都没听说过,不过豆瓣 9.1 分,而且看过的群友也在推荐!我就赶紧举手报名了!
看完之后最大的感受是:这是我看过的最好的纪录片之一(可能需要补充一下,我阅片量很少 lol,这个片子某种程度又打开了我的一个世界,纪录片原来还能这么拍。)
以下涉及剧透,请谨慎阅读!
----------------------
电影的拍法很有意思,一个老奶奶导演和一个年轻摄影师决定合作拍点不一样的东西,完全没有剧本,两个人开着车到处走,全靠路上偶遇到的人(当然能看出来,导演一直很关注劳动阶层,也带着很智慧很细腻的女性视角)。每到一个地方,他们就给当地人拍照片,印成巨大的肖像,贴在村里的老房子和各种大建筑上。
然后我发现我看到了很多平时被我忽视的职业。一个很深的感触就是, 原来在 AI 革我的命之后,这个世界上还有那么多充实、具体的事情可以做。
你会看到有人一个人(独立种地者?)种着 800 亩地:
也会看到一个活在自己世界里的「流浪汉」艺术家:
还有一个很有意思的,老奶奶拍到两家养山羊的农场:前一家男老板觉得山羊好斗,为了防止打架,在山羊很小的时候就把角给烧掉了,紧接着导演又拍到了另一家养羊场,那位女老板很干脆地说:”我绝对不会拔,如果为了商业利益这么做,那就是在把山羊当赚钱的工具”。她还在那家牧场里养了很多只小猫。
导演给女老板的房子上贴的照片是大大的有角的山羊:
还有一幕是在港口的码头工厂。厂里所有的员工都是男的,但是导演偏偏把他们的妻子们找过来,专门为妻子们拍照,再把巨幅照片贴在码头的集装箱上。平时大家只看到码头和工人,但那一刻,她们的脸就那么大大方方地立在海风里:
看完之后真的很喜欢这个片子,所以才发出开头的那个感叹:”今天发生的偶遇,是我来上海之后最让我觉得「应该在上海发生」的事”。(因为这个片子好像是2017 年上映的,这个剧场似乎是点映的!而且我很少主动去看纪录片hhh)
所以,之后要如果你刚好想找点什么看,很推荐去看看这部片子。
via Owen - Featured posts
今天发生的偶遇,是我来上海之后最让我觉得「应该在上海发生」的事。
之前在新华路「来合作社」加了一个杂耍抛球活动的微信群。今天群里突然有人问要不要电影票《脸庞,村庄》,说朋友临时去不了,直接送。
我发现这个纪录片的导演,还有这部电影我之前都没听说过,不过豆瓣 9.1 分,而且看过的群友也在推荐!我就赶紧举手报名了!
看完之后最大的感受是:这是我看过的最好的纪录片之一(可能需要补充一下,我阅片量很少 lol,这个片子某种程度又打开了我的一个世界,纪录片原来还能这么拍。)
以下涉及剧透,请谨慎阅读!
----------------------
电影的拍法很有意思,一个老奶奶导演和一个年轻摄影师决定合作拍点不一样的东西,完全没有剧本,两个人开着车到处走,全靠路上偶遇到的人(当然能看出来,导演一直很关注劳动阶层,也带着很智慧很细腻的女性视角)。每到一个地方,他们就给当地人拍照片,印成巨大的肖像,贴在村里的老房子和各种大建筑上。
然后我发现我看到了很多平时被我忽视的职业。一个很深的感触就是, 原来在 AI 革我的命之后,这个世界上还有那么多充实、具体的事情可以做。
你会看到有人一个人(独立种地者?)种着 800 亩地:
也会看到一个活在自己世界里的「流浪汉」艺术家:
还有一个很有意思的,老奶奶拍到两家养山羊的农场:前一家男老板觉得山羊好斗,为了防止打架,在山羊很小的时候就把角给烧掉了,紧接着导演又拍到了另一家养羊场,那位女老板很干脆地说:”我绝对不会拔,如果为了商业利益这么做,那就是在把山羊当赚钱的工具”。她还在那家牧场里养了很多只小猫。
导演给女老板的房子上贴的照片是大大的有角的山羊:
还有一幕是在港口的码头工厂。厂里所有的员工都是男的,但是导演偏偏把他们的妻子们找过来,专门为妻子们拍照,再把巨幅照片贴在码头的集装箱上。平时大家只看到码头和工人,但那一刻,她们的脸就那么大大方方地立在海风里:
看完之后真的很喜欢这个片子,所以才发出开头的那个感叹:”今天发生的偶遇,是我来上海之后最让我觉得「应该在上海发生」的事”。(因为这个片子好像是2017 年上映的,这个剧场似乎是点映的!而且我很少主动去看纪录片hhh)
所以,之后要如果你刚好想找点什么看,很推荐去看看这部片子。
via Owen - Featured posts
懒猫微服今年的五项底层更新
懒猫微服今年其实有几个底层的大更新,最近都搞完了,用户的满意度提升了很多
1. 手机原生应用,解决了原来应用需要登录客户端,再打开 APP 这种双进程的方式。双进程在手机上经常容易被手机厂商的省电策略误伤。现在改成了原生应用以后,每个 APP 都独立登录,手机上的稳定性和易用性提升的非常多
2. 国内优享中继,针对跨运营商和跨省的情况,会容易受运营商之间的网络墙导致的限速,通过优享中继的方法可以彻底解决跨省、跨运营商的网络连接限速问题
3. 跨国优享中继,通过优享中继的开箱即用方案,加上用户自己买的 VPS 线路,可以实现全球直通。我们测试的从美国手机访问中国微服的下载速度最高可以达到 42MB,延迟控制在 200 毫秒左右
4. PC 端 AI 代理冲突助手,当用户装了一些特别小众的代理软件,就会在腾设备上和懒猫微服的客户端产生冲突。我们针对这种情况加了 AI Agent 的能力,用户可以自助的通过 Agent 能力来解决 VPN 软件之间的相互冲突问题,大大提升了开箱即用的易用性
5. 电脑模式,最早的懒猫微服插上 HDMI 可以实现大屏 Chrome 电视。我们最近的版本也支持用户插上鼠标键盘当成电脑使用。出门就是个人超级服务器,回家就是一台 PC 电脑
这些都是我们在实战中根据用户反馈做的底层增强,只为让用户用的更方便、更省心,在方便自己访问个人数据的同时,能抵御黑客攻击
via https://manateelazycat.github.io/feed.xml
懒猫微服今年其实有几个底层的大更新,最近都搞完了,用户的满意度提升了很多
1. 手机原生应用,解决了原来应用需要登录客户端,再打开 APP 这种双进程的方式。双进程在手机上经常容易被手机厂商的省电策略误伤。现在改成了原生应用以后,每个 APP 都独立登录,手机上的稳定性和易用性提升的非常多
2. 国内优享中继,针对跨运营商和跨省的情况,会容易受运营商之间的网络墙导致的限速,通过优享中继的方法可以彻底解决跨省、跨运营商的网络连接限速问题
3. 跨国优享中继,通过优享中继的开箱即用方案,加上用户自己买的 VPS 线路,可以实现全球直通。我们测试的从美国手机访问中国微服的下载速度最高可以达到 42MB,延迟控制在 200 毫秒左右
4. PC 端 AI 代理冲突助手,当用户装了一些特别小众的代理软件,就会在腾设备上和懒猫微服的客户端产生冲突。我们针对这种情况加了 AI Agent 的能力,用户可以自助的通过 Agent 能力来解决 VPN 软件之间的相互冲突问题,大大提升了开箱即用的易用性
5. 电脑模式,最早的懒猫微服插上 HDMI 可以实现大屏 Chrome 电视。我们最近的版本也支持用户插上鼠标键盘当成电脑使用。出门就是个人超级服务器,回家就是一台 PC 电脑
这些都是我们在实战中根据用户反馈做的底层增强,只为让用户用的更方便、更省心,在方便自己访问个人数据的同时,能抵御黑客攻击
via https://manateelazycat.github.io/feed.xml
为什么懒猫微服的内网穿透比 Tailscale 更适合国内?
懒猫微服的内网穿透技术是非常复杂的
我在跟大佬们介绍的时候,其实也很难一下讲清楚
好的是,今天我们的网络底层工程师让 AI 做了一个宣传视频,讲得特别好,分享给大佬们
via https://manateelazycat.github.io/feed.xml
Invalid media: video
懒猫微服的内网穿透技术是非常复杂的
我在跟大佬们介绍的时候,其实也很难一下讲清楚
好的是,今天我们的网络底层工程师让 AI 做了一个宣传视频,讲得特别好,分享给大佬们
via https://manateelazycat.github.io/feed.xml
Invalid media: video
试了五款车载手机支架后,我选了这款
连续买了 5 个手机的支架。都不行,今天这个终于满意
1. 不要买那种带胶水底座吸盘的手机支架,吸力不行。吸盘只有像 Ins 360 官方的 500 元的电动吸盘才靠谱,但是那种电动吸盘一般都很大
2. 也不要买那种背后螺丝太紧的手机支架,默认就太紧了,会产生巨大的压力,让屏幕变黄,长期会让车机的屏幕损坏
3. 要买像我今天这种挂在屏幕的手机支架,第一不会异响,第二,它的受力在于边缘,而不在于屏幕的内角,所以说不会让屏幕因为压力而损坏
这个手机支架还不错,还带了磁吸和无线快充,背后还有一个风扇,这个风扇很重要,在户外越野的时候,因为太阳直射很大,如果没有风扇的话,就会因为温度过高而关机
via https://manateelazycat.github.io/feed.xml
Invalid media: image
连续买了 5 个手机的支架。都不行,今天这个终于满意
1. 不要买那种带胶水底座吸盘的手机支架,吸力不行。吸盘只有像 Ins 360 官方的 500 元的电动吸盘才靠谱,但是那种电动吸盘一般都很大
2. 也不要买那种背后螺丝太紧的手机支架,默认就太紧了,会产生巨大的压力,让屏幕变黄,长期会让车机的屏幕损坏
3. 要买像我今天这种挂在屏幕的手机支架,第一不会异响,第二,它的受力在于边缘,而不在于屏幕的内角,所以说不会让屏幕因为压力而损坏
这个手机支架还不错,还带了磁吸和无线快充,背后还有一个风扇,这个风扇很重要,在户外越野的时候,因为太阳直射很大,如果没有风扇的话,就会因为温度过高而关机
via https://manateelazycat.github.io/feed.xml
Invalid media: image
AI模型御三家能力实测
1. Claude 最猛,但是 Dairo 不让用,国人很不爽
2. Gemini 4 Carbon, 超级强,又快又好,三家中逆向倾向最牛逼的, 动不动就直接反汇编,感觉内置REA一样
3. GPT, 现在开 fast 模式都非常非常的慢,正常干活要急死人,适合项目后期做功能迭代,因为这家伙补的测试用例真的很全啊, 测试用例是功能代码的100倍 🤡
via https://manateelazycat.github.io/feed.xml
1. Claude 最猛,但是 Dairo 不让用,国人很不爽
2. Gemini 4 Carbon, 超级强,又快又好,三家中逆向倾向最牛逼的, 动不动就直接反汇编,感觉内置REA一样
3. GPT, 现在开 fast 模式都非常非常的慢,正常干活要急死人,适合项目后期做功能迭代,因为这家伙补的测试用例真的很全啊, 测试用例是功能代码的100倍 🤡
via https://manateelazycat.github.io/feed.xml
AI 御三家架构能力对比
1. Claude 最强的是,它能知道你需求背后的真实深层目标是什么,它可以以高于你需求的目标,给你一个更好的方案。在本来就是架构师的时候,Claude 增强的有限,但是对于新手来说特别友好,因为新手就缺少架构能力。所以说这就是社区为什么都喜欢 Claude 的 one shot 的原因
2. Gemini 是一个非常开阔、敢于冒险的 AI 模型。我这段时间做性能优化,它基本上就会以非常激进的方式,把所有的情况都尝试一遍,从底层到上层。这样激进的方式有个特别大的好处,就是它可以发现很多人类认知以外的一些组合的可能性。搭配高手非常好,因为高手本身有很强的架构能力,但是高手的精力有限,不可能尝试所有的方案。Gemini 是一个非常灵活,愿意尝试新鲜方向的模型。所以说我最近特别喜欢这个模型,虽然 Agy 用户体验很拉,但是不能影响对 Gemini 的高度评价。我下面的截图就是 Gemini 的回复
3. GPT,曾经最强的 AI 模型,我从去年到 10 月份一直用 GPT 写代码,主要有两个原因,第一,Claude 经常被封号,累了,第二, GPT 这种非常严谨的思路,其实特别适合我,因为架构能力很强的人,其实不太需要 AI,但是需要 AI 去做很多测试用例。所以说 GPT 写的代码是非常严谨的,这个从商业的质量来说是非常好的,即使它很慢,但是是非常严谨。但是 GPT 从 6 开始以后,就变成是一种内耗性人格,他特别怕犯错,所以他做任何创新的事情,他都会给你做很多的测试用例和兜底的方案,导致做架构设计的时候,或者做这种性能优化的时候,他整体的结果是偏保守的,因为他的质量优先的测试用例的思维会否定很多创新性的设计和性能优化的方案。所以现在我做创新性的架构设计和性能优化的时候,我更优选 Gemini。只有那些非常成熟的项目,需要它补充一些测试用例,或者说写一些质量很好的代码,才会备选 GPT
简而言之,总结一下
1. Claude 是当之无愧的王者,但是使用成本太高了
2. Gemini 其实很像 Opus 5.5 的表现,而且它非常的灵活而且视野开阔,适合做性能优化,不拒绝逆向,它是三家唯一不拒绝逆向的模 AI 模型
3. GPT 更适合成熟项目的后期维护,不太适合创新的架构设计和性能优化
via https://manateelazycat.github.io/feed.xml
Invalid media: image
1. Claude 最强的是,它能知道你需求背后的真实深层目标是什么,它可以以高于你需求的目标,给你一个更好的方案。在本来就是架构师的时候,Claude 增强的有限,但是对于新手来说特别友好,因为新手就缺少架构能力。所以说这就是社区为什么都喜欢 Claude 的 one shot 的原因
2. Gemini 是一个非常开阔、敢于冒险的 AI 模型。我这段时间做性能优化,它基本上就会以非常激进的方式,把所有的情况都尝试一遍,从底层到上层。这样激进的方式有个特别大的好处,就是它可以发现很多人类认知以外的一些组合的可能性。搭配高手非常好,因为高手本身有很强的架构能力,但是高手的精力有限,不可能尝试所有的方案。Gemini 是一个非常灵活,愿意尝试新鲜方向的模型。所以说我最近特别喜欢这个模型,虽然 Agy 用户体验很拉,但是不能影响对 Gemini 的高度评价。我下面的截图就是 Gemini 的回复
3. GPT,曾经最强的 AI 模型,我从去年到 10 月份一直用 GPT 写代码,主要有两个原因,第一,Claude 经常被封号,累了,第二, GPT 这种非常严谨的思路,其实特别适合我,因为架构能力很强的人,其实不太需要 AI,但是需要 AI 去做很多测试用例。所以说 GPT 写的代码是非常严谨的,这个从商业的质量来说是非常好的,即使它很慢,但是是非常严谨。但是 GPT 从 6 开始以后,就变成是一种内耗性人格,他特别怕犯错,所以他做任何创新的事情,他都会给你做很多的测试用例和兜底的方案,导致做架构设计的时候,或者做这种性能优化的时候,他整体的结果是偏保守的,因为他的质量优先的测试用例的思维会否定很多创新性的设计和性能优化的方案。所以现在我做创新性的架构设计和性能优化的时候,我更优选 Gemini。只有那些非常成熟的项目,需要它补充一些测试用例,或者说写一些质量很好的代码,才会备选 GPT
简而言之,总结一下
1. Claude 是当之无愧的王者,但是使用成本太高了
2. Gemini 其实很像 Opus 5.5 的表现,而且它非常的灵活而且视野开阔,适合做性能优化,不拒绝逆向,它是三家唯一不拒绝逆向的模 AI 模型
3. GPT 更适合成熟项目的后期维护,不太适合创新的架构设计和性能优化
via https://manateelazycat.github.io/feed.xml
Invalid media: image
很多传统大厂的中间层可能会比较难
朋友圈看到很多腾讯的新闻,要让员工从陆军转海军
其实这件事情认真分析一下,其实是很有道理的
1. AI 之前软件的执行成本比较高,所以说需要从老板、销售、市场、项目经理、产品经理到研发,层层把关。这么多人参与的目的就是希望传递信息的时候尽量不要衰减,高保真的让程序员去实现软件的功能。所以这个时候,牛逼的产品经理和项目经理就非常关键了。因为能理解老板和市场的需求,同时能传好话,其实是非常关键的
2. AI 时代以后,软件的执行成本已经降到了尘埃,软件的营销渠道和软件的需求把控,就会变成更加稀缺的能力。如果还用传统软件公司的组织结构去传递需求的话,就会发现层层传递,最后到 AI 那里就会需求变形。因为 AI 的执行能力很强,但是 AI 也阻止不了你需求是错误的时候给错误的功能。所以传统软件公司,那些不懂技术、不懂需求的产品经理和项目经理,基本上就不太需要了,因为他们在 AI 时代除了传话,也没太多的作用。AI 时代最佳的软件组织结构就是扁平化小团队。阻止 AI 快速发展的,恰恰是大团队的臃肿组织结构
3. 所以说传统大厂的中间管理层,比如项目经理和产品经理,其实应该就会被大量的淘汰。当然不是说不需要产品经理和项目经理,因为程序员先天是深度性人才,对用户的需求沟通和对市场的敏感度还是差很多,程序员先天擅长把事情做的性能很强。架构升级很合理,但是大多数程序员对方向感的把控其实是比较差的。所以那些懂用户需求的项目经理和有技术背景的产品经理,在 AI 时代会非常吃香
AI 时代,大家都需要快速的进化和适应,因为在绝对的生产力面前,一切过往的经验都是浮云
via https://manateelazycat.github.io/feed.xml
朋友圈看到很多腾讯的新闻,要让员工从陆军转海军
其实这件事情认真分析一下,其实是很有道理的
1. AI 之前软件的执行成本比较高,所以说需要从老板、销售、市场、项目经理、产品经理到研发,层层把关。这么多人参与的目的就是希望传递信息的时候尽量不要衰减,高保真的让程序员去实现软件的功能。所以这个时候,牛逼的产品经理和项目经理就非常关键了。因为能理解老板和市场的需求,同时能传好话,其实是非常关键的
2. AI 时代以后,软件的执行成本已经降到了尘埃,软件的营销渠道和软件的需求把控,就会变成更加稀缺的能力。如果还用传统软件公司的组织结构去传递需求的话,就会发现层层传递,最后到 AI 那里就会需求变形。因为 AI 的执行能力很强,但是 AI 也阻止不了你需求是错误的时候给错误的功能。所以传统软件公司,那些不懂技术、不懂需求的产品经理和项目经理,基本上就不太需要了,因为他们在 AI 时代除了传话,也没太多的作用。AI 时代最佳的软件组织结构就是扁平化小团队。阻止 AI 快速发展的,恰恰是大团队的臃肿组织结构
3. 所以说传统大厂的中间管理层,比如项目经理和产品经理,其实应该就会被大量的淘汰。当然不是说不需要产品经理和项目经理,因为程序员先天是深度性人才,对用户的需求沟通和对市场的敏感度还是差很多,程序员先天擅长把事情做的性能很强。架构升级很合理,但是大多数程序员对方向感的把控其实是比较差的。所以那些懂用户需求的项目经理和有技术背景的产品经理,在 AI 时代会非常吃香
AI 时代,大家都需要快速的进化和适应,因为在绝对的生产力面前,一切过往的经验都是浮云
via https://manateelazycat.github.io/feed.xml
👍1
从硬件加速器的角度看,为什么 Thor T5000 是比 GB10 更好的 AI 推理芯片?
大模型推理的核心计算几乎全是矩阵运算(GEMM / GEMV),尤其是 Attention 和 MoE/FFN。Thor 的这些加速器不是“多了几个核”,而是专门针对“大矩阵 + 频繁数据搬运 + 低精度格式”这条路径做的硬件优化。GB10(sm_121)在这些路径上支持不完整,所以同样代码在 Thor 上能走完全不同的硬件通路
1. tcgen05 UMMA(核心矩阵加速单元)
大模型怎么用到它
● Prefill 阶段:Attention 的 QK^T 和 PV 都是大矩阵乘,K 维度很长。
● Decode 阶段:虽然单步是 GEMV,但 MoE 专家计算、以及多 batch / 多头时仍然会聚合成较大 GEMM。
● 低精度权重(FP4 / FP8 / MXFP4)本身也需要硬件支持才能高效计算。
原理
普通 CUDA Core 做矩阵是“通用指令逐元素算”,寄存器和调度开销很大。tcgen05 是专门的 Tensor Core 指令,一次可以发出很大的矩阵乘加(UMMA),而且是异步的——发射后计算单元自己跑,主线程可以去做别的事。累加结果直接写到 TMEM,而不是塞进有限的寄存器文件。
GB10 上没有完整的 tcgen05 路径(软件层不暴露或降级到旧的 mma 指令),只能用 CUDA Core 做软解码和计算,算力利用率很低。Thor 可以走完整的 tcgen05 通路,所以 Attention Prefill 能从几百毫秒压到几十毫秒。
2. TMEM(Tensor Memory)
大模型怎么用到它
矩阵乘的累加器(C 矩阵)体积很大。以前必须放在寄存器里,寄存器一满就得 spill 到 Shared Memory 或显存,来回搬数据。TMEM 是专门给 Tensor Core 用的片上累加器存储(每 SM 约 256 KB),tcgen05 直接读写它。
原理
● 计算时结果留在 TMEM,不占用寄存器。
● 下一轮计算或 epilogue(后处理、量化、写回)可以直接从 TMEM 读取。
● 结果是:单 SM 能同时驻留更多计算任务(更高 occupancy),并且减少寄存器压力带来的带宽浪费。
没有 TMEM 时,大 tile 的 GEMM 会因为寄存器不够而被迫缩小 tile 或频繁 spill,效率暴跌。这就是为什么同样是 Blackwell,Thor 在 Attention/MoE 上能跑出更高有效带宽的关键原因之一。
3. TMA + 更大 Shared Memory
大模型怎么用到它
权重和激活需要从显存(LPDDR5X)搬到计算单元附近。TMA 是专用的异步拷贝引擎,专门负责把大块 tensor 从 global memory 搬到 Shared Memory,搬运过程几乎不占用 CUDA Core。Thor 的 Shared Memory 容量更高(约 228 KB/SM),可以一次装下更大的 tile。
原理
典型流水线是:
1. TMA 异步把下一块权重/激活搬到 Shared Memory;
2. 同时 tcgen05 在用上一块数据做计算(结果写 TMEM);
3. 计算完成后,再从 TMEM 读出做后处理。
计算和搬运真正重叠,显存带宽被吃得更满。GB10 上 TMA/multicast 支持不完整,很多时候只能用普通 load 指令,搬运和计算互相抢资源,带宽利用率上不去。
4. PVA / OFA(多模态场景才会用到)
纯文本 LLM 几乎用不到它们。但当模型是视觉-语言模型(VLM)或需要同时跑相机流时:
● PVA 做图像预处理(resize、归一化、特征提取);
● OFA 做光流/立体视差。
这些任务从 GPU 上卸下来,GPU 可以专注跑 Transformer。整体系统延迟和功耗都会下降。
5. 双 NVENC/NVDEC + MIG
● 编解码器:多路视频输入/输出时不占 GPU 算力。
● MIG:把 GPU 硬件分区,一个实例跑语言模型,另一个跑视觉模型,资源隔离,延迟更可预测。
总结
Thor 跑大模型时,真正被用到的核心加速器是 tcgen05 + TMEM + TMA。 它们共同解决了三个问题:
1. 大矩阵计算本身慢(tcgen05 专用加速);
2. 累加结果占用太多寄存器(TMEM 专用存储);
3. 数据搬运和计算抢资源(TMA 异步重叠 + 更大 Shared Memory)。
这也是懒猫AI算力舱选择 Thor T5000 这款更强的芯片做AI算力舱的原因, 不但 FP4 2070T 的算力是 GB10 的两倍, AI模型要快主要就比拼芯片内置硬件加速器, Thor T5000 完全就是数据心中的高端芯片下放到C端的最强推理芯片,再加上超强的视觉并行处理能力,不光AI模型,以后在AI摄像头上的能力都要全面碾压 GB10
via https://manateelazycat.github.io/feed.xml
大模型推理的核心计算几乎全是矩阵运算(GEMM / GEMV),尤其是 Attention 和 MoE/FFN。Thor 的这些加速器不是“多了几个核”,而是专门针对“大矩阵 + 频繁数据搬运 + 低精度格式”这条路径做的硬件优化。GB10(sm_121)在这些路径上支持不完整,所以同样代码在 Thor 上能走完全不同的硬件通路
1. tcgen05 UMMA(核心矩阵加速单元)
大模型怎么用到它
● Prefill 阶段:Attention 的 QK^T 和 PV 都是大矩阵乘,K 维度很长。
● Decode 阶段:虽然单步是 GEMV,但 MoE 专家计算、以及多 batch / 多头时仍然会聚合成较大 GEMM。
● 低精度权重(FP4 / FP8 / MXFP4)本身也需要硬件支持才能高效计算。
原理
普通 CUDA Core 做矩阵是“通用指令逐元素算”,寄存器和调度开销很大。tcgen05 是专门的 Tensor Core 指令,一次可以发出很大的矩阵乘加(UMMA),而且是异步的——发射后计算单元自己跑,主线程可以去做别的事。累加结果直接写到 TMEM,而不是塞进有限的寄存器文件。
GB10 上没有完整的 tcgen05 路径(软件层不暴露或降级到旧的 mma 指令),只能用 CUDA Core 做软解码和计算,算力利用率很低。Thor 可以走完整的 tcgen05 通路,所以 Attention Prefill 能从几百毫秒压到几十毫秒。
2. TMEM(Tensor Memory)
大模型怎么用到它
矩阵乘的累加器(C 矩阵)体积很大。以前必须放在寄存器里,寄存器一满就得 spill 到 Shared Memory 或显存,来回搬数据。TMEM 是专门给 Tensor Core 用的片上累加器存储(每 SM 约 256 KB),tcgen05 直接读写它。
原理
● 计算时结果留在 TMEM,不占用寄存器。
● 下一轮计算或 epilogue(后处理、量化、写回)可以直接从 TMEM 读取。
● 结果是:单 SM 能同时驻留更多计算任务(更高 occupancy),并且减少寄存器压力带来的带宽浪费。
没有 TMEM 时,大 tile 的 GEMM 会因为寄存器不够而被迫缩小 tile 或频繁 spill,效率暴跌。这就是为什么同样是 Blackwell,Thor 在 Attention/MoE 上能跑出更高有效带宽的关键原因之一。
3. TMA + 更大 Shared Memory
大模型怎么用到它
权重和激活需要从显存(LPDDR5X)搬到计算单元附近。TMA 是专用的异步拷贝引擎,专门负责把大块 tensor 从 global memory 搬到 Shared Memory,搬运过程几乎不占用 CUDA Core。Thor 的 Shared Memory 容量更高(约 228 KB/SM),可以一次装下更大的 tile。
原理
典型流水线是:
1. TMA 异步把下一块权重/激活搬到 Shared Memory;
2. 同时 tcgen05 在用上一块数据做计算(结果写 TMEM);
3. 计算完成后,再从 TMEM 读出做后处理。
计算和搬运真正重叠,显存带宽被吃得更满。GB10 上 TMA/multicast 支持不完整,很多时候只能用普通 load 指令,搬运和计算互相抢资源,带宽利用率上不去。
4. PVA / OFA(多模态场景才会用到)
纯文本 LLM 几乎用不到它们。但当模型是视觉-语言模型(VLM)或需要同时跑相机流时:
● PVA 做图像预处理(resize、归一化、特征提取);
● OFA 做光流/立体视差。
这些任务从 GPU 上卸下来,GPU 可以专注跑 Transformer。整体系统延迟和功耗都会下降。
5. 双 NVENC/NVDEC + MIG
● 编解码器:多路视频输入/输出时不占 GPU 算力。
● MIG:把 GPU 硬件分区,一个实例跑语言模型,另一个跑视觉模型,资源隔离,延迟更可预测。
总结
Thor 跑大模型时,真正被用到的核心加速器是 tcgen05 + TMEM + TMA。 它们共同解决了三个问题:
1. 大矩阵计算本身慢(tcgen05 专用加速);
2. 累加结果占用太多寄存器(TMEM 专用存储);
3. 数据搬运和计算抢资源(TMA 异步重叠 + 更大 Shared Memory)。
这也是懒猫AI算力舱选择 Thor T5000 这款更强的芯片做AI算力舱的原因, 不但 FP4 2070T 的算力是 GB10 的两倍, AI模型要快主要就比拼芯片内置硬件加速器, Thor T5000 完全就是数据心中的高端芯片下放到C端的最强推理芯片,再加上超强的视觉并行处理能力,不光AI模型,以后在AI摄像头上的能力都要全面碾压 GB10
via https://manateelazycat.github.io/feed.xml