[问与答] [分享] Mac 本地跑大模型实测： 54 tok/s，一年省下 API 费 ≈ 一台 Mac mini
V 友们好，最近帮公司做推理成本优化，把实测过程整理出来了。
背景：团队每天 2000+ 次摘要/分类调用，走 API 一个月 ¥2000 上下。这类任务（工单分类、报表摘要、字段抽取）其实 3B 模型就能干，没必要每次都叫 GPT-5 。
实测：M1 Pro 32GB + llama.cpp + Qwen2.5-3B Q4_K_M （ 2GB ）
● 生成 54 tok/s （每秒约 40 个汉字）
● prompt 解析 551 t/s ，2100 token 长文 504 t/s 基本不衰减
● 内存 3.2GB ，挂后台无感
部署就三步：
1. brew install llama.cpp
2. curl 下载 gguf （ hf-mirror.com 镜像，-C - 断点续传）
3. llama-cli -m 模型路径 -p "提示词"
要给团队用的话 llama-server 一条命令起 OpenAI 兼容 API ，现有代码改个 base_url 就行。
顺便说下最近很火的 DeepInfer （ DeepSeek 开源的推理引擎）：性能确实猛，但硬件要求 Linux + NVIDIA SM100 （ B200 那个级别）或昇腾 950 ，中小企业看看就好，现阶段 vLLM 是甜点位。
完整教程+选型对比表： https://ai2070.cn （博客版）
想问下 V 友们：
1. 你们团队的 AI 调用量一个月 API 费多少？
2. 有没有人在生产跑过本地小模型？踩了什么坑？
via V2EX (author: daniel2493468168)
V 友们好，最近帮公司做推理成本优化，把实测过程整理出来了。
背景：团队每天 2000+ 次摘要/分类调用，走 API 一个月 ¥2000 上下。这类任务（工单分类、报表摘要、字段抽取）其实 3B 模型就能干，没必要每次都叫 GPT-5 。
实测：M1 Pro 32GB + llama.cpp + Qwen2.5-3B Q4_K_M （ 2GB ）
● 生成 54 tok/s （每秒约 40 个汉字）
● prompt 解析 551 t/s ，2100 token 长文 504 t/s 基本不衰减
● 内存 3.2GB ，挂后台无感
部署就三步：
1. brew install llama.cpp
2. curl 下载 gguf （ hf-mirror.com 镜像，-C - 断点续传）
3. llama-cli -m 模型路径 -p "提示词"
要给团队用的话 llama-server 一条命令起 OpenAI 兼容 API ，现有代码改个 base_url 就行。
顺便说下最近很火的 DeepInfer （ DeepSeek 开源的推理引擎）：性能确实猛，但硬件要求 Linux + NVIDIA SM100 （ B200 那个级别）或昇腾 950 ，中小企业看看就好，现阶段 vLLM 是甜点位。
完整教程+选型对比表： https://ai2070.cn （博客版）
想问下 V 友们：
1. 你们团队的 AI 调用量一个月 API 费多少？
2. 有没有人在生产跑过本地小模型？踩了什么坑？
via V2EX (author: daniel2493468168)
[问与答] 楼上合租房扰民怎么办？
坐标上海松江九亭，我在某小区整租了三居室，然后可能楼的隔音也不是很好，但是楼上经常半夜两三点钟发出光脚跑步、哑铃砸地板、拖桌子挪椅子、洗衣机运作的声音，偶尔还是那种突然咣当一下特别大声，能在半夜 2 点我和我老婆都睡着的情况下直接把我俩吓醒的程度；
之前找过物业、报过警、我半夜上去砸门，没有任何人开门，但有 2 次能透过猫眼（他们门的猫眼是平镜）看到里面有个人站着玩手机不敢发出声音；
然后昨天下班偶然点错电梯到他们那层了，出电梯下楼路上看到他们门开着，我就寻思去沟通一下，结果刚走到门口，一股子扑面而来的狗臭味扑面而来，然后里面是 6 个门，类似自如合租那种，门上有牌子：蘑菇租房 A-F ，6 个门，然后我进去敲了在我们卧室上方的单间，没人回应，我就拍了室内情况先回家了。
想问小区里这种合租房（三室 120 平 6 个租户）扰民的情况，怎么处理是最好的，我现在想法是拨打 12345 之类的热线投诉这个蘑菇租房，不知道有没有用，反正报警是没用，警察只能过来看看，敲门也没人开门
via V2EX (author: StoneHuLu)
坐标上海松江九亭，我在某小区整租了三居室，然后可能楼的隔音也不是很好，但是楼上经常半夜两三点钟发出光脚跑步、哑铃砸地板、拖桌子挪椅子、洗衣机运作的声音，偶尔还是那种突然咣当一下特别大声，能在半夜 2 点我和我老婆都睡着的情况下直接把我俩吓醒的程度；
之前找过物业、报过警、我半夜上去砸门，没有任何人开门，但有 2 次能透过猫眼（他们门的猫眼是平镜）看到里面有个人站着玩手机不敢发出声音；
然后昨天下班偶然点错电梯到他们那层了，出电梯下楼路上看到他们门开着，我就寻思去沟通一下，结果刚走到门口，一股子扑面而来的狗臭味扑面而来，然后里面是 6 个门，类似自如合租那种，门上有牌子：蘑菇租房 A-F ，6 个门，然后我进去敲了在我们卧室上方的单间，没人回应，我就拍了室内情况先回家了。
想问小区里这种合租房（三室 120 平 6 个租户）扰民的情况，怎么处理是最好的，我现在想法是拨打 12345 之类的热线投诉这个蘑菇租房，不知道有没有用，反正报警是没用，警察只能过来看看，敲门也没人开门
via V2EX (author: StoneHuLu)
[酷工作] 忍辱负重还是勇敢跳槽
请教各位大佬个事，我现在这算传统行业，目前也算个管理层，在深圳年收入 30 多万，不高不低，但 2 年前新业务线老板过来以后，我已经算被架空了，重要管理层会议基本没我份（由我直接上级参会），目前一亩三分地依然负责不变，但我不用汇报给业务线老板了，每次季度大型会议总是觉得屈辱，自我内耗想跳槽，但实话说，我现在 base 远离业务总部，也就是我现在其实居家办公，远程打个卡报道，日常在家边工作边带娃，工资绩效也不变，算是非常非常舒服的工作，而且跳槽外面行情也一般，说不定跳完以后工作更辛苦工资收入反而拿不到目前水平，有时候想想未来又觉得自己这样边缘化下去浪费时间没有成长，年龄一到估计就拿 N+1 了，也考虑过就这样下去，实在到 N+1 了就去送外卖也可以
via V2EX (author: hfhongyan)
请教各位大佬个事，我现在这算传统行业，目前也算个管理层，在深圳年收入 30 多万，不高不低，但 2 年前新业务线老板过来以后，我已经算被架空了，重要管理层会议基本没我份（由我直接上级参会），目前一亩三分地依然负责不变，但我不用汇报给业务线老板了，每次季度大型会议总是觉得屈辱，自我内耗想跳槽，但实话说，我现在 base 远离业务总部，也就是我现在其实居家办公，远程打个卡报道，日常在家边工作边带娃，工资绩效也不变，算是非常非常舒服的工作，而且跳槽外面行情也一般，说不定跳完以后工作更辛苦工资收入反而拿不到目前水平，有时候想想未来又觉得自己这样边缘化下去浪费时间没有成长，年龄一到估计就拿 N+1 了，也考虑过就这样下去，实在到 N+1 了就去送外卖也可以
via V2EX (author: hfhongyan)
[科技] 用开源项目自建了个影视站，免费、无广告
用开源项目自建了个影视站，免费、无广告：
👉 https://freetv.utjx.cn
11 个源自动聚合去重，40 万+部影片
电影 / 剧集 / 动漫 / 综艺 / 短剧都有
弹幕、多线路切换、断点续播，手机电脑通用
链接建议复制到浏览器打开，欢迎使用~
via V2EX (author: mrytsr)
用开源项目自建了个影视站，免费、无广告：
👉 https://freetv.utjx.cn
11 个源自动聚合去重，40 万+部影片
电影 / 剧集 / 动漫 / 综艺 / 短剧都有
弹幕、多线路切换、断点续播，手机电脑通用
链接建议复制到浏览器打开，欢迎使用~
via V2EX (author: mrytsr)
[分享创造] Grok Bot 最重要的事——备份！而且别被平台锁死
从使用 Grok Bot 的第一天开始，我就担心一件事：被锁死！ 所以我就在研究，如何备份 Grok Bot 的全部资料，而且未来能交接给其它 AI 助理，甚至是真人。 因此，我让 Grok Bot 自己做了一套备份 Script ，文章与连结在这边： company-notes.com/blog… 你可以请你的 Bot 直接看这个项目，然后 Clone 下来执行使用就好。 我自己目前的作法，是叫 MIS 部门的 AI 助理订立例行工作，每周备份一次放在 Google Drive 上，请它放在一个备份的专门资料夹。 快来试试，从此安心！
我也直接做了一个可以汇入的 Grok Bot 备份助理 ( https://x.ai/bot/LvdHazZLidr0S3JJAdr8e) 。不想自己研究怎么设定的话，直接汇入这个 Bot 就好。它会引导你进行备份，问你想把备份放在哪里（ Google Drive 或留在本机），以及多久备份一次。 祝大家使用愉快 :)
via V2EX (author: bear330)
从使用 Grok Bot 的第一天开始，我就担心一件事：被锁死！ 所以我就在研究，如何备份 Grok Bot 的全部资料，而且未来能交接给其它 AI 助理，甚至是真人。 因此，我让 Grok Bot 自己做了一套备份 Script ，文章与连结在这边： company-notes.com/blog… 你可以请你的 Bot 直接看这个项目，然后 Clone 下来执行使用就好。 我自己目前的作法，是叫 MIS 部门的 AI 助理订立例行工作，每周备份一次放在 Google Drive 上，请它放在一个备份的专门资料夹。 快来试试，从此安心！
我也直接做了一个可以汇入的 Grok Bot 备份助理 ( https://x.ai/bot/LvdHazZLidr0S3JJAdr8e) 。不想自己研究怎么设定的话，直接汇入这个 Bot 就好。它会引导你进行备份，问你想把备份放在哪里（ Google Drive 或留在本机），以及多久备份一次。 祝大家使用愉快 :)
via V2EX (author: bear330)
[分享创造] 做了一个使用 Whisper 本地生成字幕的 iOS 多媒体播放器，已上架 App Store
为本地视频生成 AI 字幕，无需等待整段转写完成，即可查看已生成的字幕。默认优先处理当前播放位置，转写进度自动保存，退出后可接着生成。转写在设备上完成，无需上传音频，支持双语对照与字幕导出。
为本地视频生成 AI 字幕，在播放器中跟随观看
导入视频，选择转写语言，即可在设备上将语音转换为字幕，无需上传音频。支持原文与译文双语对照，并可按需启用说话人识别，帮助你理解课程、访谈和其他视频内容。
无需等待整段完成
字幕逐段生成，已有字幕可立即显示。默认优先处理当前播放位置附近的内容，让你更早看到正在观看部分的字幕。
进度自动保存，退出后也能继续
无需一直保持 App 在前台。已完成的转写内容会自动保存，退出后再次打开，可从已有进度继续生成字幕，无需从头开始。
字幕跟随与双语对照
生成字幕后，可在播放器中跟随观看。开启翻译后，可对照查看原文与译文，并在字幕时间线中浏览和定位内容。
字幕导出与分享
完成转写后，可按时间线检查字幕并导出为 SRT 、VTT 、HTML 或 JSON ，方便用于播放器、内容整理与后续编辑。
音频与录音转写
也支持音频文件转写，以及录音时实时查看语音转成文字。录音转写草稿会持续保存，方便后续查看和整理。
网络媒体
支持打开媒体链接、订阅播客 RSS ，以及浏览 WebDAV 或 SMB 文件服务，在播放器中使用 AI 字幕。
设备端处理与资源下载
核心语音转写在设备端完成，无需上传音频。翻译使用系统能力；首次使用部分语言或缺少模型资源时，可能需要下载。播放播客或访问媒体链接、WebDAV 、SMB 时也需要网络。
via V2EX (author: myqonnt)
为本地视频生成 AI 字幕，无需等待整段转写完成，即可查看已生成的字幕。默认优先处理当前播放位置，转写进度自动保存，退出后可接着生成。转写在设备上完成，无需上传音频，支持双语对照与字幕导出。
为本地视频生成 AI 字幕，在播放器中跟随观看
导入视频，选择转写语言，即可在设备上将语音转换为字幕，无需上传音频。支持原文与译文双语对照，并可按需启用说话人识别，帮助你理解课程、访谈和其他视频内容。
无需等待整段完成
字幕逐段生成，已有字幕可立即显示。默认优先处理当前播放位置附近的内容，让你更早看到正在观看部分的字幕。
进度自动保存，退出后也能继续
无需一直保持 App 在前台。已完成的转写内容会自动保存，退出后再次打开，可从已有进度继续生成字幕，无需从头开始。
字幕跟随与双语对照
生成字幕后，可在播放器中跟随观看。开启翻译后，可对照查看原文与译文，并在字幕时间线中浏览和定位内容。
字幕导出与分享
完成转写后，可按时间线检查字幕并导出为 SRT 、VTT 、HTML 或 JSON ，方便用于播放器、内容整理与后续编辑。
音频与录音转写
也支持音频文件转写，以及录音时实时查看语音转成文字。录音转写草稿会持续保存，方便后续查看和整理。
网络媒体
支持打开媒体链接、订阅播客 RSS ，以及浏览 WebDAV 或 SMB 文件服务，在播放器中使用 AI 字幕。
设备端处理与资源下载
核心语音转写在设备端完成，无需上传音频。翻译使用系统能力；首次使用部分语言或缺少模型资源时，可能需要下载。播放播客或访问媒体链接、WebDAV 、SMB 时也需要网络。
via V2EX (author: myqonnt)