八月的 GPU 账单让我坐不住了 我们自建的推理集群,8 台 A100 80G,7 月的账单是 ¥41.6 万。同时监控告诉我另一个数字:GPU 利用率平均 31%。 花了钱,卡在空转。这两件事放一起,不优化说不过去。 这篇是过去五周做的事。缓存、量化、批处理三块,全会上线后的结果是:单卡吞吐从 2
一条一星评价 8 月 6 号早上,应用商店来了条新评价,一星: 用了半个月,每次都要重新介绍一遍我的情况。上周让它记住的偏好,这周又忘了。同一家公司的人问同一个问题,答案还不一样,无语。 第二条倒是我们有意为之(不同角色权限不同),第一条是实打实的问题。 这篇记录我们做 Agent 记忆持久化的过程
三个人吵了两周,我算了一笔账 7 月初,团队为"新项目用哪个 Java AI 框架"吵了两周。三个人,三种意见,各自写了 demo,各自的 benchmark 都证明自己选的更好。 我做了件不太受欢迎的事:把这两周的成本算了出来。 参与讨论:3 人 × 14 天 × 60% 投入 ≈ 25 人日 写
为什么开始看 AgentScope Java 我们团队的主力框架是 Spring AI 2.0,用了快一年。真正让我开始评估 AgentScope Java 2.0 的,是 6 月底一次多 Agent 协作的需求。 需求本身不复杂:一个"故障分析"场景,需要日志分析 Agent、代码检索 Agent
财务对账发现两笔一模一样的退款 7 月 2 日上午,财务在群里贴了两行流水: 2026-07-01 22:14:07 RF2026070122140701 SO20260628009 -12,900.00 成功 2026-07-01 22:14:09 RF2026070122140903
我们内部有 34 个 Agent,每家一套工具定义 今年年初做资产盘点,我发现一件事:公司里跑着 34 个 Agent(客服、运营、数据分析、运维助手……),它们调用的工具加起来有 210 多个,其中功能重叠的大概 60 个。 最典型的是「查订单」。客服 Agent 有一份实现,运营 Agent 有
红队测试甩过来一张截图 6 月中旬,安全组在我们客服 Agent 上做了一轮红队测试。第二天他们丢过来一段对话记录,最后一句模型输出是一串完整的身份证号——那是用户第一轮就提供的、我们已经脱敏过的号码。 我们的敏感词库有 12,800 条规则,身份证正则也在里面。为什么没拦住? 这篇记录我们随后两周