八月的 GPU 账单让我坐不住了 我们自建的推理集群，8 台 A100 80G，7 月的账单是 ¥41.6 万。同时监控告诉我另一个数字：GPU 利用率平均 31%。 花了钱，卡在空转。这两件事放一起，不优化说不过去。 这篇是过去五周做的事。缓存、量化、批处理三块，全会上线后的结果是：单卡吞吐从 2
「能不能不装 Python」 起因是运维同事的一个要求。我们的一个内部 Agent 需要在客户机房部署，而客户的环境管控很严：不能装 Python，不能连外网，只能给一个 JAR 包和一个 JDK 21。 我第一反应是这个需求没法满足——跑模型怎么可能不用 Python。然后我想起去年在技术雷达里标
「我们的知识库问答准确率只有 71%，要不要做微调」 去年 11 月，业务方拿着一份评测报告来找我：客服问答准确率 71%，离可用的 85% 差得远。他们的结论是「做微调，把行业知识训进模型」。 我说先别急，让我把两条路都跑一遍再决定。这篇是三个月实测的结果，包括所有成本数字。结论先放：我们最后选了
客服转来一条投诉：AI 给用户编了个退款政策 十月底，客服同学转来一条用户投诉，附了聊天截图： 用户：我这个订单上周下的，还能退吗？ 机器人：可以的，我们支持 15 天内无理由退款，您直接在订单页面点击申请退款即可。 用户：我看到页面上写的是 7 天？ 机器人：抱歉造成困扰，7 天是普通商品的标准，
两个同事为「提示词改版有没有用」吵了一周 九月份我们改了一版运维 Agent 的系统提示词，主要变化是加了「先确认信息是否充分，再决定调用工具」这一段。改完之后团队内部炸了： 小王说「明显变准了，我测的几个问题都对」；老李说「变差了，现在它老是不干活，一直问我问题」。两人各举了三四个例子，都很有说服
财务拿着一张 14.7 万的账单来找我 六月初，财务同事拿着模型账单发消息给我："你们那个智能运维 Agent，上个月花了 14.7 万？预算不是 5 万吗？" 我一看确实超了快三倍，而且这个 Agent 上线才一个月，日均任务量只有 420 个左右。 我花了两天把账单拆开分析，发现问题比想象的有意
公司要求数据不出境，得换模型 四月底法务下了个通知：客服对话数据不能出境，我们正在用的海外模型必须换掉。当时系统基于 Spring AI 写的，第一反应是"换个 base-url 应该就行"，实际折腾了两周才稳定上线。 这篇记录接入国内模型的过程，主要是 Spring AI Alibaba 和 Op
订单系统线程池被一个"智能"功能打满 三月下旬的一个下午，监控突然报警：订单履约服务的 Tomcat 线程池活跃数从平时的 40 冲到 200（最大值），接口 P99 从 180ms 涨到 12s，大量订单卡在"待履约"状态。 排查过程很快。看线程 dump，200 个线程里有 187 个卡在同一个
产品说"用户上传截图自动填工单" 三月中旬产品提了个需求：用户报障时经常甩一张截图过来，客服要手工把里面的订单号、错误码、时间点一个个敲进工单系统，平均 90 秒一条，希望系统能自动识别和填充。听起来简单，做下来发现"看懂一张图"这件事在工程上的复杂度远超我的预期。 这篇记录我们在 Java 应用里
10 月账单 11.7 万，调用量才涨了 40% 11 月 1 号早上收到云厂商账单：10 月大模型调用费用 11.73 万元。9 月是 4.31 万，涨了 172%。但同期我们的业务量只涨了 40%，这中间肯定有浪费。 我花了两天做了一次完整的用量审计，最后把 11 月的账单压到了 5.1 万。过
