云端大模型按 token 计费，一个月对话量上来后账单吓人，而且内部工单数据走公网总归不踏实。同事安利了 Ollama，说本地能跑开源模型。我半信半疑地试了，结论是：本地模型不是云端替代品，而是特定场景的划算补充。 模型量化：显存决定你能跑多小 Ollama 拉模型时就要选量化版本。以 Qwen2-
把命运交給一家供应商太冒险 工单助手全量依赖 OpenAI，某次它区域性抖动 40 分钟，我们的自动回复全挂，运营被迫人工顶上，积压了上千条工单。AI 能力已经是生产依赖，就不能有单点。我搭了一套多模型路由加降级，核心：多供应商接入、健康检查、自动降级兜底。上线后两次抖动都平稳度过。 多供应商统一接
中文向量化的尴尬 做知识库检索时，第一步就是把文档切块转成向量。英文世界有现成的 sentence-transformers，中文呢？2023 年初这块还很青涩，我踩了一圈坑，记下来给后来者省时间。当时我们想给内部 Wiki 做语义搜索，先用英文模型试，中文召回烂得一塌糊涂，才意识到"中文 embe
模型返回的 JSON 总在变花样 让 LLM 抽取工单里的"订单号、问题类型、紧急度"并输出 JSON，结果它时而多回一句解释，时而把字段名写成 order_num 而非 orderId，解析直接炸，下游拿到 null 又是一堆空指针。要做可靠的系统，结构化输出必须可控。我把"约束加重试加校验"几层
问题代码：第一版大模型调用把线程池打满了 四月我们想给工单系统接一个大模型做自动摘要。第一版我图省事，用 RestTemplate 直接 POST 到 OpenAI 兼容接口，同步等返回。压测一上来就出问题：模型平均响应 3 秒，线程池 200 个线程 10 秒就被占满，QPS 卡在 60 上不去。
