老废物乐园

菜单

老废物乐园 瓜子

所有标签

#LangChain 1 #架构 1 #高并发 3 #大模型 1 #GC 1 #Sentinel 1 #Resilience4j 1 #Java 6 #AI 1 #RAG 1 #JVM 1 #微服务 3 #限流 2 #SpringCloud 2 #性能调优 1 #Halo 1 #推理优化 1 #LTS 1 #数据架构 1 #框架选型 1 #AgentScope 1 #职业 1 #架构师 1 #AI生态 1 #内容安全 1 #数据 1 #JDK25 2 #A2A 1 #多租户 1 #产品 1 #上下文管理 1 #GOAP 1 #Embabel 1 #推理引擎 1 #Jlama 1 #AgentSkills 1 #微调 1 #生产实践 1 #技术选型 1 #工具化 1 #SpringBoot4 1 #多智能体 2 #数据库 1 #AIAgent 1 #协议 3 #幻觉 1 #职业成长 1 #总结 3 #评测 1 #记忆 2 #上下文工程 1 #JDK24 1 #Leyden 1 #混沌工程 1 #存储设计 1 #任务编排 1 #成本 1 #AI中台 1 #国产模型 1 #AI原生 1 #JSON 1 #流处理 1 #工程化 1 #AI编程 2 #研发效能 2 #向量 1 #多模态 1 #AI网关 1 #MCP 4 #知识库 3 #ReAct 1 #Redis8 1 #JDK22 1 #FFM 1 #依赖治理 1 #数据安全 1 #混合检索 1 #生产 2 #成本优化 1 #工程 1 #Prompt 1 #代码评审 1 #数据库选型 1 #JDK23 1 #防护 1 #AI安全 1 #Ollama 1 #本地模型 1 #降级 1 #数据管道 1 #语法演进 1 #优化 1 #架构设计 1 #FunctionCalling 1 #启动优化 2 #JVM配置 1 #GitLab 1 #流式 1 #SSE 1 #去O 1 #架构改造 1 #分布式数据库 1 #模型路由 1 #LLM 2 #结构化输出 1 #AI 27 #ScopedValue 1 #JFR 1 #任务调度 1 #向量检索 1 #灰度发布 1 #JDK21 1 #OpenTelemetry 1 #LangChain4j 2 #容器 2 #KRaft 1 #SOP 1 #排查方法 1 #HTTP客户端 1 #JOIN 1 #窗口函数 1 #构建工具 1 #Gradle 1 #Java21 4 #结构化并发 2 #分代 1 #管理 1 #技术债 1 #大模型 2 #Java 8 #ClickHouse 1 #OLAP 1 #向量数据库 2 #RAG 6 #SpringBatch 1 #批处理 1 #Embedding 1 #模型 1 #容量评估 1 #设计规范 1 #框架 3 #SpringAI 7 #OAuth2 1 #自动化 1 #Nginx 1 #Spring6 2 #AOT 2 #主从延迟 1 #ServiceMesh 1 #Istio 1 #Spring4Shell 1 #事件驱动 3 #Sealed 1 #调优 2 #集成测试 1 #JUnit5 1 #认证 1 #SpringSecurity 2 #聚合 1 #Java15 1 #TextBlock 1 #Canal 1 #SpringBoot3 2 #高并发 2 #秒杀 1 #JDK17 1 #查询优化 1 #低延迟 1 #原生镜像 1 #GraalVM 2 #线程 1 #事件溯源 1 #查询 1 #治理 1 #GitOps 1 #CD 1 #R2DBC 1 #RocketMQ5 1 #火焰图 1 #性能分析 2 #发布 1 #自动化测试 1 #Redis7 1 #多级缓存 1 #实践 1 #设计模式 1 #ExactlyOnce 1 #Agent 13 #字节码 1 #Record 1 #虚拟线程 9 #ProjectLoom 1 #模式匹配 2 #Java17 3 #MAT 1 #内存分析 1 #Java9 1 #Log4j2 1 #Redisson 1 #Caffeine 1 #本地缓存 1 #新特性 10 #Redis6 1 #循环依赖 1 #堆外内存 1 #重平衡 1 #CPU 1 #压测 1 #响应式 3 #WebFlux 1 #监控 1 #Prometheus 1 #JIT 1 #编译 1 #事务消息 1 #延迟消息 1 #熔断降级 2 #Resilience4j 2 #JPMS 1 #模块化 2 #JDK11 1 #K8s 2 #工程结构 1 #SQL治理 1 #规范 2 #工具 1 #数据迁移 1 #可观测性 5 #SkyWalking 1 #DDL 1 #方法论 1 #集群 1 #ShardingSphere 2 #可靠性 1 #Java10 1 #语法 2 #ZGC 3 #安全 5 #Fastjson 1 #DDD 3 #原理 1 #Snowflake 1 #分布式ID 1 #实战 5 #故障复盘 3 #LongAdder 1 #一致性 1 #读写分离 1 #FullGC 1 #故障 6 #文档 1 #Swagger 1 #诊断 2 #Arthas 2 #大key 1 #性能优化 4 #热点key 1 #搜索引擎 1 #GC调优 1 #G1 1 #顺序消息 1 #方案对比 2 #SQL 1 #网关 1 #Gateway 1 #Kafka 8 #积压 1 #超时 1 #拆分 1 #SpringCloud 2 #JVM参数 1 #注册中心 2 #Nacos 2 #Seata 1 #分布式事务 2 #升级 5 #MySQL8 2 #限流 2 #Sentinel 2 #迁移 5 #环境搭建 1 #部署 2 #Docker 2 #Elasticsearch 7 #微服务 5 #OpenFeign 1 #优雅停机 1 #消息可靠性 1 #RocketMQ 3 #Jenkins 1 #CI 3 #原子类 1 #CAS 1 #并发Bug 1 #JDK 3 #选型 3 #收集器 1 #Zookeeper 1 #Dubbo 1 #CompletableFuture 2 #异步 2 #幂等 4 #并行 1 #并发工具 1 #BlockingQueue 1 #JUC 2 #单元测试 1 #JUnit 1 #类加载 1 #自动配置 1 #引用 1 #高可用 2 #死锁 3 #Logback 1 #JVM工具 1 #排查 7 #拒绝策略 1 #Optional 1 #MQ 6 #AQS 1 #分布式 2 #CAP 1 #事件 1 #持久化 1 #Lambda 1 #AOP 1 #Metaspace 1 #Java8 3 #分库分表 4 #Bean 3 #源码 3 #MVCC 1 #注解 1 #并发容器 1 #ConcurrentHashMap 1 #缓存一致性 2 #Druid 1 #连接池 2 #SQL优化 4 #explain 1 #依赖注入 1 #配置 3 #Spring 17 #Integer 1 #装箱 1 #分布式锁 3 #OOM 5 #JVM 5 #单例模式 1 #反射 2 #索引 2 #集合 2 #迭代器 1 #Tomcat 1 #内存 2 #equals 1 #HashMap 2 #Maven 2 #依赖冲突 1 #并发 2 #锁 2 #IO 1 #资源管理 1 #API 1 #REST 1 #内存泄漏 4 #ThreadLocal 1 #事务 3 #日志 3 #GC 11 #Redis 14 #函数式 2 #Stream 2 #枚举 1 #日期 2 #线程安全 1 #ThreadPool 1 #线程池 4 #重构 4 #架构 25 #Bug 2 #对象拷贝 1 #JMM 1 #volatile 2 #版本管理 1 #Git 1 #性能 6 #String 2 #参数绑定 1 #SpringMVC 1 #分页 3 #MySQL 14 #SpringBoot 11 #入门 2 #Linux 1 #运维 2 #缓存 6 #MyBatis 4 #批量插入 1 #金额 1 #BigDecimal 1 #PECS 1 #泛型 1 #性能调优 1 #随笔 1
AI 与智能体开发 #推理优化#AI

大模型推理加速：缓存、量化与批处理

八月的 GPU 账单让我坐不住了 我们自建的推理集群，8 台 A100 80G，7 月的账单是 ¥41.6 万。同时监控告诉我另一个数字：GPU 利用率平均 31%。 花了钱，卡在空转。这两件事放一起，不优化说不过去。 这篇是过去五周做的事。缓存、量化、批处理三块，全会上线后的结果是：单卡吞吐从 2

遥望星星 遥望星星 发布于 2026-08-24