老废物乐园

菜单

老废物乐园

所有标签

#Java 6 #限流 2 #高并发 3 #JVM 1 #性能调优 1 #AI 1 #GC 1 #Sentinel 1 #大模型 1 #微服务 3 #Resilience4j 1 #SpringCloud 2 #RAG 1 #架构 1 #LangChain 1 #Halo 1 #推理优化 1 #LTS 1 #数据架构 1 #框架选型 1 #AgentScope 1 #架构师 1 #职业 1 #AI生态 1 #内容安全 1 #数据 1 #JDK25 2 #A2A 1 #多租户 1 #产品 1 #上下文管理 1 #GOAP 1 #Embabel 1 #Jlama 1 #推理引擎 1 #AgentSkills 1 #微调 1 #生产实践 1 #技术选型 1 #工具化 1 #SpringBoot4 1 #多智能体 2 #数据库 1 #AIAgent 1 #协议 3 #幻觉 1 #总结 3 #职业成长 1 #评测 1 #记忆 2 #上下文工程 1 #JDK24 1 #Leyden 1 #混沌工程 1 #存储设计 1 #任务编排 1 #成本 1 #AI中台 1 #国产模型 1 #AI原生 1 #JSON 1 #流处理 1 #工程化 1 #AI编程 2 #研发效能 2 #向量 1 #多模态 1 #AI网关 1 #MCP 4 #知识库 3 #ReAct 1 #Redis8 1 #JDK22 1 #FFM 1 #依赖治理 1 #数据安全 1 #混合检索 1 #生产 2 #成本优化 1 #Prompt 1 #工程 1 #代码评审 1 #数据库选型 1 #JDK23 1 #防护 1 #AI安全 1 #Ollama 1 #本地模型 1 #降级 1 #数据管道 1 #语法演进 1 #优化 1 #架构设计 1 #FunctionCalling 1 #启动优化 2 #JVM配置 1 #GitLab 1 #SSE 1 #流式 1 #架构改造 1 #去O 1 #分布式数据库 1 #模型路由 1 #LLM 2 #结构化输出 1 #AI 27 #ScopedValue 1 #JFR 1 #任务调度 1 #向量检索 1 #灰度发布 1 #JDK21 1 #OpenTelemetry 1 #LangChain4j 2 #容器 2 #KRaft 1 #SOP 1 #排查方法 1 #HTTP客户端 1 #JOIN 1 #窗口函数 1 #Gradle 1 #构建工具 1 #Java21 4 #结构化并发 2 #分代 1 #管理 1 #技术债 1 #Java 8 #大模型 2 #ClickHouse 1 #OLAP 1 #向量数据库 2 #RAG 6 #批处理 1 #SpringBatch 1 #Embedding 1 #模型 1 #容量评估 1 #设计规范 1 #框架 3 #SpringAI 7 #OAuth2 1 #自动化 1 #Nginx 1 #Spring6 2 #AOT 2 #主从延迟 1 #ServiceMesh 1 #Istio 1 #Spring4Shell 1 #事件驱动 3 #Sealed 1 #调优 2 #JUnit5 1 #集成测试 1 #认证 1 #SpringSecurity 2 #聚合 1 #Java15 1 #TextBlock 1 #Canal 1 #SpringBoot3 2 #高并发 2 #秒杀 1 #JDK17 1 #查询优化 1 #低延迟 1 #GraalVM 2 #原生镜像 1 #线程 1 #事件溯源 1 #查询 1 #治理 1 #GitOps 1 #CD 1 #R2DBC 1 #RocketMQ5 1 #火焰图 1 #性能分析 2 #发布 1 #自动化测试 1 #Redis7 1 #多级缓存 1 #设计模式 1 #实践 1 #ExactlyOnce 1 #字节码 1 #Agent 13 #Record 1 #虚拟线程 9 #ProjectLoom 1 #模式匹配 2 #Java17 3 #内存分析 1 #MAT 1 #Java9 1 #Log4j2 1 #Redisson 1 #Caffeine 1 #本地缓存 1 #新特性 10 #Redis6 1 #循环依赖 1 #堆外内存 1 #重平衡 1 #CPU 1 #压测 1 #响应式 3 #WebFlux 1 #Prometheus 1 #监控 1 #编译 1 #JIT 1 #事务消息 1 #延迟消息 1 #熔断降级 2 #Resilience4j 2 #JPMS 1 #模块化 2 #JDK11 1 #K8s 2 #工程结构 1 #SQL治理 1 #规范 2 #工具 1 #数据迁移 1 #SkyWalking 1 #可观测性 5 #DDL 1 #方法论 1 #集群 1 #ShardingSphere 2 #可靠性 1 #语法 2 #Java10 1 #ZGC 3 #安全 5 #Fastjson 1 #DDD 3 #原理 1 #Snowflake 1 #分布式ID 1 #实战 5 #故障复盘 3 #LongAdder 1 #一致性 1 #读写分离 1 #FullGC 1 #故障 6 #文档 1 #Swagger 1 #诊断 2 #Arthas 2 #大key 1 #性能优化 4 #热点key 1 #搜索引擎 1 #G1 1 #GC调优 1 #顺序消息 1 #方案对比 2 #SQL 1 #网关 1 #Gateway 1 #Kafka 8 #积压 1 #超时 1 #拆分 1 #SpringCloud 2 #JVM参数 1 #注册中心 2 #Nacos 2 #分布式事务 2 #Seata 1 #升级 5 #MySQL8 2 #Sentinel 2 #限流 2 #迁移 5 #环境搭建 1 #Docker 2 #部署 2 #Elasticsearch 7 #微服务 5 #OpenFeign 1 #优雅停机 1 #消息可靠性 1 #RocketMQ 3 #CI 3 #Jenkins 1 #CAS 1 #原子类 1 #并发Bug 1 #JDK 3 #选型 3 #收集器 1 #Dubbo 1 #Zookeeper 1 #异步 2 #CompletableFuture 2 #幂等 4 #并行 1 #并发工具 1 #BlockingQueue 1 #JUC 2 #单元测试 1 #JUnit 1 #类加载 1 #自动配置 1 #引用 1 #高可用 2 #死锁 3 #Logback 1 #JVM工具 1 #排查 7 #拒绝策略 1 #Optional 1 #MQ 6 #AQS 1 #CAP 1 #分布式 2 #事件 1 #持久化 1 #Lambda 1 #AOP 1 #Metaspace 1 #Java8 3 #分库分表 4 #Bean 3 #源码 3 #MVCC 1 #注解 1 #并发容器 1 #ConcurrentHashMap 1 #缓存一致性 2 #连接池 2 #Druid 1 #SQL优化 4 #explain 1 #依赖注入 1 #配置 3 #Spring 17 #Integer 1 #装箱 1 #分布式锁 3 #JVM 5 #OOM 5 #单例模式 1 #反射 2 #索引 2 #迭代器 1 #集合 2 #Tomcat 1 #内存 2 #equals 1 #HashMap 2 #Maven 2 #依赖冲突 1 #锁 2 #并发 2 #资源管理 1 #IO 1 #API 1 #REST 1 #ThreadLocal 1 #内存泄漏 4 #事务 3 #日志 3 #GC 11 #Redis 14 #Stream 2 #函数式 2 #枚举 1 #线程安全 1 #日期 2 #ThreadPool 1 #线程池 4 #重构 4 #架构 25 #Bug 2 #对象拷贝 1 #JMM 1 #volatile 2 #版本管理 1 #Git 1 #String 2 #性能 6 #参数绑定 1 #SpringMVC 1 #分页 3 #MySQL 14 #入门 2 #SpringBoot 11 #运维 2 #Linux 1 #缓存 6 #MyBatis 4 #批量插入 1 #金额 1 #BigDecimal 1 #PECS 1 #泛型 1 #性能调优 1 #随笔 1
分布式与消息队列 #Kafka#数据管道

Kafka 在实时数据管道中的架构实践

我们的交易系统原来用定时任务把 MySQL 数据同步到数据仓库，每 5 分钟跑一次，分析师看到的总是"5 分钟前的旧账"。业务方要实时大屏，等不了。于是用 Kafka 搭了一条 CDC 驱动的实时数据管道，端到端延迟从 5 分钟压到 800 毫秒。 CDC 接入：让数据库自己说变化 定时拉全量太低效

Administrator Administrator 发布于 2024-07-10
分布式与消息队列 #Kafka#KRaft

Kafka KRaft 模式取代 ZooKeeper 的迁移

背景：ZooKeeper 又成了单点隐患 七月中我们的 Kafka 集群（3.2 版本，还跑在 ZooKeeper 上）遇到一次 ZK 会话超时，导致整个集群控制器选举卡了 90 秒，消息生产大面积抖动。ZK 那套独立组件既要单独运维、又要和 Kafka 版本对齐，一直是心腹大患。Kafka 3.3

Administrator Administrator 发布于 2023-07-19
分布式与消息队列 #Kafka#调优

Kafka 分区数与吞吐量的关系调优

一次奇怪的吞吐量瓶颈 大促前给订单流水 topic 扩分区，从 12 个加到 48 个，本以为吞吐能线性提升，结果生产端 P99 延迟不降反升，监控上看到 broker 端请求队列开始堆积。翻了半天才意识到：分区数过了拐点就是负担，不是越多越猛。 这事其实之前踩过一次。那回我们是 consumer

Administrator Administrator 发布于 2022-10-22
分布式与消息队列 #Kafka#ExactlyOnce

Kafka 精准一次语义的实现与代价

对账群里跳出一条消息：同一笔订单扣了两次款 2 月 19 号下午，财务在对账时发现一笔订单出现了两次支付成功记录，金额都是 199 元。看起来是消费者把消息重复处理了。 我们用的 Kafka 是 3.1.0，消费者是 enable.auto.commit=true 默认配置。同事问我：不是说 Kaf

Administrator Administrator 发布于 2022-02-20
分布式与消息队列 #Kafka#重平衡

Kafka 消费者组重平衡问题与优化

现象：每次发版，消费停 47 秒 9 月底做容量复盘时，我发现一个奇怪的规律：每次发布，Kafka 消费 lag 都会先涨后落，中间有大约 45 到 60 秒消费完全停住。看消费者日志，那段时间全是这个： 2021-09-28 14:22:31.407 WARN [Consumer client

Administrator Administrator 发布于 2021-10-15
分布式与消息队列 #Kafka#可靠性

Kafka 消息可靠性配置：acks、ISR 与最少同步副本

财务对账少了 3 笔积分 2 月中旬，财务同学找过来：2 月 10 号这天的积分发放和订单数据对不上，少了 3 笔。 我们链路是：订单服务发 ORDER_PAID 事件到 Kafka，积分服务消费后发积分。查了一圈，积分服务没报错，是消息压根没到。 先看生产者的配置： spring: kafka

Administrator Administrator 发布于 2021-02-17
分布式与消息队列 #Kafka#原理

Kafka 零拷贝与高吞吐背后的原理

扩容前的一次基准压测 2020 年 11 月，订单事件 topic 的日均写入量从 3000 万条涨到 1.1 亿条，运维要我给个扩容方案。我没直接拍板加机器，先用 kafka-producer-perf-test.sh 在现有 3 台 broker 上跑了一轮，想摸清单机的真实上限。 机器配置：1

Administrator Administrator 发布于 2020-12-13
分布式与消息队列 #Kafka#积压

Kafka 消费积压的排查与扩容处理

早上八点，消费积压告警：lag 320 万 6 月 1 号早上八点十几分，钉钉机器人开始刷屏：ORDER_EVENT_TOPIC 的消费 lag 突破 300 万，还在涨。 这个 topic 是订单事件流，下游有 5 个消费者组：风控、数据同步、搜索索引、积分、客服。lag 涨到 320 万意味着这

Administrator Administrator 发布于 2020-06-02