Consumer lag tăng cả ngày, gấp đôi số consumer cũng chẳng thay đổi gì. Hiểu vì sao số partition giới hạn mức song song, vì sao key nóng tạo ra partition chậm, và cách tính đúng số consumer.
Trung cấp 5 phút đọc· Cập nhật 2026-11-18
Sau bài này bạn sẽ
Tính xem một consumer group có theo kịp không từ tốc độ đến và thời gian xử lý.
Giải thích vì sao consumer vượt quá số partition sẽ ngồi không.
Chẩn đoán partition nóng từ lag của từng partition.
Chọn giữa thêm partition, xử lý nhanh hơn và chọn key tốt hơn.
Dashboard phân tích chậm hàng giờ; kafka-consumer-groups --describe cho thấy LAG tăng sau mỗi lần kiểm tra.
Đội ngũ tăng deployment consumer từ 3 lên 6 pod. Lag vẫn tăng gần như cùng tốc độ.
Ba pod mới ghi log "no partitions assigned" và không làm gì cả.
Sau một lần sửa, vẫn có một partition bị tụt lại rất xa so với các partition khác.
Bối cảnh hệ thống
Một producer clickstream ghi ~36 event/giây vào topic; một consumer group xử lý mỗi event trong ~100 ms.
Nguyên nhân gốc
Không đủ năng lực: mỗi consumer xử lý tuần tự ~10 event/giây. Hai consumer xử lý 20/giây trong khi 36/giây đổ vào, nên lag tăng ~16 event mỗi giây.
Partition giới hạn mức song song: trong một group, mỗi partition được đúng một consumer tiêu thụ. Với 3 partition, tối đa 3 consumer làm việc; consumer thứ 4, 5 và 6 không nhận được gì. Năng lực dừng ở 30/giây < 36/giây.
Lệch key: sau khi chia lại partition, event được gắn key theo customer id và một vài khách hàng tạo ra phần lớn event. Mọi event của một key rơi vào cùng một partition, nên consumer của partition đó quá tải trong khi các consumer khác rảnh.
Tái hiện tương tác
Đi qua các kịch bản theo thứ tự. Ở B, nhìn các node consumer đang ngồi không trong sơ đồ. Ở D, chuyển sang chế độ nâng cao và so sánh các ô lag theo partition. Tự thay đổi số partition, số consumer và thời gian xử lý để kiểm chứng quy tắc định cỡ.
Đang tải mô phỏng…
Các phương án
Phương án
Khi nào có ích
Cần lưu ý
Thêm consumer
Chỉ khi số consumer < số partition.
Consumer vượt quá số partition ngồi không; mỗi lần scale gây một lần rebalance.
Thêm partition
Khi mọi partition đều bận.
Thay đổi ánh xạ key → partition cho message mới (thứ tự theo key qua thời điểm thay đổi); không thể giảm lại sau này.
Xử lý nhanh hơn
Luôn luôn: ghi theo lô, I/O bất đồng bộ, bỏ lời gọi từ xa cho từng message.
Giữ thứ tự theo key nếu phía dưới cần.
Song song hoá bên trong consumer
Một partition là điểm nghẽn nhưng thứ tự chỉ quan trọng theo từng key.
Dùng worker pool giữ thứ tự theo key (vd. Confluent Parallel Consumer); quản lý offset phức tạp hơn.
Sửa key
Partition nóng do key bị lệch.
Thêm hậu tố (salting) cho key nóng sẽ phá thứ tự theo key của key đó.
Cách sửa khuyến nghị
Làm việc xử lý rẻ hơn trước (ghi database theo lô là thứ giảm thời gian xử lý nhiều nhất trong trường hợp này).
Định cỡ partition theo đỉnh mục tiêu có dư địa (ở đây: 6–12), rồi chạy số consumer bằng số partition.
Giám sát lag theo từng partition; với key nóng, gộp hoặc tách chúng (vd. customerId#bucket) khi yêu cầu thứ tự cho phép.
@KafkaListener(topics = "events", groupId = "clickstream-analytics", concurrency = "6", batch = "true")public void onBatch(List<ClickEvent> events) { // Một lệnh insert nhiều dòng thay vì một lượt đi về cho mỗi event. repository.insertAll(events);}// application.yml// spring.kafka.consumer.max-poll-records: 500// spring.kafka.listener.type: batch
Chiến lược kiểm chứng
Kiểm thử tải riêng consumer: đo số event/giây mỗi consumer, rồi so với tốc độ đến đỉnh trên từng partition.
Sau thay đổi, lag phải về gần 0 sau mỗi đợt tăng, và thời gian xả một đợt tăng phải dự đoán được.
Xác nhận mọi pod consumer đều được giao partition.
Giám sát và phòng ngừa
Cảnh báo theo xu hướng lag (tăng liên tục N phút) và theo lag thời gian (tuổi của event chưa tiêu thụ lâu nhất), không chỉ số lượng message.
Vẽ biểu đồ lag theo từng partition để phát hiện key nóng.
Tự động mở rộng consumer theo lag (Kafka scaler của KEDA) với mức tối đa bằng số partition.
Bài học rút ra
Partition là đơn vị song song trong Kafka. Hãy hoạch định chúng cho đỉnh tương lai, không phải tải hôm nay.
Tổng năng lực chưa đủ — năng lực trên từng partition mới quan trọng khi key bị lệch.
Mở rộng consumer là bước cuối cùng, sau khi đã làm việc xử lý hiệu quả.