Đi tới nội dung chính
System Design Lab
Design to Scale

Consumer Group

Consumer group cho phép nhiều service đọc cùng một topic Kafka một cách độc lập, và mỗi service scale bằng cách thêm member — kèm theo rebalance mỗi khi thành viên thay đổi.

Trung cấp 4 phút đọc· Cập nhật 2026-11-18

Sau bài này bạn sẽ

  • Giải thích các group giữ offset riêng và đọc độc lập ra sao.
  • Scale một group bằng cách thêm member, tối đa bằng số partition.
  • Hiểu rebalance: khi nào xảy ra và tốn gì.
  • Giảm cái đau của rebalance bằng cooperative rebalancing và static membership.

Nên đọc trước

Tổng quan

Một tờ báo được ban thể thao và nhóm lưu trữ cùng đọc. Mỗi bên kẹp bookmark riêng, đọc theo tốc độ riêng và chẳng bao giờ phải chờ bên kia. Trong mỗi nhóm, mọi người chia nhau các chuyên mục — càng đông người, đọc càng nhanh.

Trong Kafka, consumer group là tập consumer dùng chung một group.id. Mỗi group lưu offset đã commit của riêng mình, nên hai group (billing và analytics) đọc cùng một topic một cách độc lập — đó là publish/subscribe. Trong một group, các partition được chia cho các member — đó là competing consumers. Khi member vào, rời đi hay chết, group sẽ rebalance: chia lại partition.

Chạy thử

A chỉ có billing. Ở B một group analytics chậm cùng đọc topic đó: so sánh Lag của billing và Lag của analytics, rồi kéo số consumer analytics lên. Ở C analytics tăng từ 2 lên 6 lúc t = 15 s — group tạm dừng để rebalance rồi xử lý hết backlog. Thử cho analytics-1 crash để thấy member bị loại sau session timeout.

Đang tải mô phỏng…

Rebalance

Nguyên nhânVí dụCách giảm nhẹ
Member mới vàoScale out, rolling deployCooperative rebalancing: chỉ partition bị chuyển mới phải dừng.
Member rời đi đàng hoàngScale in, tắt máyĐóng consumer đúng cách để group phản ứng ngay.
Mất heartbeatCrash, GC pause dài, mạng chập chờnChỉnh session.timeout.ms; static membership chịu được restart nhanh.
Giữa hai lần poll quá lâuXử lý một batch lâu hơn max.poll.interval.msBatch nhỏ hơn, xử lý nhanh hơn — xem xử lý trùng lặp.

Cấu hình

Spring Kafka: hai group độc lập, cooperative rebalancing
spring:
  kafka:
    consumer:
      enable-auto-commit: false
      properties:
        partition.assignment.strategy: org.apache.kafka.clients.consumer.CooperativeStickyAssignor
        session.timeout.ms: 45000
        max.poll.interval.ms: 300000
        group.instance.id: ${HOSTNAME}      # static membership: restart nhanh không gây rebalance

# Hai listener trên cùng topic, khác group → cả hai đều nhận mọi event.
# @KafkaListener(topics = "order-events", groupId = "billing",   concurrency = "2")
# @KafkaListener(topics = "order-events", groupId = "analytics", concurrency = "6")

Đánh đổi

ĐượcMất
Độc lậpThêm bên dùng dữ liệu mà không cần đụng tới producer hay group khác.Group nào cũng đọc lại dữ liệu: broker tốn thêm băng thông.
ScaleThêm member để chia partition và giảm lag.Giới hạn bởi số partition; mỗi lần đổi thành viên là một lần rebalance.
Xử lý sự cốPartition của member chết tự động được chuyển đi.Phát hiện phải chờ session timeout; việc chưa commit sẽ bị xử lý lại.

Lưu ý khi chạy production

  • Đặt tên group theo mục đích (billing, search-indexer), đừng bao giờ dùng lại group id cho service khác.
  • Cảnh báo theo lag của từng group và tần suất rebalance — rebalance liên tục thường do xử lý chậm hoặc pod không ổn định.
  • Dùng cooperative-sticky assignment và static membership cho group nhiều member hoặc deploy thường xuyên.
  • Làm consumer idempotent: mỗi lần rebalance đều có thể giao lại message chưa commit.

Đọc thêm

Bài liên quan