Đi tới nội dung chính
System Design Lab
Design to Scale

Kafka Partitioning

Partition là đơn vị song song và đơn vị thứ tự của Kafka. Chọn đúng message key và số partition thì consumer scale tuyến tính; chọn sai thì một partition nóng kéo chậm cả hệ thống.

Trung cấp 4 phút đọc· Cập nhật 2026-11-18

Sau bài này bạn sẽ

  • Giải thích message key quyết định partition và đảm bảo thứ tự ra sao.
  • Nhận ra partition nóng do key bị lệch.
  • Hiểu vì sao consumer vượt quá số partition chỉ ngồi chơi.
  • Chọn số partition có chừa chỗ để tăng trưởng.

Nên đọc trước

Tổng quan

Siêu thị có sáu quầy thu ngân, xếp khách vào quầy theo chữ cái đầu của họ. Mỗi quầy phục vụ khách của mình theo thứ tự. Mọi thứ ổn — cho tới khi một đoàn xe chở toàn người họ Nguyễn kéo tới, một quầy xếp hàng dài ra tận cửa trong khi các quầy khác vắng tanh.

Một topic Kafka được chia thành nhiều partition, mỗi partition là một log có thứ tự, chỉ ghi thêm. Producer chọn partition từ message key — hash(key) % số partition — nên mọi message cùng key đều vào cùng một partition, đúng thứ tự. Trong một consumer group, mỗi partition chỉ được đúng một consumer đọc. Từ đó có hai quy tắc cứng: thứ tự chỉ tồn tại trong một partition, và độ song song bị giới hạn bởi số partition.

Chạy thử

Xem biểu đồ Lag theo từng partition. Ở A key là order id và tải chia đều. Ở B key là merchant id và một merchant lớn làm quá tải một partition duy nhất. Ở C lưu lượng tăng nên team thêm consumer: 9 consumer cho 6 partition.

Đang tải mô phỏng…

Chọn key

KeyThứ tựPhân bốDùng khi
Id thực thể (đơn hàng, tài khoản)Theo thực thểĐều nếu có nhiều thực thểEvent về cùng một thứ phải đúng thứ tự — lựa chọn thông dụng nhất.
Tenant / merchant idTheo tenantLệch nếu tenant to nhỏ khác nhauCần thứ tự xuyên thực thể trong một tenant — coi chừng "cá voi".
Không key (null)Không cóĐều (sticky / xoay vòng)Thứ tự hoàn toàn không quan trọng (log, metric).
Key ghép (tenant:entity)Theo thực thểĐềuMột tenant lớn mà để nguyên sẽ tạo partition nóng.

Trong thực tế

Key theo thực thể, đừng theo tenant
// Nóng: mọi đơn của một merchant lớn dồn vào một partition.
kafka.send("orders", order.merchantId(), event);

// Đều: consumer chỉ cần thứ tự theo từng đơn hàng.
kafka.send("orders", order.id(), event);
Tìm partition nóng
kafka-consumer-groups.sh --bootstrap-server kafka:9092 --describe --group fulfilment
# TOPIC   PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG    CONSUMER-ID
# orders  4          18822           18830           8      worker-5
# orders  5          9120            31544           22424  worker-6   ← một partition, gánh toàn bộ lag

Đánh đổi

ĐượcMất
Nhiều partitionNhiều consumer chạy song song hơn; nhiều chỗ để tăng trưởng.Broker tốn thêm file, bộ nhớ và kết nối; rebalance và bầu leader chậm hơn.
Key thôThứ tự chặt hơn (mọi thứ của một tenant).Tải lệch — một partition có thể thành điểm nghẽn.
Key mịn / không keyTải đều giữa các partition.Đảm bảo thứ tự yếu hơn hoặc không có.

Lưu ý khi chạy production

  • Theo dõi lag theo từng partition, không chỉ theo topic — một partition nóng dễ bị che khuất trong con số tổng.
  • Tính số partition = throughput cao điểm ÷ throughput mỗi consumer, rồi cộng thêm phần dư.
  • Với tenant "cá voi", tách key (tenant:entity) hoặc cho nó một topic riêng.
  • Thêm consumer vượt quá số partition chẳng được gì; bài consumer group giải thích lý do.

Đọc thêm

Bài liên quan