Design to Scale
Kafka Partitioning
Partition là đơn vị song song và đơn vị thứ tự của Kafka. Chọn đúng message key và số partition thì consumer scale tuyến tính; chọn sai thì một partition nóng kéo chậm cả hệ thống.
Sau bài này bạn sẽ
- Giải thích message key quyết định partition và đảm bảo thứ tự ra sao.
- Nhận ra partition nóng do key bị lệch.
- Hiểu vì sao consumer vượt quá số partition chỉ ngồi chơi.
- Chọn số partition có chừa chỗ để tăng trưởng.
Nên đọc trước
Tổng quan
Siêu thị có sáu quầy thu ngân, xếp khách vào quầy theo chữ cái đầu của họ. Mỗi quầy phục vụ khách của mình theo thứ tự. Mọi thứ ổn — cho tới khi một đoàn xe chở toàn người họ Nguyễn kéo tới, một quầy xếp hàng dài ra tận cửa trong khi các quầy khác vắng tanh.
Một topic Kafka được chia thành nhiều partition, mỗi partition là một log có thứ tự, chỉ ghi thêm. Producer chọn partition từ message key — hash(key) % số partition — nên mọi message cùng key đều vào cùng một partition, đúng thứ tự. Trong một consumer group, mỗi partition chỉ được đúng một consumer đọc. Từ đó có hai quy tắc cứng: thứ tự chỉ tồn tại trong một partition, và độ song song bị giới hạn bởi số partition.
Chạy thử
Xem biểu đồ Lag theo từng partition. Ở A key là order id và tải chia đều. Ở B key là merchant id và một merchant lớn làm quá tải một partition duy nhất. Ở C lưu lượng tăng nên team thêm consumer: 9 consumer cho 6 partition.
Chọn key
| Key | Thứ tự | Phân bố | Dùng khi |
|---|---|---|---|
| Id thực thể (đơn hàng, tài khoản) | Theo thực thể | Đều nếu có nhiều thực thể | Event về cùng một thứ phải đúng thứ tự — lựa chọn thông dụng nhất. |
| Tenant / merchant id | Theo tenant | Lệch nếu tenant to nhỏ khác nhau | Cần thứ tự xuyên thực thể trong một tenant — coi chừng "cá voi". |
| Không key (null) | Không có | Đều (sticky / xoay vòng) | Thứ tự hoàn toàn không quan trọng (log, metric). |
Key ghép (tenant:entity) | Theo thực thể | Đều | Một tenant lớn mà để nguyên sẽ tạo partition nóng. |
Trong thực tế
// Nóng: mọi đơn của một merchant lớn dồn vào một partition.
kafka.send("orders", order.merchantId(), event);
// Đều: consumer chỉ cần thứ tự theo từng đơn hàng.
kafka.send("orders", order.id(), event);kafka-consumer-groups.sh --bootstrap-server kafka:9092 --describe --group fulfilment
# TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID
# orders 4 18822 18830 8 worker-5
# orders 5 9120 31544 22424 worker-6 ← một partition, gánh toàn bộ lagĐánh đổi
| Được | Mất | |
|---|---|---|
| Nhiều partition | Nhiều consumer chạy song song hơn; nhiều chỗ để tăng trưởng. | Broker tốn thêm file, bộ nhớ và kết nối; rebalance và bầu leader chậm hơn. |
| Key thô | Thứ tự chặt hơn (mọi thứ của một tenant). | Tải lệch — một partition có thể thành điểm nghẽn. |
| Key mịn / không key | Tải đều giữa các partition. | Đảm bảo thứ tự yếu hơn hoặc không có. |
Lưu ý khi chạy production
- Theo dõi lag theo từng partition, không chỉ theo topic — một partition nóng dễ bị che khuất trong con số tổng.
- Tính số partition = throughput cao điểm ÷ throughput mỗi consumer, rồi cộng thêm phần dư.
- Với tenant "cá voi", tách key (
tenant:entity) hoặc cho nó một topic riêng. - Thêm consumer vượt quá số partition chẳng được gì; bài consumer group giải thích lý do.