Real Problems
Rút tiền trước khi nạp: lỗi thứ tự message
Số dư tài khoản bị âm dù event nào cũng hợp lệ. Event của cùng một tài khoản bị áp dụng sai thứ tự — lần đầu vì thiếu key, lần sau vì thread pool. Cách giữ thứ tự theo key mà không phải hy sinh throughput.
Trung cấp 5 phút đọc· Cập nhật 2026-11-18
Sau bài này bạn sẽ
- Xác định những chỗ làm mất thứ tự message: producer, chia partition, consumer.
- Tái hiện việc xử lý sai thứ tự với key xoay vòng và thread pool.
- Giữ thứ tự theo key mà vẫn xử lý song song.
- Phòng thủ trước việc đảo thứ tự bằng version và kiểm tra số thứ tự.
Nên đọc trước
Triệu chứng
- Một số tài khoản có số dư âm; replay đúng những event đó ở chế độ offline lại cho ra số dư đúng.
- Log cho thấy
MoneyWithdrawnđược xử lý trước vài mili giây so với chínhMoneyDepositedcấp tiền cho nó. - Lỗi xảy ra nhiều hơn khi tải cao và ở những tài khoản giao dịch nhiều nhất.
- Consumer không lỗi gì, lag cũng không tăng vọt.
Bối cảnh hệ thống
Nguyên nhân gốc
- Không có key: event được publish không kèm key, nên partitioner rải event của cùng một tài khoản ra nhiều partition. Các consumer khác nhau chạy đua với nhau.
- Cách sửa chưa tới: sau khi thêm account id làm key, một developer cho mỗi consumer giao record cho thread pool 8 luồng để chịu tải. Kafka giao đúng thứ tự; thread pool thì hoàn thành theo thứ tự tuỳ ý.
- Kafka chỉ đảm bảo thứ tự trong một partition, cho một consumer xử lý tuần tự. Mọi sự song song sau bước poll đều phải tự giữ thứ tự theo key.
Tái hiện tương tác
So sánh ô Áp dụng sai thứ tự và Consumer lag ở bốn kịch bản. C đúng nhưng không theo kịp; D giữ thứ tự theo tài khoản mà vẫn xử lý song song.
Đang tải mô phỏng…
Các phương án
| Phương án | Thứ tự | Throughput | Ghi chú |
|---|---|---|---|
| Key = account id, consumer đơn luồng | Theo tài khoản | Giới hạn bởi số partition | Đơn giản; thêm partition và consumer để scale. |
| Xử lý song song giữ thứ tự theo key | Theo tài khoản | Cao | Mỗi key một event đang chạy, nhiều key cùng lúc (Confluent Parallel Consumer, hoặc map các executor đơn luồng). |
| Thêm partition | Theo tài khoản | Cao hơn | Lên kế hoạch trước: key đổi chỗ sẽ phá thứ tự trong lúc chuyển. |
| Kiểm tra version khi áp dụng | Phát hiện / từ chối | Cao | Lưu số thứ tự cuối đã áp dụng cho mỗi tài khoản; từ chối hoặc tạm giữ event cũ hơn. |
Cách sửa khuyến nghị
// Mỗi "stripe" một executor đơn luồng; mọi event của một tài khoản luôn vào cùng một stripe.
private final ExecutorService[] stripes = IntStream.range(0, 8)
.mapToObj(i -> Executors.newSingleThreadExecutor()).toArray(ExecutorService[]::new);
@KafkaListener(topics = "account-events", groupId = "ledger")
void onBatch(List<ConsumerRecord<String, AccountEvent>> records, Acknowledgment ack) {
List<Future<?>> work = records.stream()
.map(r -> stripes[Math.floorMod(r.key().hashCode(), stripes.length)].submit(() -> ledger.apply(r.value())))
.toList();
work.forEach(this::await); // chỉ commit khi cả batch đã được áp dụng
ack.acknowledge();
}UPDATE accounts
SET balance = balance + :delta, last_seq = :seq
WHERE id = :accountId AND last_seq = :seq - 1; -- 0 dòng: sai thứ tự hoặc trùng → tạm giữ và thử lạiCách kiểm chứng
- Trong test, sinh số thứ tự theo từng key và kiểm tra chúng được áp dụng theo thứ tự tăng dần.
- Load test với phân bố key bị lệch — key nóng sẽ lộ lỗi thứ tự đầu tiên.
- Cho cùng một bộ event chạy qua consumer hai lần và so trạng thái cuối với bản replay offline.
Giám sát và phòng ngừa
- Đếm số event bị bước kiểm tra số thứ tự từ chối; khác 0 là có bug.
- Kiểm tra tự động producer: mọi lệnh send vào topic cần thứ tự đều phải có key.
- Soát kỹ mọi executor,
parallelStreamhay@Asyncnằm trong luồng của consumer.
Bài học
- Thứ tự là một chuỗi mắt xích: producer, key, partition và consumer đều phải giữ nó.
- Hiếm khi bạn cần thứ tự toàn cục — bạn cần thứ tự theo từng thực thể. Key theo thực thể và song song giữa các thực thể.
- Bắt consumer tự kiểm tra thứ tự (số thứ tự) để thay đổi sau này không thể âm thầm phá hỏng nó.
Đọc thêm
Bài liên quan
Design to Scale
Kafka Partitioning
Partition là đơn vị song song và đơn vị thứ tự của Kafka. Chọn đúng message key và số partition thì consumer scale tuyến tính; chọn sai thì một partition nóng kéo chậm cả hệ thống.
Design to Scale
Consumer Group
Consumer group cho phép nhiều service đọc cùng một topic Kafka một cách độc lập, và mỗi service scale bằng cách thêm member — kèm theo rebalance mỗi khi thành viên thay đổi.
Microservice Patterns
Idempotent Consumer
Xử lý một message hai lần phải cho kết quả như xử lý một lần — vì sớm hay muộn, broker nào cũng sẽ giao trùng message.
Microservice Patterns
Event Sourcing
Lưu mọi thay đổi thành event bất biến và suy ra trạng thái hiện tại bằng cách replay chúng — đổi lại bạn có lịch sử đầy đủ và "quay ngược thời gian", với cái giá là thời gian replay mà snapshot phải giữ trong tầm kiểm soát.