Đi tới nội dung chính
System Design Lab
Real Problems

Rút tiền trước khi nạp: lỗi thứ tự message

Số dư tài khoản bị âm dù event nào cũng hợp lệ. Event của cùng một tài khoản bị áp dụng sai thứ tự — lần đầu vì thiếu key, lần sau vì thread pool. Cách giữ thứ tự theo key mà không phải hy sinh throughput.

Trung cấp 5 phút đọc· Cập nhật 2026-11-18

Sau bài này bạn sẽ

  • Xác định những chỗ làm mất thứ tự message: producer, chia partition, consumer.
  • Tái hiện việc xử lý sai thứ tự với key xoay vòng và thread pool.
  • Giữ thứ tự theo key mà vẫn xử lý song song.
  • Phòng thủ trước việc đảo thứ tự bằng version và kiểm tra số thứ tự.

Nên đọc trước

Triệu chứng

  • Một số tài khoản có số dư âm; replay đúng những event đó ở chế độ offline lại cho ra số dư đúng.
  • Log cho thấy MoneyWithdrawn được xử lý trước vài mili giây so với chính MoneyDeposited cấp tiền cho nó.
  • Lỗi xảy ra nhiều hơn khi tải cao và ở những tài khoản giao dịch nhiều nhất.
  • Consumer không lỗi gì, lag cũng không tăng vọt.

Bối cảnh hệ thống

Accounts APIAccounts APIaccount-eventschia partition xo…account-eventsledger-1từng message mộtledger-1ledger-2từng message mộtledger-2ledger-3từng message mộtledger-3ledger-4từng message mộtledger-4
Accounts API publish event tài khoản; bốn consumer ledger áp dụng chúng vào số dư.

Nguyên nhân gốc

  1. Không có key: event được publish không kèm key, nên partitioner rải event của cùng một tài khoản ra nhiều partition. Các consumer khác nhau chạy đua với nhau.
  2. Cách sửa chưa tới: sau khi thêm account id làm key, một developer cho mỗi consumer giao record cho thread pool 8 luồng để chịu tải. Kafka giao đúng thứ tự; thread pool thì hoàn thành theo thứ tự tuỳ ý.
  3. Kafka chỉ đảm bảo thứ tự trong một partition, cho một consumer xử lý tuần tự. Mọi sự song song sau bước poll đều phải tự giữ thứ tự theo key.

Tái hiện tương tác

So sánh ô Áp dụng sai thứ tự và Consumer lag ở bốn kịch bản. C đúng nhưng không theo kịp; D giữ thứ tự theo tài khoản mà vẫn xử lý song song.

Đang tải mô phỏng…

Các phương án

Phương ánThứ tựThroughputGhi chú
Key = account id, consumer đơn luồngTheo tài khoảnGiới hạn bởi số partitionĐơn giản; thêm partition và consumer để scale.
Xử lý song song giữ thứ tự theo keyTheo tài khoảnCaoMỗi key một event đang chạy, nhiều key cùng lúc (Confluent Parallel Consumer, hoặc map các executor đơn luồng).
Thêm partitionTheo tài khoảnCao hơnLên kế hoạch trước: key đổi chỗ sẽ phá thứ tự trong lúc chuyển.
Kiểm tra version khi áp dụngPhát hiện / từ chốiCaoLưu số thứ tự cuối đã áp dụng cho mỗi tài khoản; từ chối hoặc tạm giữ event cũ hơn.

Cách sửa khuyến nghị

Song song giữa các key, tuần tự trong một key
// Mỗi "stripe" một executor đơn luồng; mọi event của một tài khoản luôn vào cùng một stripe.
private final ExecutorService[] stripes = IntStream.range(0, 8)
    .mapToObj(i -> Executors.newSingleThreadExecutor()).toArray(ExecutorService[]::new);

@KafkaListener(topics = "account-events", groupId = "ledger")
void onBatch(List<ConsumerRecord<String, AccountEvent>> records, Acknowledgment ack) {
    List<Future<?>> work = records.stream()
        .map(r -> stripes[Math.floorMod(r.key().hashCode(), stripes.length)].submit(() -> ledger.apply(r.value())))
        .toList();
    work.forEach(this::await);     // chỉ commit khi cả batch đã được áp dụng
    ack.acknowledge();
}
Phòng thủ nhiều lớp: từ chối event cũ
UPDATE accounts
   SET balance = balance + :delta, last_seq = :seq
 WHERE id = :accountId AND last_seq = :seq - 1;   -- 0 dòng: sai thứ tự hoặc trùng → tạm giữ và thử lại

Cách kiểm chứng

  • Trong test, sinh số thứ tự theo từng key và kiểm tra chúng được áp dụng theo thứ tự tăng dần.
  • Load test với phân bố key bị lệch — key nóng sẽ lộ lỗi thứ tự đầu tiên.
  • Cho cùng một bộ event chạy qua consumer hai lần và so trạng thái cuối với bản replay offline.

Giám sát và phòng ngừa

  • Đếm số event bị bước kiểm tra số thứ tự từ chối; khác 0 là có bug.
  • Kiểm tra tự động producer: mọi lệnh send vào topic cần thứ tự đều phải có key.
  • Soát kỹ mọi executor, parallelStream hay @Async nằm trong luồng của consumer.

Bài học

  • Thứ tự là một chuỗi mắt xích: producer, key, partition và consumer đều phải giữ nó.
  • Hiếm khi bạn cần thứ tự toàn cục — bạn cần thứ tự theo từng thực thể. Key theo thực thể và song song giữa các thực thể.
  • Bắt consumer tự kiểm tra thứ tự (số thứ tự) để thay đổi sau này không thể âm thầm phá hỏng nó.

Đọc thêm

Bài liên quan