Đi tới nội dung chính
System Design Lab
Real Problems

Khách bị trừ tiền hai lần: xử lý trùng message Kafka

Một dịch vụ phía sau chậm đi khiến consumer Kafka lỡ hạn poll. Group rebalance, các message thanh toán bị xử lý lại — dù chẳng có gì crash. Cách tái hiện, sửa và phòng tránh.

Trung cấp 5 phút đọc· Cập nhật 2026-11-18

Sau bài này bạn sẽ

  • Liên hệ side effect bị trùng với rebalance của consumer và max.poll.interval.ms.
  • Tái hiện sự cố một cách tái lập được và thấy vì sao không có lỗi nào được ghi log.
  • So sánh các cách sửa và chọn idempotency làm cách chữa tận gốc.
  • Biết những metric nào lẽ ra đã phát hiện sự cố sớm.

Nên đọc trước

Triệu chứng

  • Ticket hỗ trợ: một số khách hàng thấy hai lần trừ tiền giống hệt nhau cho một đơn hàng.
  • Không có lỗi trong log của Payment Service. Không crash, không khởi động lại, không deploy.
  • Log của consumer thỉnh thoảng có CommitFailedException và "Revoking previously assigned partitions".
  • Consumer lag tăng vọt vài giây vào đúng những thời điểm đó.

Bối cảnh hệ thống

CheckoutPaymentRequestedCheckouttopic payments3 partitiontopic paymentspayments-1gọi cổng thẻpayments-1payments-2gọi cổng thẻpayments-2payments-3gọi cổng thẻpayments-3
Checkout phát PaymentRequested vào một topic 3 partition; ba consumer trong cùng group gọi tới một cổng thanh toán thẻ bên ngoài.

Mỗi consumer poll một lô, gọi cổng thẻ cho từng message, rồi commit offset. Bình thường xử lý mất ~250 ms mỗi message. max.poll.interval.ms được cấu hình thấp (2 s trong mô phỏng) để phát hiện nhanh consumer bị kẹt.

Nguyên nhân gốc

  1. Cổng thẻ trở nên chậm với các request của một consumer (2,6 s thay vì 0,25 s).
  2. Consumer không gọi poll() lại trong max.poll.interval.ms, nên broker coi nó đã chết và rebalance: partition của nó chuyển sang consumer khác và quay về offset đã commit gần nhất.
  3. Chủ mới xử lý lại các message chưa commit và trừ tiền thẻ.
  4. Trong khi đó consumer ban đầu xong lời gọi chậm — trừ tiền thẻ lần thứ hai — và lệnh commit offset của nó bị từ chối (CommitFailedException).
  5. Nó tham gia lại group, gây thêm một lần rebalance, và vòng lặp tiếp diễn chừng nào cổng thẻ còn chậm.

Tái hiện tương tác

Kịch bản A làm payments-1 chậm đi tại t = 8 s. Quan sát ô Số lần rebalance và Trừ tiền hai lần cùng nhật ký event (hiện mọi request ở chế độ nâng cao). Kịch bản B chạy đúng dòng thời gian đó với consumer idempotent.

Đang tải mô phỏng…

Các phương án

Phương ánTác dụngĐánh giá
Tăng max.poll.interval.msÍt rebalance hơn do xử lý chậm.Có ích, nhưng che giấu consumer thực sự bị kẹt lâu hơn; không loại được bản trùng do crash.
Giảm max.poll.recordsLô nhỏ hơn xong kịp trong hạn.Thói quen tốt; cùng giới hạn như trên.
Commit trước khi xử lý (at-most-once)Không có bản trùng.Mất thanh toán khi crash. Không chấp nhận được.
Idempotency key gửi tới cổng thẻ + bảng message đã xử lýBản trùng trở nên vô hại bất kể lý do xuất hiện.Khuyến nghị.

Cách sửa khuyến nghị

Làm consumer idempotent từ đầu tới cuối: ghi message id vào bảng message đã xử lý bên trong local transaction, và gửi cùng id đó làm Idempotency-Key cho cổng thẻ để cổng tự khử trùng ngay cả khi phần lỗi nằm ở transaction của bạn. Sau đó chỉnh cấu hình poll để rebalance hiếm khi xảy ra.

application.yml
spring:
  kafka:
    consumer:
      group-id: payments
      enable-auto-commit: false
      max-poll-records: 20              # lô × độ trễ xấu nhất phải nằm trong khoảng interval
      properties:
        max.poll.interval.ms: 120000
        partition.assignment.strategy: org.apache.kafka.clients.consumer.CooperativeStickyAssignor
    listener:
      ack-mode: record
PaymentListener.java
@KafkaListener(topics = "payments", groupId = "payments")
@Transactional
public void on(PaymentRequested event) {
    if (!processed.markIfNew("payments", event.eventId())) {   // INSERT ... ON CONFLICT DO NOTHING
        log.info("duplicate {} skipped", event.eventId());
        return;
    }
    gateway.charge(event.orderId(), event.amount(), event.eventId());  // eventId làm Idempotency-Key
    payments.recordCharged(event.orderId());
}

Chiến lược kiểm chứng

  • Integration test: giao cùng một message hai lần (và đồng thời tới hai listener) rồi khẳng định chỉ có đúng một lần trừ tiền.
  • Chaos test: làm stub cổng thẻ chậm vượt max.poll.interval.ms trong môi trường test và khẳng định không có lần trừ tiền trùng nào khi rebalance xảy ra.
  • Đối soát: một job hằng ngày so sánh các lần trừ tiền với đơn hàng và báo cáo mọi đơn bị trừ tiền nhiều hơn một lần.

Giám sát và phòng ngừa

  • Cảnh báo theo tần suất rebalance của consumer group và theo CommitFailedException — cả hai nên gần bằng 0 khi ổn định.
  • Theo dõi "bản trùng đã bỏ qua" thành metric: khác 0 là bình thường (cách sửa đang hoạt động), tăng vọt nghĩa là có rebalance.
  • Ghi lại thời gian xử lý từng message và so sánh p99 × max.poll.records với max.poll.interval.ms.

Bài học rút ra

  • At-least-once là cam kết; hãy thiết kế mọi consumer idempotent ngay từ ngày đầu (xem Idempotent Consumer).
  • Dependency chậm gây rebalance; rebalance gây giao lại. Hãy đặt timeout cho các lời gọi từ consumer.
  • Log im lặng không chứng minh được tính đúng đắn — hãy đối soát kết quả nghiệp vụ.

Đọc thêm

Bài liên quan