Real Problems
Khách bị trừ tiền hai lần: xử lý trùng message Kafka
Một dịch vụ phía sau chậm đi khiến consumer Kafka lỡ hạn poll. Group rebalance, các message thanh toán bị xử lý lại — dù chẳng có gì crash. Cách tái hiện, sửa và phòng tránh.
Sau bài này bạn sẽ
- Liên hệ side effect bị trùng với rebalance của consumer và max.poll.interval.ms.
- Tái hiện sự cố một cách tái lập được và thấy vì sao không có lỗi nào được ghi log.
- So sánh các cách sửa và chọn idempotency làm cách chữa tận gốc.
- Biết những metric nào lẽ ra đã phát hiện sự cố sớm.
Nên đọc trước
Triệu chứng
- Ticket hỗ trợ: một số khách hàng thấy hai lần trừ tiền giống hệt nhau cho một đơn hàng.
- Không có lỗi trong log của Payment Service. Không crash, không khởi động lại, không deploy.
- Log của consumer thỉnh thoảng có
CommitFailedExceptionvà "Revoking previously assigned partitions". - Consumer lag tăng vọt vài giây vào đúng những thời điểm đó.
Bối cảnh hệ thống
Mỗi consumer poll một lô, gọi cổng thẻ cho từng message, rồi commit offset. Bình thường xử lý mất ~250 ms mỗi message. max.poll.interval.ms được cấu hình thấp (2 s trong mô phỏng) để phát hiện nhanh consumer bị kẹt.
Nguyên nhân gốc
- Cổng thẻ trở nên chậm với các request của một consumer (2,6 s thay vì 0,25 s).
- Consumer không gọi
poll()lại trongmax.poll.interval.ms, nên broker coi nó đã chết và rebalance: partition của nó chuyển sang consumer khác và quay về offset đã commit gần nhất. - Chủ mới xử lý lại các message chưa commit và trừ tiền thẻ.
- Trong khi đó consumer ban đầu xong lời gọi chậm — trừ tiền thẻ lần thứ hai — và lệnh commit offset của nó bị từ chối (
CommitFailedException). - Nó tham gia lại group, gây thêm một lần rebalance, và vòng lặp tiếp diễn chừng nào cổng thẻ còn chậm.
Tái hiện tương tác
Kịch bản A làm payments-1 chậm đi tại t = 8 s. Quan sát ô Số lần rebalance và Trừ tiền hai lần cùng nhật ký event (hiện mọi request ở chế độ nâng cao). Kịch bản B chạy đúng dòng thời gian đó với consumer idempotent.
Các phương án
| Phương án | Tác dụng | Đánh giá |
|---|---|---|
Tăng max.poll.interval.ms | Ít rebalance hơn do xử lý chậm. | Có ích, nhưng che giấu consumer thực sự bị kẹt lâu hơn; không loại được bản trùng do crash. |
Giảm max.poll.records | Lô nhỏ hơn xong kịp trong hạn. | Thói quen tốt; cùng giới hạn như trên. |
| Commit trước khi xử lý (at-most-once) | Không có bản trùng. | Mất thanh toán khi crash. Không chấp nhận được. |
| Idempotency key gửi tới cổng thẻ + bảng message đã xử lý | Bản trùng trở nên vô hại bất kể lý do xuất hiện. | Khuyến nghị. |
Cách sửa khuyến nghị
Làm consumer idempotent từ đầu tới cuối: ghi message id vào bảng message đã xử lý bên trong local transaction, và gửi cùng id đó làm Idempotency-Key cho cổng thẻ để cổng tự khử trùng ngay cả khi phần lỗi nằm ở transaction của bạn. Sau đó chỉnh cấu hình poll để rebalance hiếm khi xảy ra.
spring:
kafka:
consumer:
group-id: payments
enable-auto-commit: false
max-poll-records: 20 # lô × độ trễ xấu nhất phải nằm trong khoảng interval
properties:
max.poll.interval.ms: 120000
partition.assignment.strategy: org.apache.kafka.clients.consumer.CooperativeStickyAssignor
listener:
ack-mode: record@KafkaListener(topics = "payments", groupId = "payments")
@Transactional
public void on(PaymentRequested event) {
if (!processed.markIfNew("payments", event.eventId())) { // INSERT ... ON CONFLICT DO NOTHING
log.info("duplicate {} skipped", event.eventId());
return;
}
gateway.charge(event.orderId(), event.amount(), event.eventId()); // eventId làm Idempotency-Key
payments.recordCharged(event.orderId());
}Chiến lược kiểm chứng
- Integration test: giao cùng một message hai lần (và đồng thời tới hai listener) rồi khẳng định chỉ có đúng một lần trừ tiền.
- Chaos test: làm stub cổng thẻ chậm vượt
max.poll.interval.mstrong môi trường test và khẳng định không có lần trừ tiền trùng nào khi rebalance xảy ra. - Đối soát: một job hằng ngày so sánh các lần trừ tiền với đơn hàng và báo cáo mọi đơn bị trừ tiền nhiều hơn một lần.
Giám sát và phòng ngừa
- Cảnh báo theo tần suất rebalance của consumer group và theo
CommitFailedException— cả hai nên gần bằng 0 khi ổn định. - Theo dõi "bản trùng đã bỏ qua" thành metric: khác 0 là bình thường (cách sửa đang hoạt động), tăng vọt nghĩa là có rebalance.
- Ghi lại thời gian xử lý từng message và so sánh p99 ×
max.poll.recordsvớimax.poll.interval.ms.
Bài học rút ra
- At-least-once là cam kết; hãy thiết kế mọi consumer idempotent ngay từ ngày đầu (xem Idempotent Consumer).
- Dependency chậm gây rebalance; rebalance gây giao lại. Hãy đặt timeout cho các lời gọi từ consumer.
- Log im lặng không chứng minh được tính đúng đắn — hãy đối soát kết quả nghiệp vụ.