Real Problems
Đơn hàng không có hoá đơn: event bị mất sau khi commit
Đơn hàng đã được lưu nhưng Billing không hề biết tới một số đơn. Thủ phạm: commit vào database và publish lên broker là hai bước tách rời. Tái hiện lỗi, rồi sửa bằng outbox.
Sau bài này bạn sẽ
- Nhận ra vấn đề dual write đứng sau những event lặng lẽ biến mất.
- Tái hiện việc mất event khi broker sập và process restart sai thời điểm.
- Sửa bằng transactional outbox, dùng polling relay hoặc CDC.
- Phát hiện event bị mất bằng đối soát trước khi khách hàng phát hiện.
Nên đọc trước
Triệu chứng
- Phòng tài chính phát hiện những đơn đã thanh toán mà không có hoá đơn — khoảng vài đơn trên một nghìn, tập trung vào một số khung giờ.
- Log của Order Service có
TimeoutException/NetworkExceptiontừ Kafka producer, hoặc chẳng có gì. - Các lỗ hổng trùng với lịch bảo trì broker và các lần deploy.
- Billing không có lỗi nào: nó chưa bao giờ nhận được những event đó.
Bối cảnh hệ thống
Nguyên nhân gốc
@Transactional
public void placeOrder(Order order) {
orders.save(order);
} // ← commit xảy ra ở đây
public void checkout(Order order) {
placeOrder(order);
// Broker sập, timeout hay process restart đúng chỗ này là event mất vĩnh viễn.
kafka.send("order-events", order.id(), new OrderPlaced(order));
}- Commit database và publish lên broker là hai thao tác riêng; không có transaction nào bao trùm cả hai.
- Nếu không gọi được broker, lệnh send thất bại khi đơn hàng đã commit xong. Retry trong bộ nhớ chỉ có tác dụng cho tới khi process chết.
- Nếu process restart (deploy, bị OOM kill, drain node) giữa hai bước, event không bao giờ được gửi và chẳng ai hay biết.
Tái hiện tương tác
Broker sập lúc t = 8–12 s và 22–24 s, và 2% lần ghi rơi đúng lúc restart. Ở A, xem ô Đơn không có event (mất) tăng dần. B và C ghi event vào outbox trong cùng transaction: không mất gì cả, backlog chỉ đơn giản là giảm dần sau mỗi lần sự cố.
Các phương án
| Phương án | Event bị mất | Ghi chú |
|---|---|---|
| Retry publish trong bộ nhớ | Vẫn mất khi restart | Thu hẹp khoảng hở chứ không bịt được. |
| Transaction phân tán (XA) giữa DB và broker | Về lý thuyết là không | Ít broker hỗ trợ tốt; chậm và mong manh (xem Sự cố 2PC). |
| Transactional outbox + polling relay | Không | Đơn giản; độ trễ publish ≈ chu kỳ poll; thêm tải query. |
| Transactional outbox + CDC (Debezium) | Không | Độ trễ thấp, không cần poll; phải vận hành thêm connector. |
| Event sourcing với subscription của store | Không | Event *chính là* lần ghi; thay đổi lớn về cách mô hình hoá. |
Cách sửa khuyến nghị
Ghi event vào bảng outbox trong cùng transaction với đơn hàng, và để một relay riêng publish nó. Xem Transactional Outbox để biết đầy đủ pattern.
@Transactional
public void checkout(Order order) {
orders.save(order);
outbox.save(OutboxEvent.of("Order", order.id(), "OrderPlaced", new OrderPlaced(order)));
} // cả hai dòng cùng commit — hoặc không dòng nàoNâng cao Relay publish theo kiểu at-least-once: sau khi crash nó có thể gửi lại event đã gửi rồi. Đó là lý do Billing trong mô phỏng được làm idempotent — xem Idempotent Consumer. Dùng id event trong dòng outbox làm key chống trùng.
Cách kiểm chứng
- Chaos test: tắt broker một phút giữa lúc load test; sau đó số hoá đơn phải bằng số đơn hàng.
- Kill pod Order Service liên tục khi đang có tải (ví dụ mỗi 30 s) rồi so số lượng lần nữa.
- Kiểm tra backlog outbox về 0 sau mỗi lần sự cố.
Giám sát và phòng ngừa
- Job đối soát: hằng ngày, đếm số đơn và số hoá đơn theo từng giờ; lệch là báo động ngay.
- Backlog outbox và tuổi của event cũ nhất chưa gửi làm metric, có cảnh báo.
- Quy tắc review code: một lệnh
kafka.sendnằm sau ranh giới@Transactionallà dấu hiệu đáng ngờ.
Bài học
- Hai lần ghi vào hai hệ thống là một transaction phân tán, dù bạn có gọi tên nó hay không.
- Message bị mất không lên tiếng: chỉ tìm ra được bằng đối soát, không bao giờ từ log lỗi.
- Để database là điểm commit duy nhất, rồi publish từ đó.