Đi tới nội dung chính
System Design Lab
Real Problems

Đơn hàng không có hoá đơn: event bị mất sau khi commit

Đơn hàng đã được lưu nhưng Billing không hề biết tới một số đơn. Thủ phạm: commit vào database và publish lên broker là hai bước tách rời. Tái hiện lỗi, rồi sửa bằng outbox.

Trung cấp 5 phút đọc· Cập nhật 2026-11-18

Sau bài này bạn sẽ

  • Nhận ra vấn đề dual write đứng sau những event lặng lẽ biến mất.
  • Tái hiện việc mất event khi broker sập và process restart sai thời điểm.
  • Sửa bằng transactional outbox, dùng polling relay hoặc CDC.
  • Phát hiện event bị mất bằng đối soát trước khi khách hàng phát hiện.

Nên đọc trước

Triệu chứng

  • Phòng tài chính phát hiện những đơn đã thanh toán mà không có hoá đơn — khoảng vài đơn trên một nghìn, tập trung vào một số khung giờ.
  • Log của Order Service có TimeoutException / NetworkException từ Kafka producer, hoặc chẳng có gì.
  • Các lỗ hổng trùng với lịch bảo trì broker và các lần deploy.
  • Billing không có lỗi nào: nó chưa bao giờ nhận được những event đó.

Bối cảnh hệ thống

CustomersCustomersOrder Servicelưu rồi publishOrder ServiceOrders DBOrders DBorder-eventsorder-eventsBillingBilling
Order Service lưu đơn hàng, rồi publish OrderPlaced lên Kafka; Billing tạo hoá đơn từ các event.

Nguyên nhân gốc

Lỗi: hai lần ghi, không chung transaction
@Transactional
public void placeOrder(Order order) {
    orders.save(order);
}                                         // ← commit xảy ra ở đây

public void checkout(Order order) {
    placeOrder(order);
    // Broker sập, timeout hay process restart đúng chỗ này là event mất vĩnh viễn.
    kafka.send("order-events", order.id(), new OrderPlaced(order));
}
  1. Commit database và publish lên broker là hai thao tác riêng; không có transaction nào bao trùm cả hai.
  2. Nếu không gọi được broker, lệnh send thất bại khi đơn hàng đã commit xong. Retry trong bộ nhớ chỉ có tác dụng cho tới khi process chết.
  3. Nếu process restart (deploy, bị OOM kill, drain node) giữa hai bước, event không bao giờ được gửi và chẳng ai hay biết.

Tái hiện tương tác

Broker sập lúc t = 8–12 s và 22–24 s, và 2% lần ghi rơi đúng lúc restart. Ở A, xem ô Đơn không có event (mất) tăng dần. B và C ghi event vào outbox trong cùng transaction: không mất gì cả, backlog chỉ đơn giản là giảm dần sau mỗi lần sự cố.

Đang tải mô phỏng…

Các phương án

Phương ánEvent bị mấtGhi chú
Retry publish trong bộ nhớVẫn mất khi restartThu hẹp khoảng hở chứ không bịt được.
Transaction phân tán (XA) giữa DB và brokerVề lý thuyết là khôngÍt broker hỗ trợ tốt; chậm và mong manh (xem Sự cố 2PC).
Transactional outbox + polling relayKhôngĐơn giản; độ trễ publish ≈ chu kỳ poll; thêm tải query.
Transactional outbox + CDC (Debezium)KhôngĐộ trễ thấp, không cần poll; phải vận hành thêm connector.
Event sourcing với subscription của storeKhôngEvent *chính là* lần ghi; thay đổi lớn về cách mô hình hoá.

Cách sửa khuyến nghị

Ghi event vào bảng outbox trong cùng transaction với đơn hàng, và để một relay riêng publish nó. Xem Transactional Outbox để biết đầy đủ pattern.

Một transaction, hai dòng
@Transactional
public void checkout(Order order) {
    orders.save(order);
    outbox.save(OutboxEvent.of("Order", order.id(), "OrderPlaced", new OrderPlaced(order)));
}   // cả hai dòng cùng commit — hoặc không dòng nào

Nâng cao Relay publish theo kiểu at-least-once: sau khi crash nó có thể gửi lại event đã gửi rồi. Đó là lý do Billing trong mô phỏng được làm idempotent — xem Idempotent Consumer. Dùng id event trong dòng outbox làm key chống trùng.

Cách kiểm chứng

  • Chaos test: tắt broker một phút giữa lúc load test; sau đó số hoá đơn phải bằng số đơn hàng.
  • Kill pod Order Service liên tục khi đang có tải (ví dụ mỗi 30 s) rồi so số lượng lần nữa.
  • Kiểm tra backlog outbox về 0 sau mỗi lần sự cố.

Giám sát và phòng ngừa

  • Job đối soát: hằng ngày, đếm số đơn và số hoá đơn theo từng giờ; lệch là báo động ngay.
  • Backlog outbox và tuổi của event cũ nhất chưa gửi làm metric, có cảnh báo.
  • Quy tắc review code: một lệnh kafka.send nằm sau ranh giới @Transactional là dấu hiệu đáng ngờ.

Bài học

  • Hai lần ghi vào hai hệ thống là một transaction phân tán, dù bạn có gọi tên nó hay không.
  • Message bị mất không lên tiếng: chỉ tìm ra được bằng đối soát, không bao giờ từ log lỗi.
  • Để database là điểm commit duy nhất, rồi publish từ đó.

Đọc thêm

Bài liên quan