Microservice Patterns
Dead Letter Queue
Sau vài lần xử lý lỗi, đưa message sang một queue riêng, để một poison message không chặn hay ngốn consumer mãi — sửa lỗi xong thì đưa chúng quay lại.
Sau bài này bạn sẽ
- Nhận ra poison message và cách nó chặn việc xử lý có thứ tự.
- Cấu hình giới hạn thử lại và đích dead-letter.
- Vận hành DLQ: cảnh báo, kiểm tra và đưa trở lại (redrive).
- Thiết lập dead-letter publishing với Spring Kafka.
Nên đọc trước
Tổng quan
Bưu điện không thể giao một lá thư có địa chỉ không tồn tại. Thay vì cố mãi trong khi phần thư còn lại phải chờ, họ chuyển lá thư sang "phòng thư chết" để có người xem xét sau. Dead letter queue làm điều tương tự với message.
Poison message là message thất bại mỗi lần được xử lý: dữ liệu sai định dạng, tham chiếu không tồn tại, một bug chỉ xảy ra với một khách hàng cụ thể. Thử lại không giúp gì. Dead letter queue (DLQ) nhận những message như vậy sau một số lần thử nhất định để consumer có thể đi tiếp.
Vấn đề: một message chặn tất cả
Với hàng đợi có thứ tự (hoặc một partition Kafka), message lỗi được thử lại trước mọi thứ phía sau nó. Chỉ một hoá đơn hỏng của khách k7 đủ để dừng việc lập hoá đơn cho mọi khách hàng. Ngay cả với hàng đợi không thứ tự, poison message vẫn đốt thời gian của worker và làm đầy log bằng cùng một stack trace.
Chạy thử
Ở A, quan sát ô Đã xử lý đứng yên ngay khi message đầu tiên của k7 tới, trong khi Đang chờ trong hàng đợi tăng dần. Ở B luồng vẫn chạy và message của k7 dồn vào DLQ. Ở C bản sửa lỗi được deploy và DLQ được đưa trở lại — bạn có thể tự bấm nút Đưa DLQ trở lại bất cứ lúc nào.
Vận hành DLQ
- Cảnh báo khi có bất kỳ message nào trong DLQ (hoặc theo tốc độ tăng). Một DLQ không ai theo dõi chỉ là cách mất dữ liệu chậm hơn.
- Giữ ngữ cảnh: topic/queue gốc, partition và offset, message lỗi và số lần thử đi kèm message (dưới dạng header).
- Sửa nguyên nhân: deploy bản sửa lỗi, sửa dữ liệu tham chiếu, hoặc kết luận message là không hợp lệ.
- Đưa trở lại các message vào hàng đợi chính — hoặc chủ động huỷ chúng kèm vết kiểm toán.
- Làm consumer idempotent: message được đưa trở lại có thể đã thành công một phần trước đó (xem Idempotent Consumer).
Triển khai với Spring Kafka
@Configuration
class KafkaErrorHandlingConfig {
@Bean
DefaultErrorHandler errorHandler(KafkaTemplate<Object, Object> template) {
// Bản ghi lỗi được gửi tới <topic>.DLT, cùng partition, kèm chi tiết lỗi trong header.
var recoverer = new DeadLetterPublishingRecoverer(template);
var handler = new DefaultErrorHandler(recoverer, new ExponentialBackOff(500, 2.0) {{
setMaxElapsedTime(5_000); // thử lại vài lần, sau đó vào DLT
}});
// Không bao giờ thử lại những lỗi không thể thành công.
handler.addNotRetryableExceptions(DeserializationException.class, InvalidInvoiceException.class);
return handler;
}
}Nâng cao Thử lại chặn trong listener (như trên) giữ được thứ tự nhưng làm đứng partition trong lúc chờ. Với backoff dài, hãy dùng thử lại không chặn (@RetryableTopic): bản ghi lỗi chuyển sang các topic thử lại có độ trễ và cuối cùng vào DLT, nên partition chính vẫn chạy — đổi lại bản ghi được thử lại mất thứ tự.
Đánh đổi
| Được | Mất | |
|---|---|---|
| Tính sẵn sàng | Một message hỏng không thể dừng cả luồng. | Message vào DLQ bị chậm cho tới khi có người xử lý. |
| Thứ tự | Các key khoẻ mạnh vẫn giữ thứ tự. | Message vào DLQ giờ sai thứ tự so với các message sau của cùng thực thể. |
| Vận hành | Lỗi được hiển thị rõ và có thể phát lại. | Cần cảnh báo, công cụ và một người chịu trách nhiệm. |
Lưu ý khi chạy production
- Đặt thời gian lưu giữ của DLQ dài hơn thời gian xấu nhất để sửa lỗi và đưa trở lại.
- Nếu các message sau của cùng thực thể phụ thuộc vào một message đã vào DLQ, hãy gác cả thực thể (hoặc tạm dừng nó) thay vì bỏ qua một message lẻ.
- Theo dõi kích thước DLQ, tuổi của message cũ nhất và số lần đưa trở lại trên dashboard.