Design to Scale
Mở rộng với hàng đợi message
Đưa việc nặng ra khỏi luồng request: queue hấp thụ các đợt dồn dập, nhiều worker cùng xử lý, backpressure giữ hệ thống không ôm quá sức và DLQ giữ lại các poison message.
Sau bài này bạn sẽ
- Giải thích san tải bằng hàng đợi và khi nào xử lý bất đồng bộ là chấp nhận được.
- Mở rộng xử lý bằng competing consumer và dự đoán thời gian xả hàng đợi.
- Áp dụng backpressure bằng hàng đợi có giới hạn thay vì để độ trễ tăng không giới hạn.
- Xử lý message lỗi bằng retry và dead-letter queue.
Nên đọc trước
Yêu cầu
Người dùng tải ảnh lên và ảnh cần được resize. Resize tốn ~200 ms CPU. Lưu lượng bình thường là 10 lượt upload mỗi giây, nhưng một email marketing tạo ra các đợt 50 lượt mỗi giây kéo dài vài giây. Người dùng không bao giờ được thấy lỗi, còn ảnh thu nhỏ có thể xuất hiện muộn vài giây.
Nhà hàng không nấu món của bạn ngay tại quầy trong khi hàng người phía sau phải chờ. Thu ngân nhận đơn, ghim phiếu lên thanh, và bếp làm lần lượt các phiếu theo nhịp của mình. Thêm đầu bếp thì thanh phiếu vơi nhanh hơn. Thanh phiếu đó chính là hàng đợi message.
Tiến hoá
Làm việc ngay trong request
- Kiến trúc hiện tại
- API upload resize ảnh xong mới phản hồi.
- Giới hạn
- Năng lực bằng những gì worker của API xử lý được: 4 worker × 5 ảnh/giây = 20/giây.
- Điểm nghẽn
- Trong đợt 50/giây request xếp hàng, timeout và bị từ chối — người dùng thấy lỗi.
- Cải tiến
- Nhận upload thật nhanh và resize sau, ở chế độ nền.
- Tác động tới hiệu năng
- Ổn ở 10/giây; trong đợt tăng p95 vượt 600 ms và ~23% lượt upload thất bại.
- Độ phức tạp & chi phí vận hành
- Luồng code đơn giản nhất.
- Trade-off
- Có kết quả ngay, nhưng phải định cỡ năng lực theo đỉnh chứ không theo trung bình.
Hàng đợi có xả hết không?
Hàng đợi chỉ san tải được nếu năng lực xử lý trung bình lớn hơn tốc độ đến trung bình. Trong đợt 50/giây kéo dài 6 s so với năng lực 20/giây, tồn đọng tăng thêm 30 × 6 = 180 message. Sau đó, với 10/giây đổ vào, nó được xả ở tốc độ 20 − 10 = 10/giây: khoảng 18 giây. Nếu lượng đến luôn vượt năng lực, hàng đợi tăng mãi — đó không phải san tải, đó là sự cố bị hoãn lại (xem Kafka consumer lag).
Poison message và dead-letter queue
Một ảnh hỏng sẽ lỗi ở mọi lần xử lý. Không có giới hạn, nó bị thử lại mãi, lãng phí một worker và chặn các hàng đợi có thứ tự. Sau một số lần giao cố định, hãy chuyển nó sang dead-letter queue (DLQ) để kiểm tra và phát lại sau khi sửa lỗi. Ở chế độ nâng cao, tăng tỉ lệ lỗi trong các kịch bản hàng đợi và quan sát ô Vào DLQ.
Triển khai với Spring AMQP (RabbitMQ)
@Configuration
class ResizeQueueConfig {
@Bean
Queue resizeJobs() {
return QueueBuilder.durable("resize-jobs")
.maxLength(10_000) // có giới hạn: backpressure
.overflow(QueueBuilder.Overflow.rejectPublish)
.deadLetterExchange("")
.deadLetterRoutingKey("resize-jobs.dlq")
.build();
}
@Bean
Queue resizeJobsDlq() {
return QueueBuilder.durable("resize-jobs.dlq").build();
}
}@Component
class ResizeWorker {
// 4–16 consumer đồng thời mỗi instance; prefetch 1 để việc chậm không ôm hết message.
@RabbitListener(queues = "resize-jobs", concurrency = "4-16")
public void resize(ResizeJob job) {
images.resize(job.imageId(), job.sizes()); // phải idempotent: message có thể bị giao lại
}
private final ImageService images;
ResizeWorker(ImageService images) {
this.images = images;
}
}
// application.yml
// spring.rabbitmq.listener.simple.prefetch: 1
// spring.rabbitmq.listener.simple.retry.enabled: true
// spring.rabbitmq.listener.simple.retry.max-attempts: 3 # sau đó bị từ chối → DLQ
// spring.rabbitmq.listener.simple.default-requeue-rejected: falseĐánh đổi
| Được | Mất | |
|---|---|---|
| Năng lực | Định cỡ theo tải trung bình; các đợt tăng được hấp thụ. | Công việc bị chậm lại trong các đợt tăng. |
| Khả năng chịu lỗi | Worker có thể khởi động lại hay lỗi mà không mất công việc đã nhận. | Message có thể bị giao lại: handler phải idempotent. |
| Trải nghiệm người dùng | Xác nhận nhanh và đáng tin cậy. | Kết quả bất đồng bộ cần polling, thông báo hoặc websocket. |
| Thứ tự | FIFO theo từng hàng đợi khi có một consumer. | Competing consumer xử lý song song và có thể xong không theo thứ tự. |
Lưu ý khi chạy production
- Cảnh báo theo độ sâu hàng đợi và tuổi của message cũ nhất — chỉ nhìn độ sâu sẽ che giấu việc xả chậm.
- Tự động mở rộng worker theo độ sâu hoặc tuổi message (KEDA làm điều này trên Kubernetes), với mức tối đa mà các hệ thống phía dưới chịu được.
- Giám sát DLQ: mọi thứ trong đó là bug hoặc dữ liệu xấu cần có người xem xét.