Microservice Patterns
Priority Queue
Cho việc gấp vượt lên trước việc thường trong hàng đợi — bằng lane ưu tiên hoặc queue và consumer riêng — để một đợt batch ồ ạt không bao giờ bắt người dùng tương tác phải chờ, mà batch cũng không bị bỏ đói mãi.
Sau bài này bạn sẽ
- Thấy một queue FIFO bắt việc gấp chờ sau việc khối lượng lớn ra sao.
- So sánh lane ưu tiên với queue và consumer riêng.
- Nhận ra và ngăn việc bỏ đói việc ưu tiên thấp.
- Chọn cách biểu diễn độ ưu tiên với broker thật.
Nên đọc trước
Tổng quan
Phòng cấp cứu không chữa bệnh nhân đúng theo thứ tự đến: người nhồi máu cơ tim được ưu tiên trước người bong gân. Có bệnh viện còn đặt riêng một bàn khám nhanh cho ca nhẹ, để họ không bị bỏ quên cả đêm.
Hàng đợi thường là FIFO: một đợt việc giá trị thấp ồ ạt làm chậm mọi thứ phía sau. Priority queue cho consumer lấy message ưu tiên cao trước. Các biến thể phổ biến là lane ưu tiên trong một queue (hoặc một nhóm consumer luôn đọc lane cao trước) và queue riêng kèm consumer riêng cho mỗi mức ưu tiên, cô lập hoàn toàn các lane.
Chạy thử
Đợt batch hằng đêm đổ 400 job report lúc t = 5 s trong khi người dùng premium vẫn liên tục gửi. So sánh ô Thời gian chờ job premium ở ba thiết kế.
Các biến thể
| Thiết kế | Độ trễ premium | Batch | Rủi ro |
|---|---|---|---|
| Một queue FIFO | Chờ sau mọi job batch | Công bằng | Việc gấp chậm đúng lúc tải cao |
| Lane ưu tiên, consumer dùng chung | Gần như bằng 0 | Nhận phần còn thừa | Bị bỏ đói nếu tải ưu tiên cao có lúc lấp đầy năng lực |
| Queue + consumer riêng | Giới hạn bởi năng lực của chính nó | Có phần chắc chắn | Năng lực rảnh ở lane này không giúp được lane kia; phải định cỡ từng lane |
Triển khai
@Scheduled(fixedDelay = 50)
void poll() {
// Lấy tối đa 9 job premium cho mỗi job batch, để batch chậm hơn nhưng không bao giờ bị bỏ đói.
for (int i = 0; i < 9; i++) {
Job job = premiumQueue.poll();
if (job == null) break;
workers.submit(() -> run(job));
}
Job batch = batchQueue.poll();
if (batch != null) workers.submit(() -> run(batch));
}Đánh đổi
| Được | Mất | |
|---|---|---|
| Phản hồi | Việc gấp không bị ảnh hưởng bởi các đợt việc ồ ạt. | Việc ưu tiên thấp gánh toàn bộ phần chậm trễ. |
| Cô lập | Lane riêng không bao giờ chặn nhau. | Năng lực bị chia ra và phải định cỡ theo từng lane. |
| Độ phức tạp | Dễ suy luận với hai hoặc ba mức. | Nhiều mức ưu tiên thì khó tinh chỉnh và khó giải thích. |
Lưu ý khi chạy production
- Giữ ở hai hoặc ba mức ưu tiên, kèm quy tắc rõ ràng ai được đặt mức nào.
- Cảnh báo theo tuổi của message cũ nhất trong từng lane, không chỉ theo độ sâu.
- Bảo vệ lane cao khỏi bị lạm dụng: ai cũng đánh dấu được việc gấp thì mọi thứ đều thành gấp.
- Autoscale từng lane độc lập (độ sâu hàng đợi là tín hiệu tốt).