Đi tới nội dung chính
System Design Lab
Microservice Patterns

San tải bằng hàng đợi

Đặt một queue giữa phía gửi request dồn dập và một hệ thống không scale được, để hệ thống đó chạy đều ở mức chịu được trong khi queue gánh các đợt cao điểm.

Cơ bản 5 phút đọc· Cập nhật 2026-11-18

Sau bài này bạn sẽ

  • Bảo vệ hệ thống có năng lực cố định (API cũ, đối tác, database) khỏi các đợt tăng lưu lượng.
  • Giới hạn mức đồng thời phía dưới bằng số worker.
  • Kiểm tra hàng đợi có xả hết được không: tốc độ đến trung bình so với năng lực.
  • Quyết định thao tác nào có thể chuyển thành bất đồng bộ.

Tổng quan

Con đập biến lũ quét của dòng sông thành dòng chảy đều đặn mà tua-bin và ruộng đồng phía dưới chịu được. Hồ chứa đầy lên trong cơn bão rồi xả chậm sau đó. Hàng đợi chính là hồ chứa dành cho request.

Có những hệ thống không thể mở rộng: một ERP cũ với bốn kết nối, một API đối tác có hạn mức nghiêm ngặt, một database được định cỡ cho ngày bình thường. San tải bằng hàng đợi tách tốc độ của producer khỏi tốc độ của consumer. Producer đưa việc vào hàng đợi thật nhanh; một số worker cố định đẩy việc vào hệ thống mong manh với tốc độ nó chịu được.

Chạy thử

So sánh biểu đồ Mức sử dụng API cũ giữa A và B. Ở A nó dính ở 100% và từ chối lần ghi trong đợt tăng. Ở B nó giữ phẳng và dưới 100% trong khi hàng đợi đầy lên rồi xả dần. Kịch bản C là giới hạn của pattern.

Đang tải mô phỏng…

Khi nào nó hiệu quả?

  • Trung bình dưới năng lực: đỉnh vượt năng lực thì không sao; mức trung bình kéo dài vượt năng lực chỉ làm tồn đọng tăng (kịch bản C). Khi đó bạn cần thêm năng lực hoặc giới hạn tốc độ ở biên.
  • Bên gọi chờ được: người dùng nhận "đã tiếp nhận" ngay và kết quả sau (email, thông báo, trang trạng thái).
  • Công việc thử lại được và idempotent: việc trong hàng đợi có thể bị giao lại; xem Idempotent Consumer.

Triển khai

ErpWriter.java
@Component
class ErpWriter {

    private final ErpClient erp;

    ErpWriter(ErpClient erp) {
        this.erp = erp;
    }

    // Đúng 3 lần ghi đồng thời vào ERP trên instance này — giới hạn an toàn của ERP.
    // Chạy một instance duy nhất (hoặc chia giới hạn cho các instance).
    @RabbitListener(queues = "erp-writes", concurrency = "3")
    public void write(ErpOrder order) {
        erp.upsertOrder(order);   // upsert idempotent theo id đơn hàng
    }
}

Nâng cao Với worker tự động mở rộng, giới hạn đồng thời nhân lên theo số instance, làm mất mục đích ban đầu. Hãy cố định số worker, hoặc thực thi giới hạn phía dưới bằng một semaphore hay bộ giới hạn tốc độ phân tán dùng chung cho mọi worker.

Đánh đổi

ĐượcMất
Bảo vệHệ thống mong manh nhận tải ổn định, có giới hạn.Công việc bị chậm trong các đỉnh — bằng lượng tồn đọng chia cho tốc độ xả.
Tính sẵn sàngProducer vẫn làm việc khi phía dưới chậm hoặc sập ngắn.Hàng đợi sập giờ chặn producer; broker phải có tính sẵn sàng cao.
Thiết kếDễ thêm vào trước các hệ thống sẵn có.Biến câu trả lời đồng bộ thành bất đồng bộ.

Lưu ý khi chạy production

  • Cảnh báo theo tuổi của message cũ nhất, và ước lượng thời gian xả = tồn đọng ÷ (năng lực − tốc độ đến).
  • Giới hạn kích thước hàng đợi và từ chối hoặc giảm tải khi đầy, thay vì nhận việc bạn không thể làm xong kịp.
  • Tách hàng đợi theo độ ưu tiên để một lần nhập dữ liệu hàng loạt không làm chậm đơn hàng của khách.

Đọc thêm

Bài liên quan