Đi tới nội dung chính
System Design Lab
Microservice Patterns

Backpressure

Khi bên xử lý không theo kịp, hãy đẩy vấn đề ngược về producer — hàng đợi có giới hạn và 429 Retry-After — thay vì dồn vào bộ nhớ cho tới khi process chết và kéo theo cả việc đã nhận.

Trung cấp 4 phút đọc· Cập nhật 2026-11-18

Sau bài này bạn sẽ

  • Giải thích vì sao buffer không giới hạn biến quá tải thành mất dữ liệu.
  • Giới hạn hàng đợi và báo quá tải bằng 429 / Retry-After.
  • Bắt producer chậm lại, lưu tạm hoặc bỏ đi một cách có chủ đích.
  • Nhận ra backpressure trong stream, HTTP và thread pool.

Nên đọc trước

Tổng quan

Bếp nhà hàng mà giờ cao điểm nhận hết mọi order thì sẽ có một chồng phiếu nấu không xuể, đồ ăn nguội và khách nổi giận. Nhân viên đón khách giỏi sẽ nói ngay ở cửa: "phải chờ khoảng 20 phút". Khách đợi bên ngoài hoặc quay lại sau, còn bếp vẫn chạy hết công suất.

Backpressure là tín hiệu từ thành phần chậm gửi tới thành phần nhanh: *chậm lại đi*. Không có nó, phần chênh giữa tốc độ đến và tốc độ xử lý phải dồn vào đâu đó — thường là một hàng đợi trong bộ nhớ lớn dần cho tới khi độ trễ bùng nổ hoặc process hết bộ nhớ. Có nó, hàng đợi được giới hạn, và khi đầy thì hệ thống lên tiếng (buffer đầy thì chặn lại, stream xin ít item hơn, API trả 429 Too Many Requests kèm Retry-After).

Chạy thử

Thiết bị tăng vọt từ 150 lên 400 lần gửi/giây trong khoảng t = 8 s tới 18 s; API xử lý được ~200/giây. Xem biểu đồ Backlog nằm ở đâu: ở A nó nằm trong bộ nhớ server cho tới khi crash vì hết bộ nhớ, ở B nó nằm ở producer. Ở C producer phớt lờ Retry-After và dội request bị từ chối liên tục vào API.

Đang tải mô phỏng…

Các dạng backpressure

Ở đâuCơ chế
HTTP APIHàng đợi việc có giới hạn; 429 hoặc 503 kèm Retry-After; client lùi lại.
Thread poolHàng đợi có giới hạn + chính sách từ chối (CallerRunsPolicy làm bên gửi chậm lại).
Reactive streamsSubscriber xin N item (request(n)); publisher không bao giờ gửi nhiều hơn.
Kafka / queueConsumer tự kéo theo tốc độ của mình; lag tăng trên ổ đĩa của broker, không phải trong bộ nhớ.
TCPReceive window thu hẹp; bên gửi bị chặn lại.

Triển khai

Hàng đợi có giới hạn và 429 kèm Retry-After
private final BlockingQueue<Reading> queue = new ArrayBlockingQueue<>(200);

@PostMapping("/readings")
ResponseEntity<Void> ingest(@RequestBody Reading reading) {
    if (!queue.offer(reading)) {                       // đầy: từ chối thay vì phình bộ nhớ
        return ResponseEntity.status(HttpStatus.TOO_MANY_REQUESTS)
            .header(HttpHeaders.RETRY_AFTER, "1")
            .build();
    }
    return ResponseEntity.accepted().build();
}
Một client biết lắng nghe
HttpResponse<Void> response = http.send(request, BodyHandlers.discarding());
if (response.statusCode() == 429) {
    long waitSeconds = response.headers().firstValueAsLong("Retry-After").orElse(1);
    spool.keep(reading);                              // giữ lại ở local (ổ đĩa), đừng âm thầm bỏ đi
    scheduler.schedule(this::flushSpool, waitSeconds + jitter(), TimeUnit.SECONDS);
}

Đánh đổi

ĐượcMất
Ổn địnhServer luôn khoẻ và nhanh dù tải thế nào.Một số request bị từ chối trong lúc quá tải.
Dữ liệuKhông mất gì đã nhận; backlog nằm ở chỗ an toàn.Producer cần chỗ để giữ nó — hoặc chính sách bỏ bớt cái gì.
Phối hợpClient ngoan tự động làm tải êm hơn.Client phớt lờ Retry-After làm phí năng lực; hãy ép bằng rate limit.

Lưu ý khi chạy production

  • Hàng đợi nào cũng cần giới hạn — kể cả hàng đợi của thread pool, HTTP client và executor ẩn trong framework.
  • Đặt giới hạn theo thời gian chờ chấp nhận được (giới hạn = throughput × thời gian chờ tối đa), không theo bộ nhớ còn trống.
  • Quyết định cho từng loại dữ liệu chuyện gì xảy ra khi buffer của chính producer đầy: chặn, lưu xuống đĩa, lấy mẫu, hay bỏ đi kèm metric.
  • Kết hợp với rate limiting theo từng client để một producer ồn ào không chiếm hết năng lực.

Đọc thêm

Bài liên quan