Đi tới nội dung chính
System Design Lab
Real Problems

Chậm mười giây, sập không dứt: timeout và bão retry

Database chỉ chậm mười giây. Retry ở ba tầng nhân tải lên nó 27 lần và sự cố kéo dài cả khi nguyên nhân đã hết. Retry khuếch đại tải ra sao, và một tầng retry, budget, jitter chặn nó thế nào.

Nâng cao 4 phút đọc· Cập nhật 2026-11-18

Sau bài này bạn sẽ

  • Tính được retry ở nhiều tầng nhân tải lên bao nhiêu.
  • Thấy vì sao việc đã timeout vẫn tiếp tục đè lên phía phụ thuộc.
  • Sửa bằng một tầng retry, retry budget và backoff ngẫu nhiên.
  • Truyền deadline để không ai làm việc cho request đã hỏng chắc.

Nên đọc trước

Triệu chứng

  • Một query plan tệ làm database pricing chậm khoảng mười giây.
  • Lưu lượng vào database vọt lên cao hơn hẳn lưu lượng người dùng; connection pool và hàng đợi đầy kín.
  • Query plan đã được sửa, nhưng lỗi vẫn tiếp diễn — sự cố chỉ dừng khi phải cắt bớt lưu lượng bằng tay.
  • Log của mọi service đầy timeout và retry.

Bối cảnh hệ thống

Mobile appMobile appGateway retry×3, timeout 2 sGateway retryOrdersOrdersOrders retry×3, timeout 1 sOrders retryPricingPricingPricing retry×3, timeout 400 msPricing retryPricing DBPricing DB
Gateway → Orders → Pricing → database; mỗi chặng có timeout và chính sách retry 3 lần.

Nguyên nhân gốc

  1. Mỗi tầng retry tối đa 3 lần. Retry nhân lên: 3 × 3 × 3 = 27 lời gọi database cho một request người dùng trong trường hợp xấu nhất.
  2. Timeout bỏ rơi lời gọi, nhưng database vẫn tiếp tục chạy chúng — việc bị bỏ rơi vẫn chiếm connection.
  3. Database càng chậm thì càng nhiều lời gọi timeout, sinh thêm retry, lại làm nó chậm hơn nữa.
  4. Khi nguyên nhân biến mất, đống việc retry dồn lại vẫn vượt xa năng lực: hệ thống mắc kẹt trong trạng thái quá tải (metastable failure).

Tái hiện tương tác

Database chậm gấp 6 lần trong khoảng t = 10 s tới 20 s. Ở A, so sánh ô Lượt thử lại với số request đã gửi và xem biểu đồ throughput sau t = 20 s. B chỉ retry ở gateway; C vẫn retry ở mọi tầng nhưng giới hạn bằng budget 10% và full jitter.

Đang tải mô phỏng…

Các phương án

Kỹ thuậtTác dụng
Chỉ retry ở một tầngKhuếch đại bị chặn bởi một chính sách (×3, không phải ×27). Các tầng trong thất bại nhanh.
Retry budget (ví dụ ≤ 10% số request)Retry giúp được với trục trặc nhỏ nhưng tự tắt khi quá tải.
Exponential backoff với full jitterRải retry ra thay vì để chúng dồn cùng một lúc.
Truyền deadlineMỗi chặng biết thời gian còn lại và bỏ qua việc không thể thành công nữa.
Circuit breakerNgừng hẳn việc gọi phía phụ thuộc đang hỏng trong một thời gian.
Cắt tải ngay tại phía phụ thuộcTừ chối sớm (rẻ) thay vì xếp hàng những việc rồi sẽ timeout.

Cách sửa khuyến nghị

Resilience4j: chỉ retry ở biên, có jitter
resilience4j:
  retry:
    instances:
      gateway-orders:              # tầng duy nhất được retry
        max-attempts: 3
        wait-duration: 100ms
        enable-exponential-backoff: true
        exponential-backoff-multiplier: 2
        enable-randomized-wait: true
        randomized-wait-factor: 0.5
      orders-pricing:
        max-attempts: 1            # thất bại nhanh; để tầng biên quyết định
      pricing-db:
        max-attempts: 1
Truyền deadline thay vì timeout cố định ở mỗi chặng
Instant deadline = Instant.parse(request.getHeader("X-Deadline"));
Duration remaining = Duration.between(Instant.now(), deadline);
if (remaining.compareTo(Duration.ofMillis(20)) < 0) throw new DeadlineExceededException();   // đừng bắt đầu việc chắc chắn hỏng

pricingClient.get()
    .uri("/prices/{id}", id)
    .header("X-Deadline", deadline.toString())
    .retrieve()
    .bodyToMono(Price.class)
    .timeout(remaining)
    .block();

Cách kiểm chứng

  • Chaos test: làm phía phụ thuộc sâu nhất chậm gấp 5 lần trong 30 s ở tải cao điểm; hệ thống phải hồi phục trong vài giây sau đó.
  • Đo số lời gọi tới phía phụ thuộc trên mỗi request người dùng trong lúc test (hệ số khuếch đại); cảnh báo nếu vượt budget.
  • Rà lại cấu hình retry mặc định của mọi thư viện client — nhiều thư viện âm thầm retry.

Giám sát và phòng ngừa

  • Đưa tỉ lệ retry của từng phía phụ thuộc lên dashboard, cạnh lưu lượng request của nó.
  • Theo dõi số việc bắt đầu sau khi đã quá deadline (việc lãng phí) ở phía phụ thuộc.
  • Ghi rõ một chính sách retry cho mỗi luồng gọi trong template service.

Bài học

  • Retry cộng dồn qua các tầng; hãy quyết định retry ở đâu, và chỉ một lần.
  • Quá tải cần ít lưu lượng hơn chứ không phải nhiều hơn: budget và circuit breaker khiến retry tự lùi lại.
  • Timeout không huỷ được việc đang chạy — deadline và cắt tải mới làm được.

Đọc thêm

Bài liên quan