Real Problems
Chậm mười giây, sập không dứt: timeout và bão retry
Database chỉ chậm mười giây. Retry ở ba tầng nhân tải lên nó 27 lần và sự cố kéo dài cả khi nguyên nhân đã hết. Retry khuếch đại tải ra sao, và một tầng retry, budget, jitter chặn nó thế nào.
Nâng cao 4 phút đọc· Cập nhật 2026-11-18
Sau bài này bạn sẽ
- Tính được retry ở nhiều tầng nhân tải lên bao nhiêu.
- Thấy vì sao việc đã timeout vẫn tiếp tục đè lên phía phụ thuộc.
- Sửa bằng một tầng retry, retry budget và backoff ngẫu nhiên.
- Truyền deadline để không ai làm việc cho request đã hỏng chắc.
Nên đọc trước
Triệu chứng
- Một query plan tệ làm database pricing chậm khoảng mười giây.
- Lưu lượng vào database vọt lên cao hơn hẳn lưu lượng người dùng; connection pool và hàng đợi đầy kín.
- Query plan đã được sửa, nhưng lỗi vẫn tiếp diễn — sự cố chỉ dừng khi phải cắt bớt lưu lượng bằng tay.
- Log của mọi service đầy timeout và retry.
Bối cảnh hệ thống
Nguyên nhân gốc
- Mỗi tầng retry tối đa 3 lần. Retry nhân lên: 3 × 3 × 3 = 27 lời gọi database cho một request người dùng trong trường hợp xấu nhất.
- Timeout bỏ rơi lời gọi, nhưng database vẫn tiếp tục chạy chúng — việc bị bỏ rơi vẫn chiếm connection.
- Database càng chậm thì càng nhiều lời gọi timeout, sinh thêm retry, lại làm nó chậm hơn nữa.
- Khi nguyên nhân biến mất, đống việc retry dồn lại vẫn vượt xa năng lực: hệ thống mắc kẹt trong trạng thái quá tải (metastable failure).
Tái hiện tương tác
Database chậm gấp 6 lần trong khoảng t = 10 s tới 20 s. Ở A, so sánh ô Lượt thử lại với số request đã gửi và xem biểu đồ throughput sau t = 20 s. B chỉ retry ở gateway; C vẫn retry ở mọi tầng nhưng giới hạn bằng budget 10% và full jitter.
Đang tải mô phỏng…
Các phương án
| Kỹ thuật | Tác dụng |
|---|---|
| Chỉ retry ở một tầng | Khuếch đại bị chặn bởi một chính sách (×3, không phải ×27). Các tầng trong thất bại nhanh. |
| Retry budget (ví dụ ≤ 10% số request) | Retry giúp được với trục trặc nhỏ nhưng tự tắt khi quá tải. |
| Exponential backoff với full jitter | Rải retry ra thay vì để chúng dồn cùng một lúc. |
| Truyền deadline | Mỗi chặng biết thời gian còn lại và bỏ qua việc không thể thành công nữa. |
| Circuit breaker | Ngừng hẳn việc gọi phía phụ thuộc đang hỏng trong một thời gian. |
| Cắt tải ngay tại phía phụ thuộc | Từ chối sớm (rẻ) thay vì xếp hàng những việc rồi sẽ timeout. |
Cách sửa khuyến nghị
resilience4j:
retry:
instances:
gateway-orders: # tầng duy nhất được retry
max-attempts: 3
wait-duration: 100ms
enable-exponential-backoff: true
exponential-backoff-multiplier: 2
enable-randomized-wait: true
randomized-wait-factor: 0.5
orders-pricing:
max-attempts: 1 # thất bại nhanh; để tầng biên quyết định
pricing-db:
max-attempts: 1Instant deadline = Instant.parse(request.getHeader("X-Deadline"));
Duration remaining = Duration.between(Instant.now(), deadline);
if (remaining.compareTo(Duration.ofMillis(20)) < 0) throw new DeadlineExceededException(); // đừng bắt đầu việc chắc chắn hỏng
pricingClient.get()
.uri("/prices/{id}", id)
.header("X-Deadline", deadline.toString())
.retrieve()
.bodyToMono(Price.class)
.timeout(remaining)
.block();Cách kiểm chứng
- Chaos test: làm phía phụ thuộc sâu nhất chậm gấp 5 lần trong 30 s ở tải cao điểm; hệ thống phải hồi phục trong vài giây sau đó.
- Đo số lời gọi tới phía phụ thuộc trên mỗi request người dùng trong lúc test (hệ số khuếch đại); cảnh báo nếu vượt budget.
- Rà lại cấu hình retry mặc định của mọi thư viện client — nhiều thư viện âm thầm retry.
Giám sát và phòng ngừa
- Đưa tỉ lệ retry của từng phía phụ thuộc lên dashboard, cạnh lưu lượng request của nó.
- Theo dõi số việc bắt đầu sau khi đã quá deadline (việc lãng phí) ở phía phụ thuộc.
- Ghi rõ một chính sách retry cho mỗi luồng gọi trong template service.
Bài học
- Retry cộng dồn qua các tầng; hãy quyết định retry ở đâu, và chỉ một lần.
- Quá tải cần ít lưu lượng hơn chứ không phải nhiều hơn: budget và circuit breaker khiến retry tự lùi lại.
- Timeout không huỷ được việc đang chạy — deadline và cắt tải mới làm được.
Đọc thêm
Bài liên quan
Microservice Patterns
Retry
Tự động gọi lại khi lỗi chỉ là chập chờn tạm thời — có backoff, jitter và giới hạn số lần, để retry giúp hệ thống vượt qua trục trặc thay vì làm sự cố nặng thêm.
Microservice Patterns
Timeout
Đặt giới hạn thời gian chờ cho mọi lời gọi ra ngoài, để một dependency bị treo không âm thầm giữ chặt toàn bộ thread, connection và request của người dùng.
Microservice Patterns
Circuit Breaker
Khi một dependency đang lỗi, ngừng gọi nó, fail fast thay vì ngồi chờ, rồi thử lại từ từ cho tới khi nó hồi phục — để một service hỏng không kéo sập cả những service đang gọi tới nó.
Real Problems
Lỗi dây chuyền: một service chậm kéo sập tất cả
Một service tính giá nằm cách người dùng ba tầng bỗng chậm đi. Vài giây sau, mọi service phía trên hết thread và cả trang báo lỗi. Tái hiện và khoanh vùng sự cố bằng timeout, circuit breaker và bulkhead.
Microservice Patterns
Backpressure
Khi bên xử lý không theo kịp, hãy đẩy vấn đề ngược về producer — hàng đợi có giới hạn và 429 Retry-After — thay vì dồn vào bộ nhớ cho tới khi process chết và kéo theo cả việc đã nhận.