Real Problems
Lỗi dây chuyền: một service chậm kéo sập tất cả
Một service tính giá nằm cách người dùng ba tầng bỗng chậm đi. Vài giây sau, mọi service phía trên hết thread và cả trang báo lỗi. Tái hiện và khoanh vùng sự cố bằng timeout, circuit breaker và bulkhead.
Sau bài này bạn sẽ
- Lần theo cách độ trễ ở một dependency sâu lan ngược lên trên thành sự cạn kiệt tài nguyên.
- Đọc biểu đồ mức sử dụng để tìm điểm khởi phát của chuỗi lỗi.
- Kết hợp timeout, circuit breaker, bulkhead và fallback để giới hạn phạm vi ảnh hưởng.
- Lên kế hoạch giảm tải (load shedding) và kiểm chứng cho cách sửa.
Nên đọc trước
Triệu chứng
- Tỉ lệ lỗi toàn trang nhảy từ 0% lên ~40% trong vòng một phút.
- Mọi service trên đường đi của request đều có độ trễ cao và lỗi "connection pool exhausted" hoặc "rejected execution".
- CPU của hầu hết service thấp — chúng không bận tính toán, chúng đang chờ.
- Kỹ sư trực khởi động lại tầng web; nó hồi phục được 30 giây rồi lại sập.
Bối cảnh hệ thống
Nguyên nhân gốc
Pricing chậm đi 30 lần (một kế hoạch truy vấn tồi sau khi thống kê được làm mới). Mỗi worker của Inventory chờ Pricing ~900 ms thay vì ~30 ms, nên pool của Inventory đầy. Sau đó worker của Orders chờ Inventory, làm đầy pool của Orders, và cứ thế lên tới Web BFF. Định luật Little giải thích điều này: số đồng thời = thông lượng × độ trễ. Nhân độ trễ lên 30 lần với cùng lưu lượng thì mọi pool cần số worker gấp 30 lần số đang có.
Tái hiện tương tác
Ở kịch bản A, quan sát biểu đồ mức sử dụng từng service: Inventory bão hoà đầu tiên, rồi Orders, rồi Web BFF — chuỗi lỗi di chuyển dần về phía người dùng. Kịch bản B thêm lớp bảo vệ ở cả hai chặng và giữ mọi service khoẻ mạnh.
Các phương án
| Lớp phòng thủ | Giới hạn điều gì | Đứng một mình thì… |
|---|---|---|
| Timeout cho lời gọi Pricing | Một worker được chờ bao lâu. | …vẫn lãng phí 250 ms mỗi lời gọi và tiếp tục dội vào Pricing. |
| Circuit Breaker | Có thử gọi hay không. | …cần timeout để nhận ra sự chậm, và vẫn lỗi cho tới khi mạch mở. |
| Bulkhead (giới hạn đồng thời) cho lời gọi Inventory | Bao nhiêu worker của Orders có thể bị Inventory giữ chân. | …bảo vệ Orders nhưng không bảo vệ chính Inventory. |
| Fallback (giá đã cache / giá mặc định) | Người dùng nhận được gì khi có sự cố. | …cần một quyết định sản phẩm về câu trả lời suy giảm chấp nhận được. |
| Thêm thread / instance | Không gì cả — nó chỉ dời trần lên. | …làm chuỗi lỗi tới muộn hơn và thêm tải cho Pricing. |
Cách sửa khuyến nghị: phòng thủ nhiều lớp
resilience4j:
timelimiter:
instances:
pricing:
timeout-duration: 250ms
circuitbreaker:
instances:
pricing:
sliding-window-size: 20
minimum-number-of-calls: 10
failure-rate-threshold: 50
slow-call-duration-threshold: 200ms
slow-call-rate-threshold: 60
wait-duration-in-open-state: 4s
bulkhead:
instances:
inventory: # orders-service dùng cho các lời gọi tới Inventory
max-concurrent-calls: 6
max-wait-duration: 0Nâng cao Ngoài bảo vệ cho từng lời gọi, service nên giảm tải (shed load) khi bão hoà: từ chối sớm (HTTP 503 kèm Retry-After) khi thời gian xếp hàng vượt hạn chót của bên gọi, ưu tiên lưu lượng quan trọng (thanh toán hơn gợi ý sản phẩm) và bảo đảm client không thử lại dồn dập vào tình trạng quá tải (xem Retry).
Chiến lược kiểm chứng
- Kiểm thử tải với công cụ giả lập sự cố thêm độ trễ cho Pricing (vd. Toxiproxy) và khẳng định tỉ lệ lỗi của các endpoint không liên quan vẫn phẳng.
- Tổ chức game day: làm suy giảm một dependency sâu trên staging và xác nhận breaker mở, fallback phục vụ và dashboard chỉ ra điểm khởi phát.
- Kiểm tra mọi client gọi ra ngoài trong mọi service đều có timeout — tự động hoá trong code review hoặc bằng một luật lint.
Giám sát và phòng ngừa
- Dashboard cho từng service: mức sử dụng worker pool, thời gian xếp hàng, và độ trễ theo từng dependency — dependency có độ trễ tăng đầu tiên là điểm khởi phát.
- Cảnh báo khi circuit breaker mở quá lâu và khi bulkhead từ chối request.
- Dùng distributed tracing để thấy thời gian bị tiêu ở đâu qua các chặng.
Bài học rút ra
- Chậm còn tệ hơn sập: dependency bị sập thì lỗi nhanh, dependency chậm thì giữ chặt tài nguyên.
- Mọi lời gọi từ xa cần timeout, và dependency quan trọng cần breaker cùng fallback.
- Cô lập tài nguyên theo từng dependency để một sự cố chỉ có phạm vi ảnh hưởng giới hạn.