Microservice Patterns
Circuit Breaker
Khi một dependency đang lỗi, ngừng gọi nó, fail fast thay vì ngồi chờ, rồi thử lại từ từ cho tới khi nó hồi phục — để một service hỏng không kéo sập cả những service đang gọi tới nó.
Sau bài này bạn sẽ
- Giải thích vì sao liên tục gọi một dependency đang lỗi gây hại cho bên gọi nhiều hơn cho chính dependency.
- Lần theo máy trạng thái CLOSED → OPEN → HALF_OPEN → CLOSED và điều kiện kích hoạt từng chuyển trạng thái.
- Tinh chỉnh ngưỡng lỗi, cửa sổ trượt, số lời gọi tối thiểu và thời gian chờ — và dự đoán được tác động.
- Cấu hình circuit breaker Resilience4j có fallback trong Spring Boot.
Nên đọc trước
Tổng quan
Hãy nghĩ tới cầu dao (aptomat) trong nhà. Khi một thiết bị hỏng kéo dòng điện quá lớn, cầu dao nhảy và ngắt mạch để dây điện không bốc cháy. Bạn sửa thiết bị, bật cầu dao lên, điện có lại. Circuit breaker trong phần mềm làm điều tương tự với lời gọi mạng: khi một dependency liên tục lỗi, nó tạm ngừng gửi lời gọi tới dependency đó.
Circuit breaker là một proxy nhỏ đặt trước một lời gọi từ xa. Nó đếm số lần thành công và thất bại gần đây. Khi mọi thứ ổn, nó cho mọi lời gọi đi qua. Khi tỉ lệ lỗi vượt ngưỡng, nó mở mạch: các lời gọi tiếp theo thất bại ngay lập tức mà không chạm tới mạng. Sau một khoảng nghỉ, nó cho vài lời gọi thăm dò (probe) đi qua để kiểm tra dependency đã phục hồi chưa.
Vấn đề: thất bại chậm còn tệ hơn thất bại nhanh
Hãy tưởng tượng Order Service gọi Payment Service mỗi lần khách thanh toán. Payment bắt đầu bị timeout. Mỗi request thanh toán giờ phải chờ hết thời gian timeout rồi mới thất bại. Mỗi request đang chờ giữ một thread, một kết nối database và bộ nhớ của Order Service. Chỉ vài giây sau Order Service hết thread rảnh — và giờ cả những request không hề cần thanh toán (xem sản phẩm, lịch sử đơn hàng) cũng thất bại. Một dependency ốm đã đánh sập một service khoẻ mạnh.
- Cạn kiệt tài nguyên — thread pool, connection pool và giới hạn request đồng thời bị lấp đầy bởi các lời gọi đang chờ một dependency sẽ không trả lời.
- Khuếch đại độ trễ — p99 của bên gọi trở thành timeout của dependency, và mọi service phía trên đều thừa hưởng nó.
- Bão retry — client và các service trung gian thử lại, nhân tải lên đúng thành phần đang quá tải. Xem Retry.
- Phục hồi chậm hơn — một service đang chật vật mà vẫn nhận đủ lưu lượng hiếm khi có đủ khoảng thở để phục hồi.
Giải pháp: một máy trạng thái bao quanh lời gọi
Breaker bao lấy lời gọi và giữ một cửa sổ trượt chứa các kết quả gần nhất. Nó chuyển giữa ba trạng thái:
| Trạng thái | Điều gì xảy ra với lời gọi | Rời trạng thái khi |
|---|---|---|
| CLOSED | Được chuyển tới dependency. Kết quả được ghi vào cửa sổ trượt. | Cửa sổ có ít nhất số lời gọi tối thiểu và tỉ lệ lỗi bằng hoặc vượt ngưỡng → OPEN. |
| OPEN | Bị từ chối ngay với lỗi (hoặc fallback). Dependency hoàn toàn không bị gọi. | Hết thời gian chờ → HALF_OPEN. |
| HALF_OPEN | Một số lượng nhỏ, cố định lời gọi thăm dò được chuyển đi; lời gọi dư bị từ chối. | Các probe đã xong: tỉ lệ lỗi dưới ngưỡng → CLOSED, ngược lại → OPEN lần nữa. |
Nâng cao Các thư viện production hỗ trợ cửa sổ theo số lượng (N lời gọi gần nhất) và theo thời gian (các lời gọi trong N giây gần nhất). Cửa sổ theo số lượng phản ứng nhanh khi lưu lượng thấp; cửa sổ theo thời gian ổn định hơn khi lưu lượng cao. minimumNumberOfCalls ngăn breaker mở chỉ vì một lời gọi xui xẻo lúc khởi động. Nhiều thư viện còn theo dõi riêng tỉ lệ lời gọi chậm, nên một dependency trả lời thành công nhưng mất 5 giây vẫn có thể làm mạch mở.
Kiến trúc
Đi qua từng bước của vòng đời
Bấm Chạy, hoặc dùng mũi tên để đi từng bước.
Chạy thử: năm kịch bản
Mỗi kịch bản dưới đây chạy trên cùng một engine cho kết quả tái lập được. Bấm Chạy, quan sát các gói tin, rồi mở tab Máy trạng thái và Dòng thời gian. Hãy tự giả lập sự cố với Thanh toán sập — hoặc đổi ngưỡng ngay khi đang chạy.
Triển khai với Spring Boot và Resilience4j
Với starter resilience4j-spring-boot3 (cùng spring-boot-starter-aop), mỗi dependency được cấu hình một breaker trong application.yml và gắn vào bằng annotation.
resilience4j:
circuitbreaker:
instances:
payment:
sliding-window-type: COUNT_BASED
sliding-window-size: 10
minimum-number-of-calls: 5
failure-rate-threshold: 50
wait-duration-in-open-state: 5s
permitted-number-of-calls-in-half-open-state: 3
automatic-transition-from-open-to-half-open-enabled: true
slow-call-duration-threshold: 2s
slow-call-rate-threshold: 100
record-exceptions:
- java.io.IOException
- java.util.concurrent.TimeoutException
- org.springframework.web.client.HttpServerErrorException
ignore-exceptions:
- com.example.payment.CardDeclinedException@Service
public class PaymentClient {
private final RestClient restClient;
public PaymentClient(RestClient.Builder builder) {
this.restClient = builder.baseUrl("http://payment-service").build();
}
@CircuitBreaker(name = "payment", fallbackMethod = "chargeFallback")
public PaymentResult charge(ChargeRequest request) {
return restClient.post()
.uri("/charges")
.body(request)
.retrieve()
.body(PaymentResult.class);
}
// Mạch đang OPEN (hoặc HALF_OPEN và hết lượt probe): nhận đơn, trừ tiền sau.
private PaymentResult chargeFallback(ChargeRequest request, CallNotPermittedException ex) {
return PaymentResult.pending(request.orderId());
}
// Bản thân lời gọi thất bại khi mạch đang CLOSED.
private PaymentResult chargeFallback(ChargeRequest request, Exception ex) {
throw new PaymentUnavailableException(request.orderId(), ex);
}
}Nâng cao Resilience4j chọn fallback có tham số exception khớp gần nhất, nên bạn có thể xử lý "mạch đang mở" khác với "lời gọi thất bại". Lỗi nghiệp vụ như thẻ bị từ chối được liệt kê trong ignore-exceptions: đó là câu trả lời hợp lệ, không phải dấu hiệu dependency không khoẻ, và không được làm mạch ngắt.
@Configuration
class CircuitBreakerLogging {
CircuitBreakerLogging(CircuitBreakerRegistry registry) {
registry.circuitBreaker("payment")
.getEventPublisher()
.onStateTransition(event -> log.warn("payment circuit {}", event.getStateTransition()))
.onCallNotPermitted(event -> log.debug("payment call rejected (circuit open)"));
}
private static final Logger log = LoggerFactory.getLogger(CircuitBreakerLogging.class);
}Đánh đổi
| Được | Mất | |
|---|---|---|
| Tính sẵn sàng | Các phần khoẻ mạnh của bên gọi vẫn hoạt động khi một dependency sập. | Một số request lẽ ra có thể thành công bị từ chối trong lúc mạch OPEN. |
| Độ trễ | Thất bại trở nên nhanh (micro giây thay vì trọn một timeout). | Không đáng kể khi CLOSED, ngoài chi phí ghi nhận rất nhỏ. |
| Phục hồi | Dependency có khoảng thở; probe giới hạn tải trong lúc nó khởi động lại. | Chỉ nhận ra phục hồi sau khi hết thời gian chờ, không bao giờ tức thì. |
| Vận hành | Thay đổi trạng thái là tín hiệu rõ ràng, có thể cảnh báo. | Ngưỡng cần tinh chỉnh cho từng dependency, và breaker chỉnh sai sẽ dao động liên tục giữa các trạng thái. |
Lưu ý khi chạy production
- Mỗi dependency một breaker (đôi khi mỗi endpoint một breaker). Dùng chung một breaker sẽ khiến endpoint báo cáo bị lỗi chặn luôn endpoint thanh toán vẫn khoẻ.
- Kết hợp với timeout. Breaker chỉ thấy được thất bại; không có Timeout thì một lời gọi bị treo không bao giờ được ghi nhận là thất bại.
- Quyết định fallback cùng đội sản phẩm. Dữ liệu cache, giá trị mặc định, "chúng tôi sẽ xử lý sau" hay một thông báo lỗi rõ ràng — mỗi lựa chọn là một quyết định sản phẩm.
- Không tính lỗi phía client. Phản hồi 4xx và từ chối nghiệp vụ nghĩa là dependency vẫn khoẻ.
- Thứ tự decorator rất quan trọng. Thứ tự aspect mặc định của Resilience4j là Retry → CircuitBreaker → RateLimiter → TimeLimiter → Bulkhead → lời gọi. Retry nằm ngoài breaker sẽ dừng ngay khi mạch mở, vì breaker từ chối tức thì.
- Breaker là theo từng instance. Mười replica nghĩa là mười breaker độc lập; mỗi cái mở dựa trên mẫu lưu lượng của riêng nó. Điều đó thường ổn và tránh được một điểm điều phối chung.
- Lưu lượng thấp — với một lời gọi mỗi phút, cửa sổ theo số lượng 100 có thể mất hàng giờ mới đầy; hãy dùng cửa sổ nhỏ hơn hoặc cửa sổ theo thời gian với số tối thiểu hợp lý.