Microservice Patterns
Bulkhead
Chia tài nguyên thành từng ngăn riêng, để một dependency chậm hay lỗi chỉ dùng hết phần của nó — phần còn lại của hệ thống vẫn chạy bình thường.
Sau bài này bạn sẽ
- Giải thích cách một worker pool dùng chung biến một dependency chậm thành sự cố toàn hệ thống.
- Định cỡ giới hạn cho từng dependency và chọn giữa từ chối hay chờ.
- So sánh bulkhead dạng semaphore, thread pool và mức triển khai.
- Cấu hình bulkhead của Resilience4j trong Spring Boot.
Nên đọc trước
Tổng quan
Thân tàu thuỷ được chia thành các khoang kín nước gọi là vách ngăn (bulkhead). Nếu thân tàu bị thủng, chỉ một khoang ngập và con tàu vẫn nổi. Trong phần mềm, "nước" là các request đang chờ và các khoang là những pool thread, kết nối hay instance tách biệt.
Bulkhead giới hạn lượng tài nguyên dùng chung mà một bên được phép dùng. Thay vì mọi lời gọi ra ngoài đều lấy từ cùng một worker pool, mỗi dependency có giới hạn riêng. Khi một dependency chậm đi, lời gọi tới nó chạm giới hạn và bị từ chối ngay, trong khi worker vẫn còn trống cho mọi việc khác.
Vấn đề: một pool, một điểm lỗi
Một Shop API có 10 worker thread. Phần lớn request là thanh toán gọi tới Payment; một số là báo cáo gọi tới service Reports nặng nề. Khi Reports chậm đi, mỗi request báo cáo giữ một worker hàng giây. Chỉ ít lâu sau cả 10 worker đều đang chờ Reports — và thanh toán, vốn không hề gọi Reports, không còn worker nào.
Chạy thử
So sánh ô Thanh toán thất bại giữa hai kịch bản. Ở B, mở phần chi tiết của bulkhead Reports và đổi kích thước: quá nhỏ thì từ chối cả những báo cáo lẽ ra thành công, quá lớn thì chúng lại làm cạn pool.
Các loại bulkhead
| Loại | Cách cô lập | Chi phí |
|---|---|---|
| Semaphore | Đếm số lời gọi đồng thời tới từng dependency trên chính thread của bên gọi; lời gọi dư bị từ chối hoặc chờ một chút. | Rất rẻ. Không bảo vệ được trước lời gọi bị chặn mãi — hãy kết hợp với timeout. |
| Thread pool | Mỗi dependency chạy trên một thread pool và hàng đợi nhỏ riêng. | Thêm thread và chuyển ngữ cảnh, nhưng lời gọi bị treo không chặn được thread của request. |
| Connection pool | Pool kết nối database hay HTTP riêng cho từng dependency hoặc tenant. | Nhiều kết nối hơn để quản lý. |
| Mức triển khai | Instance (hoặc cụm) riêng cho tải quan trọng và không quan trọng, hoặc theo tenant. | Nhiều hạ tầng hơn; cô lập mạnh nhất. |
Triển khai với Resilience4j
resilience4j:
bulkhead:
instances:
reports:
max-concurrent-calls: 3
max-wait-duration: 0 # từ chối ngay khi đầy
payment:
max-concurrent-calls: 8
max-wait-duration: 20ms@Service
class ReportsClient {
private final RestClient reports;
ReportsClient(RestClient.Builder builder) {
this.reports = builder.baseUrl("http://reports-service").build();
}
@Bulkhead(name = "reports", fallbackMethod = "reportBusy")
public Report salesReport(ReportQuery query) {
return reports.post().uri("/sales").body(query).retrieve().body(Report.class);
}
private Report reportBusy(ReportQuery query, BulkheadFullException ex) {
throw new ResponseStatusException(HttpStatus.SERVICE_UNAVAILABLE, "Reports are busy, try again shortly");
}
}Nâng cao Với lời gọi chặn có thể bị treo, hãy ưu tiên @Bulkhead(type = Bulkhead.Type.THREADPOOL) cùng @TimeLimiter: công việc chạy trên một pool riêng (resilience4j.thread-pool-bulkhead.instances.reports.max-thread-pool-size, queue-capacity), nên thread của request có thể bỏ cuộc sau timeout ngay cả khi thread trong pool vẫn kẹt.
Đánh đổi
| Được | Mất | |
|---|---|---|
| Tính sẵn sàng | Dependency lỗi chỉ ảnh hưởng các tính năng cần tới nó. | Request vượt giới hạn bị từ chối ngay cả khi pool khác đang rảnh. |
| Hiệu quả | Mức dùng tài nguyên của mỗi dependency dễ dự đoán. | Chia pool lãng phí năng lực so với một pool dùng chung. |
| Vận hành | Tín hiệu rõ ràng: số lần bulkhead từ chối chỉ thẳng vào dependency chậm. | Giới hạn cần tinh chỉnh và xem lại khi lưu lượng thay đổi. |
Lưu ý khi chạy production
- Kết hợp với Timeout và Circuit Breaker: bulkhead giới hạn mức đồng thời, timeout giới hạn thời gian, breaker ngừng gọi.
- Cô lập theo mức quan trọng, không chỉ theo dependency: lưu lượng thanh toán không bao giờ nên tranh tài nguyên với các job xuất dữ liệu.
- Giám sát số chỗ còn trống và số lần từ chối của từng bulkhead (
resilience4j_bulkhead_available_concurrent_calls).