Đi tới nội dung chính
System Design Lab
Microservice Patterns

Timeout

Đặt giới hạn thời gian chờ cho mọi lời gọi ra ngoài, để một dependency bị treo không âm thầm giữ chặt toàn bộ thread, connection và request của người dùng.

Cơ bản 6 phút đọc· Cập nhật 2026-11-18

Sau bài này bạn sẽ

  • Giải thích vì sao một lời gọi không có timeout là một vụ rò rỉ tài nguyên chực chờ xảy ra.
  • Thấy cách một dependency bị treo làm cạn worker pool và làm hỏng cả những tính năng không liên quan.
  • Chọn connect timeout, read timeout và timeout tổng dựa trên percentile độ trễ.
  • Cấu hình timeout cho HTTP client trong Spring và truyền hạn chót (deadline) qua các service.

Tổng quan

Hãy tưởng tượng bạn gọi điện cho một cửa hàng và không ai nhấc máy — nhưng cuộc gọi cũng không bao giờ tự ngắt. Nếu bạn nhất quyết không cúp máy, bạn sẽ không thể gọi cho ai khác. Timeout đơn giản là quyết định trước: "nếu sau 2 giây không ai trả lời, tôi cúp máy và làm việc khác."

Timeout giới hạn thời gian bên gọi chờ phản hồi. Khi quá giới hạn, bên gọi bỏ lời gọi, giải phóng những gì đang giữ và coi lời gọi là thất bại. Đây là cơ chế chịu lỗi cơ bản nhất — và cũng hay bị thiếu nhất, vì nhiều HTTP client và driver mặc định chờ mãi mãi.

Vấn đề: treo còn tệ hơn sập

Một service bị sập sẽ từ chối kết nối, nên bên gọi thất bại ngay. Một service bị treo — kẹt trong deadlock, GC dừng lâu hoặc cạn connection pool — vẫn nhận kết nối rồi im lặng. Mỗi thread bên gọi đều chờ. Trong server mô hình thread-per-request, các thread đó là một pool cố định: khi tất cả đều đang chờ, server không phục vụ được gì nữa, kể cả những request chẳng liên quan gì tới dependency bị treo.

TrướcKhông timeout
Người muaxem hàng + thanh …Người muaShop API6 worker threadShop APIInventorychỉ khi thanh toánInventory
Mỗi lượt thanh toán tới Inventory đang treo sẽ ghim một worker của Shop API vô thời hạn.
SauTimeout cho mỗi lời gọi
Người muaxem hàng + thanh …Người muaShop API6 worker threadShop APITimeoutmỗi lời gọiTimeoutInventorychỉ khi thanh toánInventory
Worker được giải phóng sau 300 ms, bất kể Inventory làm gì.

Chạy thử: một lần treo, hai kết cục

Một nửa lưu lượng là xem hàng, vốn không bao giờ gọi Inventory. Hãy quan sát ô Worker Shop API bận và các request xem hàng ở kịch bản A: chúng thất bại dù luồng code của chúng hoàn toàn khoẻ mạnh.

Đang tải mô phỏng…

Chọn giá trị

  • Bắt đầu từ độ trễ đo được của dependency: quy tắc thường dùng là cao hơn p99 một chút khi tải bình thường.
  • Connect timeout ngắn (100–500 ms trong cùng data centre): không kết nối nổi đã là tín hiệu mạnh.
  • Read timeout cho từng lời gọi tuỳ theo việc nó làm; xuất báo cáo và tra giá xứng đáng có giá trị khác nhau.
  • Timeout của chính bên gọi phải dài hơn tổng thời gian nó chờ phía dưới, nếu không công việc vẫn chạy khi chẳng ai cần kết quả nữa.

Nâng cao Tốt hơn timeout cố định cho từng chặng là một deadline đi theo request: lớp biên đặt "trả lời trước 10:00:02.500", và mỗi service chuyển phần ngân sách còn lại xuống dưới (gRPC hỗ trợ sẵn; qua HTTP thì dùng một header). Service nhận request chỉ còn 20 ms mà cần 100 ms có thể từ chối ngay thay vì làm việc vô ích.

Triển khai trong Spring

InventoryClientConfig.java
@Configuration
class InventoryClientConfig {

    @Bean
    RestClient inventoryClient(RestClient.Builder builder) {
        HttpClient httpClient = HttpClient.newBuilder()
                .connectTimeout(Duration.ofMillis(200))
                .build();
        JdkClientHttpRequestFactory factory = new JdkClientHttpRequestFactory(httpClient);
        factory.setReadTimeout(Duration.ofMillis(300));

        return builder.baseUrl("http://inventory-service")
                .requestFactory(factory)
                .build();
    }
}
Nâng cao
Lời gọi bất đồng bộ: Resilience4j TimeLimiter
@TimeLimiter(name = "inventory")
@CircuitBreaker(name = "inventory", fallbackMethod = "stockUnknown")
public CompletableFuture<Stock> stock(String sku) {
    return CompletableFuture.supplyAsync(() -> inventoryApi.stock(sku), inventoryExecutor);
}

private CompletableFuture<Stock> stockUnknown(String sku, Throwable ex) {
    return CompletableFuture.completedFuture(Stock.unknown(sku));
}

// application.yml
// resilience4j.timelimiter.instances.inventory.timeout-duration: 300ms
// resilience4j.timelimiter.instances.inventory.cancel-running-future: true

Đánh đổi

ĐượcMất
An toàn tài nguyênThread, kết nối và bộ nhớ luôn được giải phóng trong thời gian có giới hạn.Không có — mọi lời gọi từ xa đều nên có timeout.
Quá ngắnThất bại nhanh khi có sự cố.Lời gọi chậm nhưng thành công bị cắt ngang, giả lập sự cố giả và retry.
Quá dàiHiếm khi cắt ngang công việc hợp lệ.Gần như không hơn gì không có timeout: pool vẫn đầy khi có sự cố.
Ngữ nghĩaDễ suy luận với thao tác đọc idempotent.Với thao tác ghi, timeout nghĩa là "không rõ kết quả", bên gọi phải xử lý điều đó.

Lưu ý khi chạy production

  • Rà soát mọi client: HTTP, driver database, message broker, cache, SMTP. Giá trị mặc định thường là vô hạn hoặc tính bằng phút.
  • Ghi nhận timeout thành một metric riêng, tách khỏi các lỗi khác — timeout tăng vọt là dấu hiệu đặc trưng của một dependency bị treo.
  • Xem lại giá trị timeout khi SLO độ trễ thay đổi; một timeout đặt từ nhiều năm trước là nguyên nhân gốc khá phổ biến.

Đọc thêm

Bài liên quan