Đi tới nội dung chính
System Design Lab
Microservice Patterns

Giới hạn tốc độ (Rate Limiting)

Giới hạn số request mỗi client được gửi trong một khoảng thời gian để chống quá tải và lạm dụng — và chọn thuật toán có hành vi lúc cao điểm mà bạn chấp nhận được.

Trung cấp 5 phút đọc· Cập nhật 2026-11-18

Sau bài này bạn sẽ

  • So sánh fixed window, sliding window, token bucket và leaky bucket trên cùng một lưu lượng.
  • Giải thích đợt tăng ở ranh giới của fixed window và vì sao nó làm quá tải backend.
  • Chọn giữa từ chối (429) và điều tiết (xếp hàng) lưu lượng dư.
  • Triển khai giới hạn tốc độ phân tán với Redis và Spring.

Tổng quan

Bảo vệ hộp đêm cho một số người vào mỗi phút. Có người đếm theo từng phút trên đồng hồ, có người đếm cuốn chiếu, có người phát vé được bổ sung dần theo thời gian, có người bắt mọi người xếp hàng và cho vào từng người một sau mỗi vài giây. Tất cả đều giới hạn tốc độ — nhưng cư xử rất khác nhau khi một đám đông ập tới cùng lúc.

Bộ giới hạn tốc độ đếm request theo từng client (API key, user, IP) và từ chối — hoặc làm chậm — các request vượt mức đã thoả thuận. Nó bảo vệ service khỏi quá tải, giữ cho một client ồn ào không bỏ đói các client khác, và thực thi hạn mức của các gói trả phí.

Bốn thuật toán

Thuật toánQuy tắcKhi có đợt tăng
Fixed windowTối đa N request mỗi khoảng thời gian lịch; bộ đếm đặt lại ở ranh giới.Có thể lọt tới 2N quanh một ranh giới (cuối cửa sổ này + đầu cửa sổ sau).
Sliding windowBộ đếm có trọng số của cửa sổ hiện tại và cửa sổ trước xấp xỉ "N trong mọi khoảng".Gần N trong mọi khoảng cuốn chiếu. Tốn thêm chút bộ nhớ.
Token bucketMột thùng B token được nạp lại R token mỗi giây; mỗi request tiêu một token.Cho phép một đợt B request, sau đó R mỗi giây. Phổ biến nhất cho API công khai.
Leaky bucketRequest xếp hàng và đi ra với tốc độ cố định R.Đầu ra đều tuyệt đối; phần dư phải chờ (độ trễ) hoặc bị bỏ khi hàng đợi đầy.

Chạy thử: cùng các đợt tăng, bốn bộ giới hạn

Mọi kịch bản đều gửi các loạt 12 request ngay trước và ngay sau ranh giới giây, với giới hạn 10 request mỗi giây. Quan sát ô Đỉnh request trong 1 s bất kỳ và Backend quá tải từ chối: fixed window cho lọt khoảng gấp đôi giới hạn và Search API mong manh phải trả giá.

Đang tải mô phỏng…

Triển khai

Token bucket theo API key với Bucket4j
@Component
class ApiKeyRateLimitFilter extends OncePerRequestFilter {

    private final Map<String, Bucket> buckets = new ConcurrentHashMap<>();

    private Bucket newBucket() {
        return Bucket.builder()
                .addLimit(Bandwidth.builder().capacity(10).refillGreedy(10, Duration.ofSeconds(1)).build())
                .build();
    }

    @Override
    protected void doFilterInternal(HttpServletRequest request, HttpServletResponse response, FilterChain chain)
            throws ServletException, IOException {
        String apiKey = Optional.ofNullable(request.getHeader("X-Api-Key")).orElse(request.getRemoteAddr());
        ConsumptionProbe probe = buckets.computeIfAbsent(apiKey, k -> newBucket()).tryConsumeAndReturnRemaining(1);
        if (probe.isConsumed()) {
            response.setHeader("X-RateLimit-Remaining", String.valueOf(probe.getRemainingTokens()));
            chain.doFilter(request, response);
            return;
        }
        long waitSeconds = Math.max(1, TimeUnit.NANOSECONDS.toSeconds(probe.getNanosToWaitForRefill()));
        response.setStatus(429);
        response.setHeader("Retry-After", String.valueOf(waitSeconds));
    }
}

Nâng cao Bộ giới hạn trong bộ nhớ là theo từng instance: với 5 replica, giới hạn 10/giây thành 50/giây. Để có giới hạn toàn cục, hãy giữ bộ đếm trong Redis (các tích hợp Redis của Bucket4j, hoặc RequestRateLimiter của Spring Cloud Gateway, chạy token bucket bằng một script Redis nguyên tử). Bộ đếm sliding window cần hai key cho mỗi client mỗi cửa sổ và một thao tác tăng-và-đọc nguyên tử.

Đánh đổi

ĐượcMất
Fixed windowCực đơn giản: một bộ đếm cho mỗi client.Đợt tăng ở ranh giới tới 2 lần giới hạn.
Sliding windowChính xác mà không phải lưu mọi mốc thời gian.Chỉ là xấp xỉ; nhiều trạng thái hơn một chút.
Token bucketCó hạn mức đợt tăng rõ ràng, dễ giải thích cho người dùng API.Đợt tăng vẫn tới được backend (tối đa bằng kích thước thùng).
Leaky bucketTải phía dưới đều đặn, dễ dự đoán.Thêm độ trễ; hàng đợi đầy vẫn phải bỏ request.

Lưu ý khi chạy production

  • Trả về 429 Too Many Requests kèm Retry-After và các header giới hạn để client tử tế chậm lại thay vì thử lại mù quáng (xem Retry).
  • Giới hạn theo danh tính (API key, user) thay vì theo IP khi có thể; NAT đặt nhiều người dùng sau cùng một địa chỉ.
  • Phân tầng giới hạn: một giới hạn toàn cục thô ở biên, các giới hạn chi tiết theo endpoint trong service.
  • Miễn trừ health check và lưu lượng nội bộ, và cảnh báo về các client liên tục bị giới hạn.

Đọc thêm

Bài liên quan