Đi tới nội dung chính
System Design Lab
Design to Scale

Cân bằng tải

Chia request đều cho các instance để không máy nào quá tải — và thấy thuật toán cân bằng tải cùng health check quyết định độ trễ đuôi thế nào khi các máy không giống nhau.

Trung cấp 5 phút đọc· Cập nhật 2026-11-18

Sau bài này bạn sẽ

  • So sánh round robin, random và least connections trên một đội máy không đồng đều.
  • Giải thích vì sao độ trễ đuôi (p99) lộ ra quyết định cân bằng tải tồi trước cả giá trị trung bình.
  • Dùng health check thụ động và chủ động để ngừng gửi lưu lượng tới instance đã chết.
  • Biết sự khác nhau giữa cân bằng tải tầng 4 và tầng 7.

Nên đọc trước

Yêu cầu

Ba instance phục vụ 80 request mỗi giây. Hai máy mới (60 ms mỗi request, mỗi máy 4 worker); máy thứ ba chạy trên phần cứng cũ và cần 150 ms. Đội máy hiếm khi đồng đều: hàng xóm ồn ào, JVM còn đang warm-up, một node đang chạy GC hay một availability zone chậm hơn đều tạo ra tình huống tương tự.

Hãy nghĩ tới các quầy thanh toán ở siêu thị. Xếp khách vào các quầy theo vòng xoay cứng nhắc sẽ bỏ qua việc một thu ngân chậm, nên hàng ở quầy đó cứ dài thêm. Đưa mỗi khách tới hàng ngắn nhất sẽ giải quyết được mà không ai phải đo tốc độ của thu ngân.

Các thuật toán

Thuật toánCách chọnĐiểm mạnhĐiểm yếu
Round robinInstance kế tiếp theo vòng xoay cố định.Đơn giản, chia đều với các instance giống nhau.Không biết gì về tốc độ hay tải hiện tại.
RandomChọn ngẫu nhiên đều.Không cần trạng thái; chạy được với nhiều balancer.Cũng mù như trên, cộng thêm mất cân bằng ngắn hạn.
Least connectionsInstance có ít request đang xử lý nhất.Tự thích nghi với instance chậm.Cần bộ đếm cho từng instance; instance lỗi nhanh trông lại hấp dẫn.
Power of two choicesChọn ngẫu nhiên hai, gửi tới cái ít tải hơn.Chất lượng gần least connections mà ít phải phối hợp.Kém tối ưu hơn least connections đầy đủ một chút.
Consistent hashingBăm một key (user, session) để chọn instance.Tận dụng cache; vị trí ổn định.Key nóng làm quá tải một instance.

Chạy thử: cùng đội máy, khác thuật toán

So sánh ô p99 giữa các kịch bản A, B và C. Giá trị trung bình trông na ná; phần đuôi mới nói lên sự thật. Biểu đồ request đang xử lý cho thấy round robin dồn request vào app-3 trong khi least connections giữ mọi máy ngang nhau.

Đang tải mô phỏng…

Health check

  • Chủ động — balancer gọi thử /health vài giây một lần và loại các instance trượt nhiều lần liên tiếp. Bắt được instance đã chết ngay cả khi không có lưu lượng.
  • Thụ động (outlier detection) — balancer theo dõi phản hồi thật và loại instance sau nhiều lỗi hoặc timeout liên tiếp. Phản ứng theo từng request, không phải theo giây.
  • Dùng cả hai. Endpoint health nên kiểm tra những gì chính instance cần để phục vụ (không phải mọi dependency phía dưới — nếu không, một lần database chập chờn sẽ loại cả đội máy).

Tầng 4 và tầng 7 Nâng cao

Nâng cao Balancer tầng 4 chuyển tiếp kết nối TCP mà không đọc nội dung: rất nhanh, nhưng với HTTP/2 hay gRPC nhiều request dùng chung một kết nối sống lâu, nên cân bằng theo kết nối có thể ghim một client bận vào một instance. Balancer tầng 7 kết thúc HTTP và cân bằng từng request, có thể định tuyến theo path hoặc header, thử lại request idempotent và chạy outlier detection — đổi lại tốn CPU hơn và phải kết thúc TLS ở balancer.

Ví dụ cấu hình

nginx.conf
upstream orders_api {
    least_conn;                                   # least connections thay cho round robin
    server 10.0.1.11:8080 max_fails=3 fail_timeout=5s;   # health check thụ động
    server 10.0.1.12:8080 max_fails=3 fail_timeout=5s;
    server 10.0.1.13:8080 max_fails=3 fail_timeout=5s;
    keepalive 64;
}

server {
    listen 443 ssl;
    location /orders/ {
        proxy_pass http://orders_api;
        proxy_next_upstream error timeout http_502 http_503;   # thử instance khác
        proxy_next_upstream_tries 2;
        proxy_read_timeout 2s;
    }
}

Đánh đổi

ĐượcMất
Round robinDễ đoán và cực kỳ đơn giản.Độ trễ đuôi tệ ngay khi các instance khác nhau.
Least connectionsTự điều chỉnh khi tải không đều.Hút lưu lượng về instance lỗi nhanh nếu health check không loại chúng.
Tầng 7Quyết định theo từng request, định tuyến, thử lại, outlier detection.Tốn CPU hơn và thêm một điểm kết thúc TLS.

Lưu ý khi chạy production

  • Chạy chính balancer một cách dự phòng (balancer được quản lý trên cloud đã làm điều này giúp bạn).
  • Xả kết nối (drain) khi deploy để các request đang chạy hoàn tất trước khi instance dừng.
  • Theo dõi độ trễ và tỉ lệ lỗi theo từng instance, không chỉ trung bình cả đội — đó là chỗ một instance tồi ẩn nấp.

Đọc thêm

Bài liên quan