Design to Scale
Cân bằng tải
Chia request đều cho các instance để không máy nào quá tải — và thấy thuật toán cân bằng tải cùng health check quyết định độ trễ đuôi thế nào khi các máy không giống nhau.
Sau bài này bạn sẽ
- So sánh round robin, random và least connections trên một đội máy không đồng đều.
- Giải thích vì sao độ trễ đuôi (p99) lộ ra quyết định cân bằng tải tồi trước cả giá trị trung bình.
- Dùng health check thụ động và chủ động để ngừng gửi lưu lượng tới instance đã chết.
- Biết sự khác nhau giữa cân bằng tải tầng 4 và tầng 7.
Nên đọc trước
Yêu cầu
Ba instance phục vụ 80 request mỗi giây. Hai máy mới (60 ms mỗi request, mỗi máy 4 worker); máy thứ ba chạy trên phần cứng cũ và cần 150 ms. Đội máy hiếm khi đồng đều: hàng xóm ồn ào, JVM còn đang warm-up, một node đang chạy GC hay một availability zone chậm hơn đều tạo ra tình huống tương tự.
Hãy nghĩ tới các quầy thanh toán ở siêu thị. Xếp khách vào các quầy theo vòng xoay cứng nhắc sẽ bỏ qua việc một thu ngân chậm, nên hàng ở quầy đó cứ dài thêm. Đưa mỗi khách tới hàng ngắn nhất sẽ giải quyết được mà không ai phải đo tốc độ của thu ngân.
Các thuật toán
| Thuật toán | Cách chọn | Điểm mạnh | Điểm yếu |
|---|---|---|---|
| Round robin | Instance kế tiếp theo vòng xoay cố định. | Đơn giản, chia đều với các instance giống nhau. | Không biết gì về tốc độ hay tải hiện tại. |
| Random | Chọn ngẫu nhiên đều. | Không cần trạng thái; chạy được với nhiều balancer. | Cũng mù như trên, cộng thêm mất cân bằng ngắn hạn. |
| Least connections | Instance có ít request đang xử lý nhất. | Tự thích nghi với instance chậm. | Cần bộ đếm cho từng instance; instance lỗi nhanh trông lại hấp dẫn. |
| Power of two choices | Chọn ngẫu nhiên hai, gửi tới cái ít tải hơn. | Chất lượng gần least connections mà ít phải phối hợp. | Kém tối ưu hơn least connections đầy đủ một chút. |
| Consistent hashing | Băm một key (user, session) để chọn instance. | Tận dụng cache; vị trí ổn định. | Key nóng làm quá tải một instance. |
Chạy thử: cùng đội máy, khác thuật toán
So sánh ô p99 giữa các kịch bản A, B và C. Giá trị trung bình trông na ná; phần đuôi mới nói lên sự thật. Biểu đồ request đang xử lý cho thấy round robin dồn request vào app-3 trong khi least connections giữ mọi máy ngang nhau.
Health check
- Chủ động — balancer gọi thử
/healthvài giây một lần và loại các instance trượt nhiều lần liên tiếp. Bắt được instance đã chết ngay cả khi không có lưu lượng. - Thụ động (outlier detection) — balancer theo dõi phản hồi thật và loại instance sau nhiều lỗi hoặc timeout liên tiếp. Phản ứng theo từng request, không phải theo giây.
- Dùng cả hai. Endpoint health nên kiểm tra những gì chính instance cần để phục vụ (không phải mọi dependency phía dưới — nếu không, một lần database chập chờn sẽ loại cả đội máy).
Tầng 4 và tầng 7 Nâng cao
Nâng cao Balancer tầng 4 chuyển tiếp kết nối TCP mà không đọc nội dung: rất nhanh, nhưng với HTTP/2 hay gRPC nhiều request dùng chung một kết nối sống lâu, nên cân bằng theo kết nối có thể ghim một client bận vào một instance. Balancer tầng 7 kết thúc HTTP và cân bằng từng request, có thể định tuyến theo path hoặc header, thử lại request idempotent và chạy outlier detection — đổi lại tốn CPU hơn và phải kết thúc TLS ở balancer.
Ví dụ cấu hình
upstream orders_api {
least_conn; # least connections thay cho round robin
server 10.0.1.11:8080 max_fails=3 fail_timeout=5s; # health check thụ động
server 10.0.1.12:8080 max_fails=3 fail_timeout=5s;
server 10.0.1.13:8080 max_fails=3 fail_timeout=5s;
keepalive 64;
}
server {
listen 443 ssl;
location /orders/ {
proxy_pass http://orders_api;
proxy_next_upstream error timeout http_502 http_503; # thử instance khác
proxy_next_upstream_tries 2;
proxy_read_timeout 2s;
}
}Đánh đổi
| Được | Mất | |
|---|---|---|
| Round robin | Dễ đoán và cực kỳ đơn giản. | Độ trễ đuôi tệ ngay khi các instance khác nhau. |
| Least connections | Tự điều chỉnh khi tải không đều. | Hút lưu lượng về instance lỗi nhanh nếu health check không loại chúng. |
| Tầng 7 | Quyết định theo từng request, định tuyến, thử lại, outlier detection. | Tốn CPU hơn và thêm một điểm kết thúc TLS. |
Lưu ý khi chạy production
- Chạy chính balancer một cách dự phòng (balancer được quản lý trên cloud đã làm điều này giúp bạn).
- Xả kết nối (drain) khi deploy để các request đang chạy hoàn tất trước khi instance dừng.
- Theo dõi độ trễ và tỉ lệ lỗi theo từng instance, không chỉ trung bình cả đội — đó là chỗ một instance tồi ẩn nấp.