Design to Scale
Autoscaling
Thêm instance khi tải tăng và bớt đi khi tải giảm — và hiểu vì sao thời gian warm-up, bước scale, cooldown và việc chọn chỉ số quyết định autoscaling cứu bạn hay chỉ chập chờn.
Sau bài này bạn sẽ
- Giải thích vòng lặp autoscaling: chỉ số, ngưỡng, hành động, warm-up, cooldown.
- Thấy vì sao scale chậm, từng instance một sẽ thua một đợt tăng vọt.
- Nhận ra flapping và ngăn nó bằng hysteresis và cooldown.
- Chọn giữa scale theo CPU, theo lưu lượng request, theo độ sâu hàng đợi và theo lịch.
Nên đọc trước
Tổng quan
Siêu thị mở thêm quầy thu ngân khi hàng dài và đóng bớt khi vắng khách. Cách này hiệu quả nếu nhân viên ra quầy nhanh — và nếu quản lý không mở rồi đóng cùng một quầy cứ hai phút một lần.
Autoscaler chạy một vòng lặp: đo một chỉ số (CPU, request mỗi instance, độ sâu hàng đợi), so sánh với ngưỡng, hành động bằng cách thêm hoặc bớt instance, rồi chờ. Instance mới cần warm-up (khởi động, JIT, nạp cache) mới giúp được; cooldown ngăn vòng lặp phản ứng lại chính thay đổi trước đó của nó.
Chạy thử
Lưu lượng nhảy từ 100 lên 500 request/giây trong khoảng t = 10–13 s và giảm lại lúc t = 40 s; một instance chịu được ~80/giây. Xem biểu đồ Instance so với số lỗi ở từng chính sách, rồi thử kéo thời gian warm-up.
Scale theo chỉ số nào
| Chỉ số | Phù hợp với | Cần để ý |
|---|---|---|
| Mức dùng CPU | Web service nặng về CPU | Chậm phản ứng với service nặng I/O; kẹt ở 100% và không cho biết đang vượt bao xa. |
| Request mỗi instance | HTTP service stateless | Cần biết trước năng lực của mỗi instance. |
| Độ sâu hàng đợi / lag | Worker và consumer | Scale in không được giết việc đang làm dở; với Kafka bị giới hạn bởi số partition. |
| Theo lịch / dự đoán | Cao điểm hằng ngày đã biết, sự kiện | Thêm năng lực trước đợt tăng vọt thay vì trong lúc nó diễn ra. |
Kubernetes HPA
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata: { name: web }
spec:
scaleTargetRef: { apiVersion: apps/v1, kind: Deployment, name: web }
minReplicas: 3
maxReplicas: 30
metrics:
- type: Resource
resource: { name: cpu, target: { type: Utilization, averageUtilization: 60 } }
behavior:
scaleUp:
stabilizationWindowSeconds: 0
policies: [{ type: Percent, value: 100, periodSeconds: 15 }] # nhân đôi thật nhanh
scaleDown:
stabilizationWindowSeconds: 300 # chờ 5 phút rồi mới thu nhỏ
policies: [{ type: Pods, value: 1, periodSeconds: 60 }]Đánh đổi
| Được | Mất | |
|---|---|---|
| Chi phí | Chỉ trả tiền năng lực cao điểm trong lúc cao điểm. | Ngưỡng thấp và số tối thiểu cao là đổi tiền lấy an toàn. |
| Phản ứng | Bước lớn và cooldown ngắn phản ứng nhanh. | Cấu hình quá hung hăng sẽ thừa và chập chờn. |
| Ổn định | Hysteresis và scale in chậm giữ đội instance ổn định. | Chính sách chậm sẽ thua những đợt tăng vọt đột ngột. |
Lưu ý khi chạy production
- Làm instance stateless và có readiness check để instance mới chỉ nhận lưu lượng khi đã sẵn sàng.
- Giữ khoảng cách giữa ngưỡng scale out và scale in (hysteresis), và scale in từ từ.
- Kiểm tra giới hạn phía sau: nhân đôi số web instance cũng nhân đôi số connection tới database.
- Load test chính chính sách scaling, không chỉ ứng dụng.