Đi tới nội dung chính
System Design Lab
Design to Scale

Autoscaling

Thêm instance khi tải tăng và bớt đi khi tải giảm — và hiểu vì sao thời gian warm-up, bước scale, cooldown và việc chọn chỉ số quyết định autoscaling cứu bạn hay chỉ chập chờn.

Trung cấp 4 phút đọc· Cập nhật 2026-11-18

Sau bài này bạn sẽ

  • Giải thích vòng lặp autoscaling: chỉ số, ngưỡng, hành động, warm-up, cooldown.
  • Thấy vì sao scale chậm, từng instance một sẽ thua một đợt tăng vọt.
  • Nhận ra flapping và ngăn nó bằng hysteresis và cooldown.
  • Chọn giữa scale theo CPU, theo lưu lượng request, theo độ sâu hàng đợi và theo lịch.

Nên đọc trước

Tổng quan

Siêu thị mở thêm quầy thu ngân khi hàng dài và đóng bớt khi vắng khách. Cách này hiệu quả nếu nhân viên ra quầy nhanh — và nếu quản lý không mở rồi đóng cùng một quầy cứ hai phút một lần.

Autoscaler chạy một vòng lặp: đo một chỉ số (CPU, request mỗi instance, độ sâu hàng đợi), so sánh với ngưỡng, hành động bằng cách thêm hoặc bớt instance, rồi chờ. Instance mới cần warm-up (khởi động, JIT, nạp cache) mới giúp được; cooldown ngăn vòng lặp phản ứng lại chính thay đổi trước đó của nó.

Chạy thử

Lưu lượng nhảy từ 100 lên 500 request/giây trong khoảng t = 10–13 s và giảm lại lúc t = 40 s; một instance chịu được ~80/giây. Xem biểu đồ Instance so với số lỗi ở từng chính sách, rồi thử kéo thời gian warm-up.

Đang tải mô phỏng…

Scale theo chỉ số nào

Chỉ sốPhù hợp vớiCần để ý
Mức dùng CPUWeb service nặng về CPUChậm phản ứng với service nặng I/O; kẹt ở 100% và không cho biết đang vượt bao xa.
Request mỗi instanceHTTP service statelessCần biết trước năng lực của mỗi instance.
Độ sâu hàng đợi / lagWorker và consumerScale in không được giết việc đang làm dở; với Kafka bị giới hạn bởi số partition.
Theo lịch / dự đoánCao điểm hằng ngày đã biết, sự kiệnThêm năng lực trước đợt tăng vọt thay vì trong lúc nó diễn ra.

Kubernetes HPA

Tăng nhanh, giảm chậm
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata: { name: web }
spec:
  scaleTargetRef: { apiVersion: apps/v1, kind: Deployment, name: web }
  minReplicas: 3
  maxReplicas: 30
  metrics:
    - type: Resource
      resource: { name: cpu, target: { type: Utilization, averageUtilization: 60 } }
  behavior:
    scaleUp:
      stabilizationWindowSeconds: 0
      policies: [{ type: Percent, value: 100, periodSeconds: 15 }]   # nhân đôi thật nhanh
    scaleDown:
      stabilizationWindowSeconds: 300                                # chờ 5 phút rồi mới thu nhỏ
      policies: [{ type: Pods, value: 1, periodSeconds: 60 }]

Đánh đổi

ĐượcMất
Chi phíChỉ trả tiền năng lực cao điểm trong lúc cao điểm.Ngưỡng thấp và số tối thiểu cao là đổi tiền lấy an toàn.
Phản ứngBước lớn và cooldown ngắn phản ứng nhanh.Cấu hình quá hung hăng sẽ thừa và chập chờn.
Ổn địnhHysteresis và scale in chậm giữ đội instance ổn định.Chính sách chậm sẽ thua những đợt tăng vọt đột ngột.

Lưu ý khi chạy production

  • Làm instance stateless và có readiness check để instance mới chỉ nhận lưu lượng khi đã sẵn sàng.
  • Giữ khoảng cách giữa ngưỡng scale out và scale in (hysteresis), và scale in từ từ.
  • Kiểm tra giới hạn phía sau: nhân đôi số web instance cũng nhân đôi số connection tới database.
  • Load test chính chính sách scaling, không chỉ ứng dụng.

Đọc thêm

Bài liên quan