Đi tới nội dung chính
System Design Lab
Design to Scale

Capacity Planning

Ước tính bạn cần bao nhiêu năng lực trước khi người dùng phát hiện thay bạn: mức sử dụng, hàng đợi và định luật Little giải thích vì sao độ trễ bùng nổ gần 100% và nên giữ bao nhiêu phần dư.

Trung cấp 5 phút đọc· Cập nhật 2026-11-18

Sau bài này bạn sẽ

  • Tính năng lực từ thời gian xử lý và độ song song.
  • Giải thích vì sao độ trễ tăng vọt khi mức sử dụng tiến tới 100%.
  • Dùng định luật Little để liên hệ lưu lượng, độ trễ và độ song song.
  • Lên kế hoạch phần dư cho cao điểm, sự cố và tăng trưởng.

Nên đọc trước

Tổng quan

Đường cao tốc chạy ở 50% công suất thì thông thoáng; ở 90% chỉ cần một xe phanh gấp là kẹt cả dòng. Server cũng vậy: request đến thành từng cụm ngẫu nhiên, và hệ thống càng đầy thì các cụm đó càng phải chờ lâu.

Ba quan hệ đơn giản làm gần hết công việc. Năng lực = số worker ÷ thời gian xử lý (8 worker × 50 ms ⇒ 160 req/s). Mức sử dụng = lưu lượng ÷ năng lực. Định luật Little: số request đang xử lý = throughput × độ trễ — nên 100 req/s với 200 ms nghĩa là lúc nào cũng có 20 request đang chạy, con số dùng để định cỡ thread pool và connection pool.

Thử các con số

Máy tính năng lực

Toán hàng đợi (M/M/c): request đến ngẫu nhiên, thời gian xử lý ngẫu nhiên, các worker giống nhau.

Năng lực ở 100%
160 req/s
Mức sử dụng
75%
Request phải xếp hàng
36%
Thời gian phản hồi trung bình
59 ms
Thời gian phản hồi p95 (xấp xỉ)
199 ms
Đang xử lý (định luật Little)
7.1

Bạn cần 9 worker để giữ mức sử dụng không quá 70%.

70%100%

Thời gian phản hồi trung bình khi lưu lượng tiến dần tới năng lực; dấu chấm là thiết lập của bạn, đường đứt nét là 70%.

Chạy thử

Cùng một service với lưu lượng tăng đều. Xem p95 ở A khi mức sử dụng vượt 70%, 90% rồi 100%, sau đó so với B có thêm 50% worker.

Đang tải mô phỏng…

Nên giữ bao nhiêu phần dư

  • Độ trễ: giữ mức sử dụng bình thường quanh 50–70% với service nhạy cảm về độ trễ; vượt ~80% là thời gian chờ hàng đợi chiếm ưu thế.
  • Cao điểm: lên kế hoạch cho giờ (hoặc phút) cao điểm, không phải mức trung bình ngày — thường cao gấp 2–5 lần.
  • Sự cố (N+1): cần N instance thì chạy N+1 (hoặc chịu được mất một zone: N × số zone / (số zone − 1)).
  • Tăng trưởng: cộng thêm mức tăng trưởng dự kiến cho tới lần kế tiếp bạn có thể bổ sung năng lực.

Một quy trình thực tế

  1. Đo: request/giây lúc cao điểm của từng endpoint và độ trễ khi tải thấp (thời gian xử lý).
  2. Load test một instance để tìm chỗ độ trễ bắt đầu cong lên — đó là năng lực thực tế, không phải điểm nó sập.
  3. Tính số instance = cao điểm ÷ (năng lực mỗi instance × mức sử dụng mục tiêu), rồi cộng N+1 và tăng trưởng.
  4. Làm lại cho mọi phụ thuộc: connection database, rate limit phía sau, số partition của broker.
  5. Xem lại sau mỗi lần ra mắt tính năng và mỗi sự cố.
Tìm điểm gãy bằng load test (k6)
k6 run --vus 1 --stage 2m:20,2m:40,2m:60,2m:80,2m:100 checkout.js
# Vẽ p95 theo request/giây: năng lực là chỗ p95 bắt đầu tăng dốc, không phải chỗ bắt đầu có lỗi.

Đánh đổi

ĐượcMất
Phần dưĐộ trễ ổn định, có chỗ cho đợt tăng vọt và sự cố.Năng lực ngồi không cũng tốn tiền.
Chạy sát giới hạnRẻ hơn trên mỗi request.Đợt tăng nhỏ cũng làm độ trễ nhảy vọt và timeout.
Mô hìnhToán hàng đợi cho ước tính nhanh và dễ giải thích.Hệ thống thật có tranh chấp và dữ liệu lệch — luôn kiểm chứng bằng load test.

Lưu ý khi chạy production

  • Theo dõi mức sử dụng và mức bão hoà (độ dài hàng đợi) của từng tài nguyên, cạnh độ trễ.
  • Nhớ rằng pool nhân lên: 20 instance × 30 connection = 600 connection tới database.
  • Kết hợp kế hoạch với autoscaling — tính sẵn mức tối thiểu và tối đa, để autoscaler tự điều chỉnh ở giữa.
  • Làm cho quá tải trở nên an toàn bằng backpressure để kế hoạch có sai thì hệ thống vẫn xuống cấp nhẹ nhàng.

Đọc thêm

Bài liên quan