Design to Scale
Mở rộng theo chiều dọc và chiều ngang
Đưa một ứng dụng web từ một server lên nhiều server: mỗi bước cái gì quá tải, vì sao scale up có giới hạn, vì sao scale out cần instance stateless, và điểm nghẽn tiếp theo nằm ở đâu.
Sau bài này bạn sẽ
- Ước lượng năng lực của một server từ số worker và độ trễ mỗi request.
- So sánh scale up (máy lớn hơn) với scale out (nhiều máy hơn).
- Giải thích vì sao mở rộng theo chiều ngang đòi hỏi các instance ứng dụng stateless.
- Nhận ra rằng gỡ một điểm nghẽn sẽ để lộ điểm nghẽn tiếp theo.
Yêu cầu
Một API sản phẩm hôm nay phục vụ 30 request mỗi giây. Sắp có đợt ra mắt và lưu lượng sẽ lên 120 request mỗi giây. Mỗi request tốn khoảng 80 ms thời gian server. Người dùng bỏ đi sau 3 giây. Chúng ta muốn mọi request đều thành công với p95 dưới 300 ms.
Tiến hoá kiến trúc
Mỗi giai đoạn dưới đây chạy cùng một đợt tăng lưu lượng — 30, 60, 90 rồi 120 request mỗi giây — trên một kiến trúc khác nhau. Đi lần lượt từng giai đoạn và bấm Chạy ở mỗi giai đoạn.
Một server
- Kiến trúc hiện tại
- Người dùng gọi một server ứng dụng duy nhất có 4 worker thread.
- Giới hạn
- Năng lực cố định ở ~50 request/giây và server là điểm lỗi đơn.
- Điểm nghẽn
- Ở 60 request/giây hàng đợi đầy; độ trễ vọt lên và request bị từ chối. Worker bị giới hạn bởi CPU không thể chạy nhanh hơn.
- Cải tiến
- Cho server thêm tài nguyên (scale up) hoặc thêm server (scale out).
- Tác động tới hiệu năng
- Ổn cho tới ~50 request/giây, sau đó độ trễ tăng không giới hạn.
- Độ phức tạp & chi phí vận hành
- Cấu hình rẻ và đơn giản nhất có thể.
- Trade-off
- Đơn giản ngay bây giờ, đổi lấy sự cố ở đợt tăng lưu lượng đầu tiên.
Vì sao scale out cần instance stateless
Nếu instance 1 giữ session của người dùng trong bộ nhớ và request tiếp theo rơi vào instance 2, người dùng bị đăng xuất. Sticky session che giấu vấn đề nhưng phá vỡ việc chia tải và làm mất session khi một instance chết. Hãy giữ instance dùng-xong-bỏ: instance nào cũng phục vụ được mọi request, và tắt một instance không mất gì ngoài công việc đang làm dở.
- Session → kho dùng chung (Redis) hoặc token stateless (JWT).
- File upload → object storage (S3, GCS), không phải ổ đĩa cục bộ.
- Job định kỳ → một leader duy nhất hoặc khoá phân tán, để 3 instance không gửi 3 email.
- Cache trong bộ nhớ → ổn với dữ liệu suy ra, không bao giờ dùng cho nguồn sự thật.
Autoscaling và hoạch định năng lực Nâng cao
Nâng cao Autoscaler thêm instance khi một metric (CPU, mức đồng thời, độ dài hàng đợi) vượt mục tiêu và bớt đi khi nó giảm. Instance mới cần thời gian khởi động và warm-up, nên hãy scale theo mục tiêu thấp hơn mức bão hoà (vd. 60–70% CPU), giữ tối thiểu hai instance để dự phòng, và định cỡ database cùng các dependency phía dưới theo số instance tối đa — nếu không autoscaler sẽ vui vẻ làm chúng quá tải.
Đánh đổi
| Được | Mất | |
|---|---|---|
| Scale up | Không đổi kiến trúc; chỉ một máy để vận hành. | Có trần cứng, chi phí không tuyến tính, điểm lỗi đơn. |
| Scale out | Năng lực gần như tuyến tính và có sẵn dự phòng. | Đòi hỏi thiết kế stateless, load balancer và vận hành nhiều máy. |
| Cả hai | Mua thêm thời gian để sửa điểm nghẽn thật sự. | Không cách nào giúp được nếu database dùng chung là giới hạn. |