Đi tới nội dung chính
System Design Lab
Design to Scale

Mở rộng theo chiều dọc và chiều ngang

Đưa một ứng dụng web từ một server lên nhiều server: mỗi bước cái gì quá tải, vì sao scale up có giới hạn, vì sao scale out cần instance stateless, và điểm nghẽn tiếp theo nằm ở đâu.

Cơ bản 7 phút đọc· Cập nhật 2026-11-18

Sau bài này bạn sẽ

  • Ước lượng năng lực của một server từ số worker và độ trễ mỗi request.
  • So sánh scale up (máy lớn hơn) với scale out (nhiều máy hơn).
  • Giải thích vì sao mở rộng theo chiều ngang đòi hỏi các instance ứng dụng stateless.
  • Nhận ra rằng gỡ một điểm nghẽn sẽ để lộ điểm nghẽn tiếp theo.

Yêu cầu

Một API sản phẩm hôm nay phục vụ 30 request mỗi giây. Sắp có đợt ra mắt và lưu lượng sẽ lên 120 request mỗi giây. Mỗi request tốn khoảng 80 ms thời gian server. Người dùng bỏ đi sau 3 giây. Chúng ta muốn mọi request đều thành công với p95 dưới 300 ms.

Tiến hoá kiến trúc

Mỗi giai đoạn dưới đây chạy cùng một đợt tăng lưu lượng — 30, 60, 90 rồi 120 request mỗi giây — trên một kiến trúc khác nhau. Đi lần lượt từng giai đoạn và bấm Chạy ở mỗi giai đoạn.

Giai đoạn 1 / 4

Một server

Kiến trúc hiện tại
Người dùng gọi một server ứng dụng duy nhất có 4 worker thread.
Giới hạn
Năng lực cố định ở ~50 request/giây và server là điểm lỗi đơn.
Điểm nghẽn
Ở 60 request/giây hàng đợi đầy; độ trễ vọt lên và request bị từ chối. Worker bị giới hạn bởi CPU không thể chạy nhanh hơn.
Cải tiến
Cho server thêm tài nguyên (scale up) hoặc thêm server (scale out).
Tác động tới hiệu năng
Ổn cho tới ~50 request/giây, sau đó độ trễ tăng không giới hạn.
Độ phức tạp & chi phí vận hành
Cấu hình rẻ và đơn giản nhất có thể.
Trade-off
Đơn giản ngay bây giờ, đổi lấy sự cố ở đợt tăng lưu lượng đầu tiên.
Đang tải mô phỏng…

Vì sao scale out cần instance stateless

Nếu instance 1 giữ session của người dùng trong bộ nhớ và request tiếp theo rơi vào instance 2, người dùng bị đăng xuất. Sticky session che giấu vấn đề nhưng phá vỡ việc chia tải và làm mất session khi một instance chết. Hãy giữ instance dùng-xong-bỏ: instance nào cũng phục vụ được mọi request, và tắt một instance không mất gì ngoài công việc đang làm dở.

  • Session → kho dùng chung (Redis) hoặc token stateless (JWT).
  • File upload → object storage (S3, GCS), không phải ổ đĩa cục bộ.
  • Job định kỳ → một leader duy nhất hoặc khoá phân tán, để 3 instance không gửi 3 email.
  • Cache trong bộ nhớ → ổn với dữ liệu suy ra, không bao giờ dùng cho nguồn sự thật.

Autoscaling và hoạch định năng lực Nâng cao

Nâng cao Autoscaler thêm instance khi một metric (CPU, mức đồng thời, độ dài hàng đợi) vượt mục tiêu và bớt đi khi nó giảm. Instance mới cần thời gian khởi động và warm-up, nên hãy scale theo mục tiêu thấp hơn mức bão hoà (vd. 60–70% CPU), giữ tối thiểu hai instance để dự phòng, và định cỡ database cùng các dependency phía dưới theo số instance tối đa — nếu không autoscaler sẽ vui vẻ làm chúng quá tải.

Đánh đổi

ĐượcMất
Scale upKhông đổi kiến trúc; chỉ một máy để vận hành.Có trần cứng, chi phí không tuyến tính, điểm lỗi đơn.
Scale outNăng lực gần như tuyến tính và có sẵn dự phòng.Đòi hỏi thiết kế stateless, load balancer và vận hành nhiều máy.
Cả haiMua thêm thời gian để sửa điểm nghẽn thật sự.Không cách nào giúp được nếu database dùng chung là giới hạn.

Kiến trúc cuối cùng

UsersUsersLoad Balancerround robinLoad Balancerapp-14 workerapp-1app-24 workerapp-2app-34 workerapp-3PostgreSQLpool: 6 kết nốiPostgreSQL
Các instance stateless sau load balancer — với database là thành phần cần mở rộng tiếp theo.

Đọc thêm

Bài liên quan