17 bài học
Design to Scale
Nâng cấp kiến trúc qua từng điểm nghẽn. Mỗi giai đoạn cho thấy chỗ nào bắt đầu quá tải, cách khắc phục và cái giá phải trả.
Compute & lưu lượng
Mở rộng theo chiều dọc và chiều ngang
Đưa một ứng dụng web từ một server lên nhiều server: mỗi bước cái gì quá tải, vì sao scale up có giới hạn, vì sao scale out cần instance stateless, và điểm nghẽn tiếp theo nằm ở đâu.
ScaleCân bằng tải
Chia request đều cho các instance để không máy nào quá tải — và thấy thuật toán cân bằng tải cùng health check quyết định độ trễ đuôi thế nào khi các máy không giống nhau.
ScaleThiết kế ứng dụng stateless
Không giữ trạng thái người dùng trong bộ nhớ của instance ứng dụng, để instance nào cũng phục vụ được mọi request — điều kiện tiên quyết cho load balancing, autoscaling và deploy nhẹ nhàng.
ScaleAutoscaling
Thêm instance khi tải tăng và bớt đi khi tải giảm — và hiểu vì sao thời gian warm-up, bước scale, cooldown và việc chọn chỉ số quyết định autoscaling cứu bạn hay chỉ chập chờn.
ScaleCapacity Planning
Ước tính bạn cần bao nhiêu năng lực trước khi người dùng phát hiện thay bạn: mức sử dụng, hàng đợi và định luật Little giải thích vì sao độ trễ bùng nổ gần 100% và nên giữ bao nhiêu phần dư.
ScaleCaching
Chiến lược caching
Đặt cache trước một database đang quá tải: cache-aside hoạt động ra sao, điều gì quyết định tỉ lệ hit, giữ dữ liệu tươi thế nào, và làm sao sống sót khi cache bị xoá sạch.
ScaleCache Invalidation
Quyết định cách để bản sao trong cache biết database đã thay đổi — chờ TTL, xoá khi ghi, hay write-through — và đo xem dữ liệu người dùng thấy thực sự cũ tới mức nào.
ScaleContent Delivery Network (CDN)
Cache nội dung ở các điểm edge gần người dùng, để phần lớn request không phải vượt đại dương hay chạm tới origin — và thiết kế trang sao cho thực sự cache được.
ScaleXử lý bất đồng bộ
Mở rộng với hàng đợi message
Đưa việc nặng ra khỏi luồng request: queue hấp thụ các đợt dồn dập, nhiều worker cùng xử lý, backpressure giữ hệ thống không ôm quá sức và DLQ giữ lại các poison message.
ScaleKafka Partitioning
Partition là đơn vị song song và đơn vị thứ tự của Kafka. Chọn đúng message key và số partition thì consumer scale tuyến tính; chọn sai thì một partition nóng kéo chậm cả hệ thống.
ScaleConsumer Group
Consumer group cho phép nhiều service đọc cùng một topic Kafka một cách độc lập, và mỗi service scale bằng cách thêm member — kèm theo rebalance mỗi khi thành viên thay đổi.
ScaleQuản lý dữ liệu
Database Indexing
Vì sao cùng một query mà ngày càng chậm khi bảng lớn dần, B-tree index biến việc quét toàn bảng thành vài lần đọc page ra sao — và vì sao mỗi index thêm vào lại bắt lượt ghi trả giá.
ScaleRead Replica
Sao chép database ra các replica để phục vụ lượt đọc, cho primary chỉ lo việc ghi — và học cách xử lý replication lag, khi người dùng không thấy thứ họ vừa lưu.
ScaleDatabase Partitioning
Chia một bảng khổng lồ thành nhiều phần nhỏ ngay trong cùng một database, để query bỏ qua được những phần không cần và dữ liệu cũ được xoá trong tích tắc thay vì xoá từng dòng.
ScaleDatabase Sharding
Rải dữ liệu ra nhiều database độc lập theo shard key để scale lượt ghi và dung lượng vượt quá một máy — và tránh những cái bẫy kinh điển: hot shard, query xuyên shard và resharding đau đớn.
ScaleĐộ tin cậy & chịu lỗi
High Availability
Loại bỏ điểm hỏng duy nhất bằng thành phần dự phòng và failover tự động — và chỉnh cơ chế phát hiện lỗi để nó phản ứng với crash thật, chứ không phải với mỗi lần mạng chập chờn.
ScaleKiến trúc multi-region
Chạy ở nhiều region để sống sót qua sự cố của cả một region và phục vụ người dùng từ gần — chọn giữa active-passive và active-active, và trả giá bằng việc replicate dữ liệu.
Scale