Design to Scale
High Availability
Loại bỏ điểm hỏng duy nhất bằng thành phần dự phòng và failover tự động — và chỉnh cơ chế phát hiện lỗi để nó phản ứng với crash thật, chứ không phải với mỗi lần mạng chập chờn.
Sau bài này bạn sẽ
- Diễn đạt availability bằng số "số 9" và thời gian sập cho phép.
- Giải thích failover active-passive: phát hiện, nâng cấp, RTO và RPO.
- Cân bằng giữa tốc độ phát hiện và failover nhầm.
- Tìm các điểm hỏng duy nhất trong một kiến trúc.
Nên đọc trước
Tổng quan
Bệnh viện có máy phát điện tự khởi động khi mất điện lưới. Không ai cần phát hiện sự cố rồi chạy xuống tầng hầm — nhưng máy phát cũng không được bật lên mỗi khi bóng đèn chớp một cái.
High availability nghĩa là service vẫn chạy khi một thành phần hỏng. Mọi thành phần trên đường đi của request đều được nhân đôi, và có một thứ phát hiện lỗi rồi chuyển lưu lượng: load balancer, virtual IP, proxy database hay cluster manager. Hai con số mô tả kết quả: RTO (mất bao lâu để phục hồi) và RPO (có thể mất bao nhiêu dữ liệu gần nhất).
| Availability | Thời gian sập mỗi năm | Thời gian sập mỗi tháng |
|---|---|---|
| 99% (hai số 9) | 3,65 ngày | 7,3 giờ |
| 99,9% | 8,8 giờ | 43,8 phút |
| 99,99% | 52,6 phút | 4,4 phút |
| 99,999% | 5,3 phút | 26 giây |
Chạy thử
Hai lần mạng chập chờn ngắn (t = 6 s, 13 s) và một lần crash thật (t = 22 s). So sánh ô Số giây có lỗi và Số lần failover, và theo dõi node đang phục vụ trên timeline.
Phát hiện lỗi
- Thời gian phát hiện ≈ chu kỳ kiểm tra × ngưỡng lỗi. 1 s × 3 = ~3 s trước khi có gì xảy ra.
- Quá chậm thì mỗi lần hỏng thật lại tốn thêm thời gian sập; quá nhanh thì những trục trặc thoáng qua (GC pause, mạng chập chờn) gây failover và chính failover lại gây sập.
- Failback thường nên làm thủ công hoặc có độ trễ: quay về quá vội là nhân đôi sự gián đoạn.
- Split brain: nếu primary cũ vẫn sống nhưng không liên lạc được, có thể có hai node cùng nhận ghi. Hãy dùng fencing (STONITH, lease, quorum) để chỉ có thể có một primary.
Ví dụ: failover database sau proxy
bootstrap:
dcs:
ttl: 30 # lease của leader: primary không gia hạn được sẽ tự hạ cấp (fencing)
loop_wait: 10 # chu kỳ vòng kiểm tra
retry_timeout: 10
maximum_lag_on_failover: 1048576 # không nâng replica tụt quá 1 MB (giới hạn RPO)
synchronous_mode: false # true = RPO 0, đổi lại độ trễ ghi và availabilityĐánh đổi
| Được | Mất | |
|---|---|---|
| Availability | Một lần hỏng chỉ tốn vài giây thay vì vài giờ. | Bản thân failover là thao tác rủi ro, phải được kiểm thử. |
| Chi phí | Standby có thể phục vụ đọc hoặc chạy việc batch. | Ít nhất gấp đôi hạ tầng cho phần dự phòng. |
| Dữ liệu | Replication đồng bộ cho RPO = 0. | Nó thêm độ trễ ghi và có thể chặn ghi nếu standby không khả dụng. |
Lưu ý khi chạy production
- Vẽ đường đi của request và đánh dấu mọi điểm hỏng duy nhất, kể cả DNS, load balancer và kho secret.
- Diễn tập failover định kỳ (game day); failover chưa từng thử thì thường sẽ hỏng.
- Cảnh báo theo sức khoẻ và độ trễ của standby, không chỉ của primary.
- Đặt mục tiêu availability cho từng service dựa trên nhu cầu người dùng và error budget, chứ không phải "càng cao càng tốt".