Đi tới nội dung chính
System Design Lab
Design to Scale

High Availability

Loại bỏ điểm hỏng duy nhất bằng thành phần dự phòng và failover tự động — và chỉnh cơ chế phát hiện lỗi để nó phản ứng với crash thật, chứ không phải với mỗi lần mạng chập chờn.

Trung cấp 4 phút đọc· Cập nhật 2026-11-18

Sau bài này bạn sẽ

  • Diễn đạt availability bằng số "số 9" và thời gian sập cho phép.
  • Giải thích failover active-passive: phát hiện, nâng cấp, RTO và RPO.
  • Cân bằng giữa tốc độ phát hiện và failover nhầm.
  • Tìm các điểm hỏng duy nhất trong một kiến trúc.

Nên đọc trước

Tổng quan

Bệnh viện có máy phát điện tự khởi động khi mất điện lưới. Không ai cần phát hiện sự cố rồi chạy xuống tầng hầm — nhưng máy phát cũng không được bật lên mỗi khi bóng đèn chớp một cái.

High availability nghĩa là service vẫn chạy khi một thành phần hỏng. Mọi thành phần trên đường đi của request đều được nhân đôi, và có một thứ phát hiện lỗi rồi chuyển lưu lượng: load balancer, virtual IP, proxy database hay cluster manager. Hai con số mô tả kết quả: RTO (mất bao lâu để phục hồi) và RPO (có thể mất bao nhiêu dữ liệu gần nhất).

AvailabilityThời gian sập mỗi nămThời gian sập mỗi tháng
99% (hai số 9)3,65 ngày7,3 giờ
99,9%8,8 giờ43,8 phút
99,99%52,6 phút4,4 phút
99,999%5,3 phút26 giây

Chạy thử

Hai lần mạng chập chờn ngắn (t = 6 s, 13 s) và một lần crash thật (t = 22 s). So sánh ô Số giây có lỗi và Số lần failover, và theo dõi node đang phục vụ trên timeline.

Đang tải mô phỏng…

Phát hiện lỗi

  • Thời gian phát hiện ≈ chu kỳ kiểm tra × ngưỡng lỗi. 1 s × 3 = ~3 s trước khi có gì xảy ra.
  • Quá chậm thì mỗi lần hỏng thật lại tốn thêm thời gian sập; quá nhanh thì những trục trặc thoáng qua (GC pause, mạng chập chờn) gây failover và chính failover lại gây sập.
  • Failback thường nên làm thủ công hoặc có độ trễ: quay về quá vội là nhân đôi sự gián đoạn.
  • Split brain: nếu primary cũ vẫn sống nhưng không liên lạc được, có thể có hai node cùng nhận ghi. Hãy dùng fencing (STONITH, lease, quorum) để chỉ có thể có một primary.

Ví dụ: failover database sau proxy

Patroni (PostgreSQL HA) — thiết lập phát hiện lỗi và an toàn
bootstrap:
  dcs:
    ttl: 30                    # lease của leader: primary không gia hạn được sẽ tự hạ cấp (fencing)
    loop_wait: 10              # chu kỳ vòng kiểm tra
    retry_timeout: 10
    maximum_lag_on_failover: 1048576   # không nâng replica tụt quá 1 MB (giới hạn RPO)
    synchronous_mode: false            # true = RPO 0, đổi lại độ trễ ghi và availability

Đánh đổi

ĐượcMất
AvailabilityMột lần hỏng chỉ tốn vài giây thay vì vài giờ.Bản thân failover là thao tác rủi ro, phải được kiểm thử.
Chi phíStandby có thể phục vụ đọc hoặc chạy việc batch.Ít nhất gấp đôi hạ tầng cho phần dự phòng.
Dữ liệuReplication đồng bộ cho RPO = 0.Nó thêm độ trễ ghi và có thể chặn ghi nếu standby không khả dụng.

Lưu ý khi chạy production

  • Vẽ đường đi của request và đánh dấu mọi điểm hỏng duy nhất, kể cả DNS, load balancer và kho secret.
  • Diễn tập failover định kỳ (game day); failover chưa từng thử thì thường sẽ hỏng.
  • Cảnh báo theo sức khoẻ và độ trễ của standby, không chỉ của primary.
  • Đặt mục tiêu availability cho từng service dựa trên nhu cầu người dùng và error budget, chứ không phải "càng cao càng tốt".

Đọc thêm

Bài liên quan