Đi tới nội dung chính
System Design Lab
Microservice Patterns

Leader Election

Khi một việc phải do đúng một trong nhiều instance giống hệt nhau làm — job định kỳ, bộ điều phối, nơi ghi duy nhất — hãy cho chúng bầu leader bằng lease có hạn, và chặn leader "sống lại" bằng fencing.

Nâng cao 4 phút đọc· Cập nhật 2026-11-18

Sau bài này bạn sẽ

  • Nhận ra những việc không được chạy trên mọi bản sao.
  • Triển khai leader election dựa trên lease và hiểu thời gian failover.
  • Giải thích split brain và cách fencing token ngăn nó.
  • Chọn dịch vụ điều phối (dòng database, etcd, ZooKeeper, Kubernetes Lease).

Nên đọc trước

Tổng quan

Ở chung nhà, ai giữ chìa khoá hộp thư thì người đó lấy thư — không phải ai cũng lấy. Chìa khoá đi kèm một quy tắc: đi vắng một tuần thì phải giao lại cho người khác. Nếu không, thư hoặc chất đống, hoặc bị mở ra tới ba lần.

Scale ngang cho bạn các bản sao giống hệt nhau, nhưng có những việc phải xảy ra đúng một lần: trừ tiền thuê bao, gửi report hằng ngày, làm nơi ghi duy nhất cho một partition. Leader election giúp các bản sao thống nhất một bản chịu trách nhiệm. Cơ chế thường gặp là một lease trong kho dữ liệu nhất quán mạnh: bên giữ phải gia hạn trước khi hết hạn; nếu nó ngừng gia hạn (crash, mất kết nối), bản sao khác sẽ giành lấy.

Chạy thử

Ba bản sao billing, mỗi bản có một scheduler. So sánh ô Chu kỳ bị chạy hơn một lần khi có và không có lease, xem khoảng hở sau khi billing-1 crash lúc t = 12 s, và thử đổi độ dài lease.

Đang tải mô phỏng…

Split brain và fencing

Leader có thể bị dừng (GC, di chuyển VM) lâu hơn thời hạn lease, rồi tỉnh dậy vẫn tưởng mình là leader và hành động song song với leader mới. Vì thế mỗi lần giành lease đều trả về một fencing token — một con số chỉ tăng — và mọi tài nguyên được bảo vệ đều từ chối request có token nhỏ hơn token lớn nhất nó từng thấy.

Lease trong một dòng database, kèm fencing token
-- Giành hoặc gia hạn: chỉ thành công khi lease đang trống, đã hết hạn, hoặc đang là của mình.
UPDATE leases
   SET holder = :me, expires_at = now() + interval '10 seconds',
       token = CASE WHEN holder = :me THEN token ELSE token + 1 END
 WHERE name = 'billing' AND (holder = :me OR expires_at < now())
RETURNING token;

-- Mọi lần ghi của leader đều mang token; leader lỗi thời bị từ chối.
UPDATE billing_runs SET done = true, token = :token
 WHERE period = :period AND token <= :token;
Cách đơn giản nhất cho job định kỳ: ShedLock
@Scheduled(cron = "0 * * * * *")
@SchedulerLock(name = "chargeSubscriptions", lockAtMostFor = "50s", lockAtLeastFor = "5s")
void chargeSubscriptions() {
    billing.chargeDue();     // mỗi phút chạy trên một bản sao; vẫn nên làm nó idempotent
}

Đánh đổi

ĐượcMất
Tính đúngChạy đúng một lần cho những việc không được trùng.Cần fencing (hoặc việc idempotent) để an toàn trước leader bị dừng.
AvailabilityTự động tiếp quản khi leader chết.Không ai làm việc đó trong tối đa một chu kỳ lease sau khi crash.
Phụ thuộcĐơn giản với một dòng database hay Kubernetes Lease.Kho điều phối trở thành sống còn; nó phải nhất quán mạnh.

Lưu ý khi chạy production

  • Ưu tiên làm việc đó idempotent và chia partition; chỉ dùng leader khi bắt buộc.
  • Chọn độ dài lease từ thời gian failover chấp nhận được và thời gian dừng tệ nhất; gia hạn ở mốc một phần ba.
  • Cho biết ai đang là leader (metric hoặc chi tiết health) và cảnh báo nếu quá lâu không có leader.
  • Đừng bao giờ dùng cache nhất quán sau cùng làm kho khoá.

Đọc thêm

Bài liên quan