Microservice Patterns
Leader Election
Khi một việc phải do đúng một trong nhiều instance giống hệt nhau làm — job định kỳ, bộ điều phối, nơi ghi duy nhất — hãy cho chúng bầu leader bằng lease có hạn, và chặn leader "sống lại" bằng fencing.
Sau bài này bạn sẽ
- Nhận ra những việc không được chạy trên mọi bản sao.
- Triển khai leader election dựa trên lease và hiểu thời gian failover.
- Giải thích split brain và cách fencing token ngăn nó.
- Chọn dịch vụ điều phối (dòng database, etcd, ZooKeeper, Kubernetes Lease).
Nên đọc trước
Tổng quan
Ở chung nhà, ai giữ chìa khoá hộp thư thì người đó lấy thư — không phải ai cũng lấy. Chìa khoá đi kèm một quy tắc: đi vắng một tuần thì phải giao lại cho người khác. Nếu không, thư hoặc chất đống, hoặc bị mở ra tới ba lần.
Scale ngang cho bạn các bản sao giống hệt nhau, nhưng có những việc phải xảy ra đúng một lần: trừ tiền thuê bao, gửi report hằng ngày, làm nơi ghi duy nhất cho một partition. Leader election giúp các bản sao thống nhất một bản chịu trách nhiệm. Cơ chế thường gặp là một lease trong kho dữ liệu nhất quán mạnh: bên giữ phải gia hạn trước khi hết hạn; nếu nó ngừng gia hạn (crash, mất kết nối), bản sao khác sẽ giành lấy.
Chạy thử
Ba bản sao billing, mỗi bản có một scheduler. So sánh ô Chu kỳ bị chạy hơn một lần khi có và không có lease, xem khoảng hở sau khi billing-1 crash lúc t = 12 s, và thử đổi độ dài lease.
Split brain và fencing
Leader có thể bị dừng (GC, di chuyển VM) lâu hơn thời hạn lease, rồi tỉnh dậy vẫn tưởng mình là leader và hành động song song với leader mới. Vì thế mỗi lần giành lease đều trả về một fencing token — một con số chỉ tăng — và mọi tài nguyên được bảo vệ đều từ chối request có token nhỏ hơn token lớn nhất nó từng thấy.
-- Giành hoặc gia hạn: chỉ thành công khi lease đang trống, đã hết hạn, hoặc đang là của mình.
UPDATE leases
SET holder = :me, expires_at = now() + interval '10 seconds',
token = CASE WHEN holder = :me THEN token ELSE token + 1 END
WHERE name = 'billing' AND (holder = :me OR expires_at < now())
RETURNING token;
-- Mọi lần ghi của leader đều mang token; leader lỗi thời bị từ chối.
UPDATE billing_runs SET done = true, token = :token
WHERE period = :period AND token <= :token;@Scheduled(cron = "0 * * * * *")
@SchedulerLock(name = "chargeSubscriptions", lockAtMostFor = "50s", lockAtLeastFor = "5s")
void chargeSubscriptions() {
billing.chargeDue(); // mỗi phút chạy trên một bản sao; vẫn nên làm nó idempotent
}Đánh đổi
| Được | Mất | |
|---|---|---|
| Tính đúng | Chạy đúng một lần cho những việc không được trùng. | Cần fencing (hoặc việc idempotent) để an toàn trước leader bị dừng. |
| Availability | Tự động tiếp quản khi leader chết. | Không ai làm việc đó trong tối đa một chu kỳ lease sau khi crash. |
| Phụ thuộc | Đơn giản với một dòng database hay Kubernetes Lease. | Kho điều phối trở thành sống còn; nó phải nhất quán mạnh. |
Lưu ý khi chạy production
- Ưu tiên làm việc đó idempotent và chia partition; chỉ dùng leader khi bắt buộc.
- Chọn độ dài lease từ thời gian failover chấp nhận được và thời gian dừng tệ nhất; gia hạn ở mốc một phần ba.
- Cho biết ai đang là leader (metric hoặc chi tiết health) và cảnh báo nếu quá lâu không có leader.
- Đừng bao giờ dùng cache nhất quán sau cùng làm kho khoá.