Real Problems
Một lần crash làm đứng cả checkout: khi two-phase commit gặp sự cố
Một instance checkout crash giữa lúc prepare và commit. Các khoá của nó vẫn bị giữ, và instance còn khoẻ cũng bắt đầu lỗi theo. Vì sao 2PC bị chặn khi có sự cố, và saga giữ thiệt hại ở một chỗ ra sao.
Sau bài này bạn sẽ
- Giải thích hai pha prepare và commit của two-phase commit.
- Tái hiện vấn đề bị chặn: transaction ở trạng thái in-doubt vẫn giữ khoá.
- So sánh 2PC với saga gồm các local transaction khi gặp cùng một lần crash.
- Chọn cách giám sát để lộ ra transaction in-doubt và thời gian chờ khoá.
Nên đọc trước
Triệu chứng
- Một pod checkout bị Kubernetes restart. Vài giây sau, checkout trên *các pod khác* cũng bắt đầu lỗi.
- Log của Inventory và Payment đầy
lock wait timeout exceeded. pg_prepared_xactscho thấy những transaction chưa commit mà cũng chưa rollback.- Lỗi chỉ dừng khi pod bị crash sống lại và giải quyết xong các transaction của nó.
Bối cảnh hệ thống
Ở pha 1, coordinator yêu cầu mọi participant prepare: mỗi bên khoá các dòng, ghi thay đổi xuống đĩa và vote yes hoặc no. Ở pha 2, nếu tất cả vote yes, coordinator bảo mọi người commit; ngược lại thì abort. Participant nào đã vote yes thì mất quyền tự quyết.
Nguyên nhân gốc
- Instance 1 crash sau khi các participant đã prepare nhưng trước khi nó kịp gửi commit.
- Các participant rơi vào trạng thái in-doubt: không dám commit (biết đâu có bên vote no) mà cũng không dám abort (biết đâu coordinator đã bảo bên khác commit rồi). Vậy nên chúng cứ giữ khoá.
- Những sản phẩm bán chạy nhất nằm trong số dòng bị khoá. Transaction của instance 2 xếp hàng chờ đúng những khoá đó, chờ quá lock timeout và vote no.
- Chỉ khi instance 1 phục hồi và đọc lại log, nó mới giải quyết các transaction in-doubt (mặc định abort) và nhả khoá.
Tái hiện tương tác
A là mốc chuẩn khi mọi thứ ổn. Ở B, instance 1 crash lúc t = 8 s giữa chừng transaction và nằm im 12 s: xem ô Dòng đang bị khoá ở Inventory đứng yên và Instance 2: thất bại tăng dần dù instance 2 chẳng hề crash. C chạy cùng lần crash đó nhưng dùng saga.
Các phương án
| Phương án | Tác dụng | Cái giá |
|---|---|---|
| Giảm lock timeout | Instance khoẻ thất bại nhanh hơn | Không nhả được khoá in-doubt; thêm nhiều việc bị abort. |
| Coordinator high availability (log được replicate) | Phục hồi trong vài giây thay vì vài phút | Vận hành phức tạp; vẫn bị chặn trong lúc failover. |
| Commit/rollback thủ công (heuristic) | Gỡ chặn ngay | Có rủi ro mất nhất quán; cần người trực xử lý. |
| Saga gồm các local transaction | Không có khoá xuyên service; sự cố chỉ nằm ở một chỗ | Trạng thái trung gian bị lộ ra; phải thiết kế bước bù trừ. |
Cách sửa khuyến nghị
Giữa các service, thay 2PC bằng Saga: mỗi bước là một local transaction commit ngay, còn khi có lỗi thì chạy các bước bù trừ (nhả hàng, hoàn tiền). Không có khoá nào bị giữ giữa các bước, nên orchestrator bị crash chỉ ảnh hưởng tới những saga đang chạy của chính nó — và nó sẽ tiếp tục chúng từ log khi sống lại.
-- Bước 1 (Inventory, local transaction): giữ chỗ có hạn thay vì giữ khoá.
UPDATE stock SET reserved = reserved + :qty
WHERE sku = :sku AND available - reserved >= :qty;
INSERT INTO reservations(id, sku, qty, expires_at) VALUES (:sagaId, :sku, :qty, now() + interval '15 minutes');
-- Bước 2 (Payment): trừ tiền thẻ. Nếu lỗi, orchestrator chạy bước bù trừ:
UPDATE stock SET reserved = reserved - :qty WHERE sku = :sku;
DELETE FROM reservations WHERE id = :sagaId;
-- Một job dọn dẹp nhả những chỗ giữ mà saga không bao giờ chạy xong — phiên bản không khoá của "in-doubt".Nâng cao 2PC vẫn ổn *bên trong* một cụm database, hoặc giữa hai tài nguyên bạn kiểm soát hoàn toàn với coordinator high availability (ví dụ Kafka transaction, Spanner). Vấn đề là kéo nó ra xuyên các service được deploy độc lập, nơi bất kỳ participant hay coordinator nào cũng có thể biến mất bất cứ lúc nào.
Cách kiểm chứng
- Kill một instance orchestrator khi đang có tải; tỉ lệ thành công ở các instance còn lại không được giảm.
- Chèn lỗi vào từng bước của saga và kiểm tra các bước bù trừ để lại tồn kho và thanh toán cân bằng.
- Kiểm tra các chỗ giữ hết hạn được nhả ra trong chu kỳ của job dọn dẹp.
Giám sát và phòng ngừa
- Cảnh báo khi có prepared transaction tồn tại quá vài giây (
pg_prepared_xacts, danh sách XA recover). - Theo dõi thời gian chờ khoá và số lần lock timeout theo từng bảng.
- Với saga: đếm số saga bị kẹt và số lần bù trừ mỗi giờ.
Bài học
- Giao thức giữ khoá qua mạng biến một lần crash thành sự cố chung của mọi người.
- Giữa các service, ưu tiên commit cục bộ kèm bù trừ thay vì khoá toàn cục.
- Thiết kế cho các trạng thái trung gian (đã giữ chỗ, đang chờ) thay vì giả vờ chúng không tồn tại.