10 bài học
Real Problems
Tái hiện sự cố production trong môi trường an toàn: dấu hiệu, nguyên nhân gốc, cách xử lý và cách kiểm chứng là đã xử lý xong.
Sự cố nhất quán dữ liệu
Khách bị trừ tiền hai lần: xử lý trùng message Kafka
Một dịch vụ phía sau chậm đi khiến consumer Kafka lỡ hạn poll. Group rebalance, các message thanh toán bị xử lý lại — dù chẳng có gì crash. Cách tái hiện, sửa và phòng tránh.
Sự cốĐơn hàng không có hoá đơn: event bị mất sau khi commit
Đơn hàng đã được lưu nhưng Billing không hề biết tới một số đơn. Thủ phạm: commit vào database và publish lên broker là hai bước tách rời. Tái hiện lỗi, rồi sửa bằng outbox.
Sự cốMột lần crash làm đứng cả checkout: khi two-phase commit gặp sự cố
Một instance checkout crash giữa lúc prepare và commit. Các khoá của nó vẫn bị giữ, và instance còn khoẻ cũng bắt đầu lỗi theo. Vì sao 2PC bị chặn khi có sự cố, và saga giữ thiệt hại ở một chỗ ra sao.
Sự cốKho có 100 máy mà bán ra 400: race condition trong flash sale
Một đợt flash sale bán gấp ba lượng hàng có trong kho mà không hề báo lỗi. Code kiểm tra tồn kho rồi lưu tồn kho − 1 — và hàng trăm người mua làm việc đó cùng một lúc. Tái hiện lỗi, rồi sửa cho đúng.
Sự cốRút tiền trước khi nạp: lỗi thứ tự message
Số dư tài khoản bị âm dù event nào cũng hợp lệ. Event của cùng một tài khoản bị áp dụng sai thứ tự — lần đầu vì thiếu key, lần sau vì thread pool. Cách giữ thứ tự theo key mà không phải hy sinh throughput.
Sự cốSự cố lan truyền & chịu lỗi
Lỗi dây chuyền: một service chậm kéo sập tất cả
Một service tính giá nằm cách người dùng ba tầng bỗng chậm đi. Vài giây sau, mọi service phía trên hết thread và cả trang báo lỗi. Tái hiện và khoanh vùng sự cố bằng timeout, circuit breaker và bulkhead.
Sự cốChậm mười giây, sập không dứt: timeout và bão retry
Database chỉ chậm mười giây. Retry ở ba tầng nhân tải lên nó 27 lần và sự cố kéo dài cả khi nguyên nhân đã hết. Retry khuếch đại tải ra sao, và một tầng retry, budget, jitter chặn nó thế nào.
Sự cốSự cố hiệu năng
Điểm nghẽn database khi lưu lượng tăng vọt
Một chiến dịch marketing làm traffic tăng vọt, Orders API bắt đầu timeout trong khi CPU vẫn rảnh. Thủ phạm là connection pool của database. Tái hiện và so sánh ba cách xử lý: index, read replica và cache.
Sự cốKafka consumer lag không bao giờ giảm
Consumer lag tăng cả ngày, gấp đôi số consumer cũng chẳng thay đổi gì. Hiểu vì sao số partition giới hạn mức song song, vì sao key nóng tạo ra partition chậm, và cách tính đúng số consumer.
Sự cốCache hết hạn kéo sập luôn database: cache stampede
Các trang sản phẩm phổ biến cùng hết hạn, hàng trăm query giống hệt nhau đổ vào database và nó không tự hồi phục. Tái hiện lỗi, rồi sửa bằng jitter, single flight và stale-while-revalidate.
Sự cố