Đi tới nội dung chính
System Design Lab

10 bài học

Real Problems

Tái hiện sự cố production trong môi trường an toàn: dấu hiệu, nguyên nhân gốc, cách xử lý và cách kiểm chứng là đã xử lý xong.

Sự cố nhất quán dữ liệu

Trung cấp 5 phút đọc

Khách bị trừ tiền hai lần: xử lý trùng message Kafka

Một dịch vụ phía sau chậm đi khiến consumer Kafka lỡ hạn poll. Group rebalance, các message thanh toán bị xử lý lại — dù chẳng có gì crash. Cách tái hiện, sửa và phòng tránh.

Sự cố
Trung cấp 5 phút đọc

Đơn hàng không có hoá đơn: event bị mất sau khi commit

Đơn hàng đã được lưu nhưng Billing không hề biết tới một số đơn. Thủ phạm: commit vào database và publish lên broker là hai bước tách rời. Tái hiện lỗi, rồi sửa bằng outbox.

Sự cố
Nâng cao 5 phút đọc

Một lần crash làm đứng cả checkout: khi two-phase commit gặp sự cố

Một instance checkout crash giữa lúc prepare và commit. Các khoá của nó vẫn bị giữ, và instance còn khoẻ cũng bắt đầu lỗi theo. Vì sao 2PC bị chặn khi có sự cố, và saga giữ thiệt hại ở một chỗ ra sao.

Sự cố
Trung cấp 4 phút đọc

Kho có 100 máy mà bán ra 400: race condition trong flash sale

Một đợt flash sale bán gấp ba lượng hàng có trong kho mà không hề báo lỗi. Code kiểm tra tồn kho rồi lưu tồn kho − 1 — và hàng trăm người mua làm việc đó cùng một lúc. Tái hiện lỗi, rồi sửa cho đúng.

Sự cố
Trung cấp 5 phút đọc

Rút tiền trước khi nạp: lỗi thứ tự message

Số dư tài khoản bị âm dù event nào cũng hợp lệ. Event của cùng một tài khoản bị áp dụng sai thứ tự — lần đầu vì thiếu key, lần sau vì thread pool. Cách giữ thứ tự theo key mà không phải hy sinh throughput.

Sự cố

Sự cố lan truyền & chịu lỗi

Sự cố hiệu năng