Real Problems
Cache hết hạn kéo sập luôn database: cache stampede
Các trang sản phẩm phổ biến cùng hết hạn, hàng trăm query giống hệt nhau đổ vào database và nó không tự hồi phục. Tái hiện lỗi, rồi sửa bằng jitter, single flight và stale-while-revalidate.
Trung cấp 5 phút đọc· Cập nhật 2026-11-18
Sau bài này bạn sẽ
- Giải thích vì sao hết hạn đồng loạt biến một lượt miss thành quá tải.
- Thấy vì sao quá tải có thể tự duy trì (metastable).
- Sửa bằng TTL jitter, gộp request và stale-while-revalidate.
- Biết những tín hiệu nào báo trước một vụ stampede.
Nên đọc trước
Triệu chứng
- Vài phút sau khi deploy (cache trống) hoặc theo chu kỳ đều đặn, CPU database vọt lên 100% và connection pool cạn sạch.
- Slow-query log cho thấy cùng một query xuất hiện hàng trăm lần trong một giây.
- Tỉ lệ hit của cache rơi mạnh, rồi không lên lại dù lưu lượng vẫn bình thường.
- Chỉ có restart ứng dụng hoặc cắt bớt lưu lượng mới cứu được.
Bối cảnh hệ thống
Nguyên nhân gốc
- Sau khi khởi động với cache trống, phần lớn key được cache trong cùng một giây — nên với TTL cố định, chúng cũng hết hạn cùng lúc.
- Request nào hỏi key đã hết hạn cũng miss. Không có phối hợp gì, mỗi request lại chạy cùng một query đắt đỏ: hàng chục bản trùng cho mỗi key.
- Database chạy được 6 query một lúc; phần còn lại xếp hàng, rồi bị từ chối hoặc timeout.
- Query thất bại thì không cache được gì, nên request kế tiếp lại miss. Quá tải tự duy trì dù nguyên nhân ban đầu đã qua — đó là metastable failure.
Tái hiện tương tác
Ở A các key cùng hết hạn quanh t = 11 s và database không bao giờ đuổi kịp: xem ô Query vào database và đường thất bại. B thêm TTL jitter ±30% và single flight; C trả giá trị cũ trong lúc làm mới ở chế độ nền. Bấm Xoá cache để giả lập một lần deploy bất cứ lúc nào.
Đang tải mô phỏng…
Các phương án
| Kỹ thuật | Ngăn được gì | Ghi chú |
|---|---|---|
| TTL jitter | Key hết hạn cùng một thời điểm | Rẻ: ttl × random(0.8, 1.2). |
| Single flight / khoá theo key | Query trùng lặp cho cùng một key | Một request dựng lại, số còn lại chờ hoặc nhận dữ liệu cũ. Dùng khoá có timeout trong Redis khi có nhiều instance. |
| Stale-while-revalidate | Người dùng phải chờ dựng lại | Trả giá trị cũ, làm mới ở chế độ nền; vẫn cần thời hạn cứng. |
| Làm mới sớm theo xác suất | Chính khoảnh khắc hết hạn | Làm mới trước hạn một chút với xác suất tăng dần khi gần TTL (XFetch). |
| Làm nóng trước | Cache trống sau deploy | Nạp sẵn các key nóng trước khi nhận lưu lượng. |
| Cắt tải ở database | Quá tải tự duy trì | Thất bại nhanh thay vì xếp hàng; circuit breaker cho cache có thời gian nạp lại. |
Cách sửa khuyến nghị
LoadingCache<Long, ProductPage> pages = Caffeine.newBuilder()
.maximumSize(50_000)
// Hạn mềm: sau 8 s, entry được làm mới ở chế độ nền trong khi vẫn trả giá trị cũ.
.refreshAfterWrite(Duration.ofSeconds(8))
// Hạn cứng, ngẫu nhiên cho từng entry để key được cache cùng lúc không hết hạn cùng lúc.
.expireAfter(Expiry.creating((Long id, ProductPage p) -> Duration.ofSeconds(ThreadLocalRandom.current().nextLong(10, 16))))
.build(id -> productQueries.renderPage(id)); // các lần load được gộp: mỗi key một lần tại một thời điểmNâng cao Với Redis dùng chung giữa nhiều instance, single flight cần khoá phân tán (SET key:lock NX PX 2000): ai giành được khoá thì dựng lại, những người khác trả bản cũ lưu kèm bên cạnh (giữ giá trị với TTL dài hơn hạn logic của nó) hoặc thử lại sau chốc lát.
Cách kiểm chứng
- Load test ở mức lưu lượng cao điểm, xoá cache, và kiểm tra tốc độ query vào database luôn dưới năng lực của nó.
- Đếm số query database theo từng key mỗi giây trong lúc test — lớn hơn một nghĩa là gộp request không hoạt động.
- Thử deploy với cache trống trên staging trước mỗi lần release lớn.
Giám sát và phòng ngừa
- Cảnh báo khi tỉ lệ hit rơi và theo tốc độ query của từng loại query đã chuẩn hoá.
- Theo dõi "số lần load trùng đang chạy" theo từng key ở tầng cache.
- Giữ pool và hàng đợi của database có giới hạn để quá tải thì thất bại nhanh thay vì dồn backlog.
Bài học
- Cache chỉ bảo vệ database khi nó đang "ấm"; hãy thiết kế cho cả những lúc nó trống.
- Việc giống hệt nhau chỉ nên làm một lần: gộp chúng lại.
- Hệ thống có cache có thể có hai trạng thái ổn định — hãy tính trước cách quay về từ trạng thái xấu.
Đọc thêm
Bài liên quan
Design to Scale
Chiến lược caching
Đặt cache trước một database đang quá tải: cache-aside hoạt động ra sao, điều gì quyết định tỉ lệ hit, giữ dữ liệu tươi thế nào, và làm sao sống sót khi cache bị xoá sạch.
Design to Scale
Cache Invalidation
Quyết định cách để bản sao trong cache biết database đã thay đổi — chờ TTL, xoá khi ghi, hay write-through — và đo xem dữ liệu người dùng thấy thực sự cũ tới mức nào.
Real Problems
Điểm nghẽn database khi lưu lượng tăng vọt
Một chiến dịch marketing làm traffic tăng vọt, Orders API bắt đầu timeout trong khi CPU vẫn rảnh. Thủ phạm là connection pool của database. Tái hiện và so sánh ba cách xử lý: index, read replica và cache.
Real Problems
Lỗi dây chuyền: một service chậm kéo sập tất cả
Một service tính giá nằm cách người dùng ba tầng bỗng chậm đi. Vài giây sau, mọi service phía trên hết thread và cả trang báo lỗi. Tái hiện và khoanh vùng sự cố bằng timeout, circuit breaker và bulkhead.