Đi tới nội dung chính
System Design Lab
Real Problems

Cache hết hạn kéo sập luôn database: cache stampede

Các trang sản phẩm phổ biến cùng hết hạn, hàng trăm query giống hệt nhau đổ vào database và nó không tự hồi phục. Tái hiện lỗi, rồi sửa bằng jitter, single flight và stale-while-revalidate.

Trung cấp 5 phút đọc· Cập nhật 2026-11-18

Sau bài này bạn sẽ

  • Giải thích vì sao hết hạn đồng loạt biến một lượt miss thành quá tải.
  • Thấy vì sao quá tải có thể tự duy trì (metastable).
  • Sửa bằng TTL jitter, gộp request và stale-while-revalidate.
  • Biết những tín hiệu nào báo trước một vụ stampede.

Nên đọc trước

Triệu chứng

  • Vài phút sau khi deploy (cache trống) hoặc theo chu kỳ đều đặn, CPU database vọt lên 100% và connection pool cạn sạch.
  • Slow-query log cho thấy cùng một query xuất hiện hàng trăm lần trong một giây.
  • Tỉ lệ hit của cache rơi mạnh, rồi không lên lại dù lưu lượng vẫn bình thường.
  • Chỉ có restart ứng dụng hoặc cắt bớt lưu lượng mới cứu được.

Bối cảnh hệ thống

khi missShoppersShoppersProduct APIProduct APIRedisTTL cố định 8 sRedisProducts DBquery tổng hợp 20…Products DB
Trang sản phẩm được cache trong Redis với TTL cố định; mỗi lượt miss chạy một query tổng hợp 200 ms.

Nguyên nhân gốc

  1. Sau khi khởi động với cache trống, phần lớn key được cache trong cùng một giây — nên với TTL cố định, chúng cũng hết hạn cùng lúc.
  2. Request nào hỏi key đã hết hạn cũng miss. Không có phối hợp gì, mỗi request lại chạy cùng một query đắt đỏ: hàng chục bản trùng cho mỗi key.
  3. Database chạy được 6 query một lúc; phần còn lại xếp hàng, rồi bị từ chối hoặc timeout.
  4. Query thất bại thì không cache được gì, nên request kế tiếp lại miss. Quá tải tự duy trì dù nguyên nhân ban đầu đã qua — đó là metastable failure.

Tái hiện tương tác

Ở A các key cùng hết hạn quanh t = 11 s và database không bao giờ đuổi kịp: xem ô Query vào database và đường thất bại. B thêm TTL jitter ±30% và single flight; C trả giá trị cũ trong lúc làm mới ở chế độ nền. Bấm Xoá cache để giả lập một lần deploy bất cứ lúc nào.

Đang tải mô phỏng…

Các phương án

Kỹ thuậtNgăn được gìGhi chú
TTL jitterKey hết hạn cùng một thời điểmRẻ: ttl × random(0.8, 1.2).
Single flight / khoá theo keyQuery trùng lặp cho cùng một keyMột request dựng lại, số còn lại chờ hoặc nhận dữ liệu cũ. Dùng khoá có timeout trong Redis khi có nhiều instance.
Stale-while-revalidateNgười dùng phải chờ dựng lạiTrả giá trị cũ, làm mới ở chế độ nền; vẫn cần thời hạn cứng.
Làm mới sớm theo xác suấtChính khoảnh khắc hết hạnLàm mới trước hạn một chút với xác suất tăng dần khi gần TTL (XFetch).
Làm nóng trướcCache trống sau deployNạp sẵn các key nóng trước khi nhận lưu lượng.
Cắt tải ở databaseQuá tải tự duy trìThất bại nhanh thay vì xếp hàng; circuit breaker cho cache có thời gian nạp lại.

Cách sửa khuyến nghị

TTL ngẫu nhiên, single flight và stale-while-revalidate với Caffeine
LoadingCache<Long, ProductPage> pages = Caffeine.newBuilder()
    .maximumSize(50_000)
    // Hạn mềm: sau 8 s, entry được làm mới ở chế độ nền trong khi vẫn trả giá trị cũ.
    .refreshAfterWrite(Duration.ofSeconds(8))
    // Hạn cứng, ngẫu nhiên cho từng entry để key được cache cùng lúc không hết hạn cùng lúc.
    .expireAfter(Expiry.creating((Long id, ProductPage p) -> Duration.ofSeconds(ThreadLocalRandom.current().nextLong(10, 16))))
    .build(id -> productQueries.renderPage(id));   // các lần load được gộp: mỗi key một lần tại một thời điểm

Nâng cao Với Redis dùng chung giữa nhiều instance, single flight cần khoá phân tán (SET key:lock NX PX 2000): ai giành được khoá thì dựng lại, những người khác trả bản cũ lưu kèm bên cạnh (giữ giá trị với TTL dài hơn hạn logic của nó) hoặc thử lại sau chốc lát.

Cách kiểm chứng

  • Load test ở mức lưu lượng cao điểm, xoá cache, và kiểm tra tốc độ query vào database luôn dưới năng lực của nó.
  • Đếm số query database theo từng key mỗi giây trong lúc test — lớn hơn một nghĩa là gộp request không hoạt động.
  • Thử deploy với cache trống trên staging trước mỗi lần release lớn.

Giám sát và phòng ngừa

  • Cảnh báo khi tỉ lệ hit rơi và theo tốc độ query của từng loại query đã chuẩn hoá.
  • Theo dõi "số lần load trùng đang chạy" theo từng key ở tầng cache.
  • Giữ pool và hàng đợi của database có giới hạn để quá tải thì thất bại nhanh thay vì dồn backlog.

Bài học

  • Cache chỉ bảo vệ database khi nó đang "ấm"; hãy thiết kế cho cả những lúc nó trống.
  • Việc giống hệt nhau chỉ nên làm một lần: gộp chúng lại.
  • Hệ thống có cache có thể có hai trạng thái ổn định — hãy tính trước cách quay về từ trạng thái xấu.

Đọc thêm

Bài liên quan