Đi tới nội dung chính
System Design Lab
Design to Scale

Chiến lược caching

Đặt cache trước một database đang quá tải: cache-aside hoạt động ra sao, điều gì quyết định tỉ lệ hit, giữ dữ liệu tươi thế nào, và làm sao sống sót khi cache bị xoá sạch.

Trung cấp 6 phút đọc· Cập nhật 2026-11-18

Sau bài này bạn sẽ

  • Triển khai cache-aside và suy luận về tỉ lệ hit, TTL và độ phổ biến của key.
  • So sánh cache-aside, read-through, write-through và write-behind.
  • Chọn chiến lược vô hiệu hoá cache và hiểu mức dữ liệu cũ mà nó cho phép.
  • Ngăn cache stampede bằng gộp request và TTL có jitter.

Nên đọc trước

Yêu cầu

Trang sản phẩm cần một truy vấn tốn kém (~80 ms). Database có 8 kết nối, nên phục vụ được khoảng 100 truy vấn như vậy mỗi giây. Lưu lượng là 120 lượt đọc mỗi giây và đang tăng, và một số ít sản phẩm nhận phần lớn lượt xem.

Cache giống một tờ giấy ghi chú cạnh điện thoại. Lần đầu có người hỏi số điện thoại, bạn tra danh bạ (chậm) rồi ghi vào giấy. Lần sau bạn chỉ cần đọc tờ giấy (nhanh). Tờ giấy có thể đã cũ, và nó vô dụng ngay khi bạn vứt nó đi.

Tiến hoá

Giai đoạn 1 / 3

Mọi lượt đọc đều vào database

Kiến trúc hiện tại
Product API chạy truy vấn cho mọi request.
Giới hạn
Năng lực đọc bằng năng lực database: ~100 truy vấn nặng/giây.
Điểm nghẽn
Pool 8 kết nối. Truy vấn xếp hàng, độ trễ lên tới vài giây và request thất bại.
Cải tiến
Phần lớn request hỏi cùng vài sản phẩm. Hãy giữ các câu trả lời gần đây trong bộ nhớ.
Tác động tới hiệu năng
~74% thành công ở 120 lượt đọc/giây, p95 gần 600 ms.
Độ phức tạp & chi phí vận hành
Không phải vận hành thêm gì.
Trade-off
Dữ liệu luôn mới, nhưng năng lực bị giới hạn bởi thành phần đắt nhất.
Đang tải mô phỏng…

Các pattern caching

PatternĐường đọcĐường ghiPhù hợp cho
Cache-asideỨng dụng kiểm tra cache, nạp từ DB khi miss, rồi điền vào cache.Ứng dụng ghi DB, rồi xoá key trong cache.Đa dụng; lựa chọn mặc định.
Read-throughThư viện cache tự nạp từ DB khi miss.Như cache-aside.Như cache-aside nhưng ít code ứng dụng hơn.
Write-throughLuôn đọc từ cache.Ghi cache và DB đồng bộ.Đọc-sau-ghi nhất quán; ghi chậm hơn.
Write-behindLuôn đọc từ cache.Ghi cache; đẩy xuống DB bất đồng bộ.Bộ đếm ghi nhiều; có rủi ro mất dữ liệu ghi.

Giữ cache luôn mới

  • TTL — mọi mục đều hết hạn. Đơn giản và tự lành; mức cũ bị giới hạn bởi TTL.
  • Xoá khi ghi — sau khi cập nhật database, xoá key để lượt đọc kế tiếp nạp lại. Xoá thay vì ghi đè để tránh các tiến trình ghi tranh nhau đặt lại giá trị cũ.
  • Vô hiệu hoá theo event — tiêu thụ event thay đổi (vd. từ outbox hoặc CDC) để xoá key ở các service khác.
  • Kết hợp chúng: xoá khi ghi để đúng đắn, TTL làm lưới an toàn cho những lần bỏ sót.

Triển khai với Spring Cache và Redis

ProductService.java
@Service
public class ProductService {

    private final ProductRepository products;

    ProductService(ProductRepository products) {
        this.products = products;
    }

    // sync = true: các miss đồng thời của cùng key trong JVM này chờ chung một lần nạp (gộp request).
    @Cacheable(cacheNames = "product-page", key = "#id", sync = true)
    public ProductPage page(String id) {
        return products.loadPage(id);           // truy vấn tốn kém
    }

    @CacheEvict(cacheNames = "product-page", key = "#command.id()")
    @Transactional
    public void update(UpdateProduct command) {
        products.update(command);               // ghi DB, rồi xoá key
    }
}
application.yml
spring:
  cache:
    type: redis
    redis:
      time-to-live: 10s
      cache-null-values: false
  data:
    redis:
      host: redis
      port: 6379

Nâng cao sync = true chỉ gộp các miss bên trong một instance; với 20 instance bạn vẫn có thể có 20 lần nạp đồng thời cho mỗi key. Với key rất tốn kém, hãy thêm một khoá phân tán ngắn hạn, phục vụ giá trị cũ trong lúc một bên làm mới (stale-while-revalidate), hoặc chủ động làm mới key nóng trước khi hết hạn. Ngẫu nhiên hoá TTL (vd. 10 s ± 20%) để các key được ghi cùng lúc không hết hạn cùng lúc.

Đánh đổi

ĐượcMất
Năng lựcLượt đọc mở rộng theo cache, không theo database.Database vẫn phải sống sót khi cache nguội.
Độ mớiBị giới hạn bởi TTL và việc vô hiệu hoá.Người đọc có thể thấy dữ liệu cũ; có những dữ liệu không bao giờ được cache.
Độ phức tạpCache-aside chỉ vài dòng code.Vô hiệu hoá cache giữa các service thực sự khó.

Lưu ý khi chạy production

  • Giám sát tỉ lệ hit, số lần loại bỏ (eviction) và bộ nhớ. Tỉ lệ hit giảm thường là dấu hiệu đầu tiên của bug thiết kế key.
  • Đừng để cache thành bản duy nhất của dữ liệu trừ khi bạn chấp nhận mất nó.
  • Coi một lần cache sập là bài kiểm tra tải cho database — hãy định cỡ database, hoặc giảm tải, cho phù hợp.

Đọc thêm

Bài liên quan