Design to Scale
Chiến lược caching
Đặt cache trước một database đang quá tải: cache-aside hoạt động ra sao, điều gì quyết định tỉ lệ hit, giữ dữ liệu tươi thế nào, và làm sao sống sót khi cache bị xoá sạch.
Sau bài này bạn sẽ
- Triển khai cache-aside và suy luận về tỉ lệ hit, TTL và độ phổ biến của key.
- So sánh cache-aside, read-through, write-through và write-behind.
- Chọn chiến lược vô hiệu hoá cache và hiểu mức dữ liệu cũ mà nó cho phép.
- Ngăn cache stampede bằng gộp request và TTL có jitter.
Nên đọc trước
Yêu cầu
Trang sản phẩm cần một truy vấn tốn kém (~80 ms). Database có 8 kết nối, nên phục vụ được khoảng 100 truy vấn như vậy mỗi giây. Lưu lượng là 120 lượt đọc mỗi giây và đang tăng, và một số ít sản phẩm nhận phần lớn lượt xem.
Cache giống một tờ giấy ghi chú cạnh điện thoại. Lần đầu có người hỏi số điện thoại, bạn tra danh bạ (chậm) rồi ghi vào giấy. Lần sau bạn chỉ cần đọc tờ giấy (nhanh). Tờ giấy có thể đã cũ, và nó vô dụng ngay khi bạn vứt nó đi.
Tiến hoá
Mọi lượt đọc đều vào database
- Kiến trúc hiện tại
- Product API chạy truy vấn cho mọi request.
- Giới hạn
- Năng lực đọc bằng năng lực database: ~100 truy vấn nặng/giây.
- Điểm nghẽn
- Pool 8 kết nối. Truy vấn xếp hàng, độ trễ lên tới vài giây và request thất bại.
- Cải tiến
- Phần lớn request hỏi cùng vài sản phẩm. Hãy giữ các câu trả lời gần đây trong bộ nhớ.
- Tác động tới hiệu năng
- ~74% thành công ở 120 lượt đọc/giây, p95 gần 600 ms.
- Độ phức tạp & chi phí vận hành
- Không phải vận hành thêm gì.
- Trade-off
- Dữ liệu luôn mới, nhưng năng lực bị giới hạn bởi thành phần đắt nhất.
Các pattern caching
| Pattern | Đường đọc | Đường ghi | Phù hợp cho |
|---|---|---|---|
| Cache-aside | Ứng dụng kiểm tra cache, nạp từ DB khi miss, rồi điền vào cache. | Ứng dụng ghi DB, rồi xoá key trong cache. | Đa dụng; lựa chọn mặc định. |
| Read-through | Thư viện cache tự nạp từ DB khi miss. | Như cache-aside. | Như cache-aside nhưng ít code ứng dụng hơn. |
| Write-through | Luôn đọc từ cache. | Ghi cache và DB đồng bộ. | Đọc-sau-ghi nhất quán; ghi chậm hơn. |
| Write-behind | Luôn đọc từ cache. | Ghi cache; đẩy xuống DB bất đồng bộ. | Bộ đếm ghi nhiều; có rủi ro mất dữ liệu ghi. |
Giữ cache luôn mới
- TTL — mọi mục đều hết hạn. Đơn giản và tự lành; mức cũ bị giới hạn bởi TTL.
- Xoá khi ghi — sau khi cập nhật database, xoá key để lượt đọc kế tiếp nạp lại. Xoá thay vì ghi đè để tránh các tiến trình ghi tranh nhau đặt lại giá trị cũ.
- Vô hiệu hoá theo event — tiêu thụ event thay đổi (vd. từ outbox hoặc CDC) để xoá key ở các service khác.
- Kết hợp chúng: xoá khi ghi để đúng đắn, TTL làm lưới an toàn cho những lần bỏ sót.
Triển khai với Spring Cache và Redis
@Service
public class ProductService {
private final ProductRepository products;
ProductService(ProductRepository products) {
this.products = products;
}
// sync = true: các miss đồng thời của cùng key trong JVM này chờ chung một lần nạp (gộp request).
@Cacheable(cacheNames = "product-page", key = "#id", sync = true)
public ProductPage page(String id) {
return products.loadPage(id); // truy vấn tốn kém
}
@CacheEvict(cacheNames = "product-page", key = "#command.id()")
@Transactional
public void update(UpdateProduct command) {
products.update(command); // ghi DB, rồi xoá key
}
}spring:
cache:
type: redis
redis:
time-to-live: 10s
cache-null-values: false
data:
redis:
host: redis
port: 6379Nâng cao sync = true chỉ gộp các miss bên trong một instance; với 20 instance bạn vẫn có thể có 20 lần nạp đồng thời cho mỗi key. Với key rất tốn kém, hãy thêm một khoá phân tán ngắn hạn, phục vụ giá trị cũ trong lúc một bên làm mới (stale-while-revalidate), hoặc chủ động làm mới key nóng trước khi hết hạn. Ngẫu nhiên hoá TTL (vd. 10 s ± 20%) để các key được ghi cùng lúc không hết hạn cùng lúc.
Đánh đổi
| Được | Mất | |
|---|---|---|
| Năng lực | Lượt đọc mở rộng theo cache, không theo database. | Database vẫn phải sống sót khi cache nguội. |
| Độ mới | Bị giới hạn bởi TTL và việc vô hiệu hoá. | Người đọc có thể thấy dữ liệu cũ; có những dữ liệu không bao giờ được cache. |
| Độ phức tạp | Cache-aside chỉ vài dòng code. | Vô hiệu hoá cache giữa các service thực sự khó. |
Lưu ý khi chạy production
- Giám sát tỉ lệ hit, số lần loại bỏ (eviction) và bộ nhớ. Tỉ lệ hit giảm thường là dấu hiệu đầu tiên của bug thiết kế key.
- Đừng để cache thành bản duy nhất của dữ liệu trừ khi bạn chấp nhận mất nó.
- Coi một lần cache sập là bài kiểm tra tải cho database — hãy định cỡ database, hoặc giảm tải, cho phù hợp.