Microservice Patterns
Claim Check
Giữ payload lớn ngoài message bus: lưu nó vào blob storage và chỉ gửi một token nhỏ trỏ tới đó, để broker luôn nhanh, rẻ và nằm trong giới hạn kích thước.
Sau bài này bạn sẽ
- Giải thích vì sao message lớn làm khổ broker.
- Áp dụng luồng claim check: lưu, gửi token, lấy về.
- Xử lý vòng đời, bảo mật và lỗi của payload.
- Biết khi nào để payload ngay trong message vẫn ổn.
Nên đọc trước
Tổng quan
Ở quầy gửi đồ, bạn gửi chiếc áo khoác nặng và nhận lại một tấm vé nhỏ có số. Bạn cầm vé chứ không cầm áo; ai có vé thì sau này lấy được áo.
Broker được thiết kế cho rất nhiều message nhỏ. Payload lớn — bản scan, video, tài liệu JSON to — chạm giới hạn kích thước (mặc định thường 256 KB–1 MB), làm replication chậm và ngốn bộ nhớ, băng thông ở mỗi chặng. Với claim check, producer lưu payload vào object storage và chỉ publish một message nhỏ chứa vị trí của nó; consumer lấy payload về khi cần.
Chạy thử
Máy quét tải lên tài liệu 5 MB. So sánh ô Message bus bận và độ trễ khi payload đi qua bus (A) và khi chỉ có token claim đi qua (B). Thử tăng lưu lượng ở cả hai.
Triển khai
public void submit(Scan scan) {
String key = "scans/" + scan.id() + ".pdf";
s3.putObject(PutObjectRequest.builder().bucket("scans").key(key).build(), RequestBody.fromBytes(scan.bytes()));
kafka.send("scans", scan.id(), new ScanUploaded(scan.id(), "s3://scans/" + key, scan.bytes().length, sha256(scan.bytes())));
}
@KafkaListener(topics = "scans", groupId = "ocr")
void on(ScanUploaded event) {
byte[] pdf = s3.getObjectAsBytes(b -> b.bucket("scans").key(keyOf(event.location()))).asByteArray();
verifyChecksum(pdf, event.sha256());
ocr.process(event.scanId(), pdf);
}- Thứ tự ghi: lưu payload trước, rồi mới publish — token không bao giờ được trỏ vào chỗ trống.
- Vòng đời: xoá hoặc cho payload hết hạn khi mọi consumer đã xong (luật vòng đời của storage, hoặc TTL dài hơn thời gian giữ của topic).
- Bảo mật: consumer cần quyền đọc storage; dùng URL có chữ ký ngắn hạn (valet key) khi consumer ở bên ngoài.
- Toàn vẹn: đưa kích thước và checksum vào token.
Đánh đổi
| Được | Mất | |
|---|---|---|
| Broker | Message nhỏ, nhanh; trong giới hạn kích thước; lưu giữ và replicate rẻ hơn. | Broker không còn đảm bảo payload tồn tại — storage mới đảm bảo. |
| Độ trễ | Độ trễ của bus vẫn thấp dù lưu lượng payload nặng. | Thêm một lượt đi về storage khi ghi và khi đọc. |
| Vận hành | Object storage scale rẻ cho dữ liệu lớn. | Hai hệ thống phải bảo mật, giám sát và dọn dẹp nhất quán. |
Lưu ý khi chạy production
- Giám sát payload mồ côi (đã lưu mà không ai tham chiếu) và token treo (được tham chiếu mà payload đã mất).
- Giữ dữ liệu cá nhân trong storage có mã hoá và ghi log truy cập; bản thân token không được tiết lộ gì.
- Replay message cũ đòi hỏi payload vẫn còn — hãy khớp thời gian lưu giữ.
- Consumer chỉ cần metadata có thể bỏ qua hẳn việc lấy payload.