Case Studies
Thiết kế hệ thống thông báo
Gửi push, SMS và email ở quy mô lớn mà không để một đợt marketing làm trễ mã đăng nhập. Từ lời gọi đồng bộ tới hàng đợi, worker và lane ưu tiên, kèm retry, tuỳ chọn người dùng và chống trùng.
Trung cấp 6 phút đọc· Cập nhật 2026-11-18
Sau bài này bạn sẽ
- Tách việc nhận yêu cầu thông báo khỏi việc giao nó.
- Bảo vệ thông báo gấp khỏi lưu lượng hàng loạt bằng lane ưu tiên.
- Xử lý lỗi của nhà cung cấp bằng retry, dead letter và idempotency.
- Tôn trọng tuỳ chọn người dùng, giờ yên tĩnh và rate limit của từng kênh.
Nên đọc trước
Yêu cầu
- Chức năng: các service yêu cầu gửi thông báo cho một người dùng (mã đăng nhập, đơn đã giao, marketing); hệ thống render template, chọn kênh (push, SMS, email) theo tuỳ chọn của người dùng, rồi giao đi.
- Phi chức năng: tin gấp (mã đăng nhập, cảnh báo bảo mật) tới trong vài giây; không thông báo nào bị mất; người dùng không bao giờ bị spam tin trùng; chiến dịch hàng loạt không được làm hại lưu lượng gấp.
- Ràng buộc: nhà cung cấp bên thứ ba (APNs/FCM, cổng SMS, dịch vụ email) chậm, bị giới hạn tốc độ và thỉnh thoảng sập.
Ước lượng nhanh
| Đại lượng | Giả định | Kết quả |
|---|---|---|
| Giao dịch | 10 triệu người dùng, ~5 tin mỗi người mỗi ngày | ~600/giây trung bình, tăng vọt gấp 5 |
| Chiến dịch | Gửi hàng loạt tới 10 triệu người dùng | 10 triệu tin cần gửi xong trong ~1 giờ (~2.800/giây) |
| Độ trễ nhà cung cấp | 100 ms (push) tới 1 s (SMS) | Số lượt gửi đang chạy = tốc độ × độ trễ (hàng nghìn cùng lúc) |
| Dung lượng | ~1 KB mỗi bản ghi thông báo, 90 ngày | ~5 TB, phần lớn là dữ liệu nguội |
Thiết kế tổng quan
- Notification API kiểm tra request, xem tuỳ chọn và giờ yên tĩnh, lưu bản ghi thông báo và xếp mỗi kênh một message vào hàng đợi — rồi trả
202 Accepted. - Hàng đợi theo mức ưu tiên và theo kênh làm bộ đệm cho công việc (queue-based load leveling).
- Worker gửi (competing consumers) render và gọi nhà cung cấp, có rate limit và retry theo từng nhà cung cấp.
- Trạng thái giao (đã gửi, đã tới, lỗi, đã mở) chảy ngược về bản ghi qua callback của nhà cung cấp.
Tiến hoá thiết kế
Tại t = 10 s marketing tung một chiến dịch 1.600 tin trong khi người dùng vẫn liên tục xin mã đăng nhập. Xem mỗi phiên bản làm gì với các mã đó.
Giai đoạn 1 / 3
Gửi ngay trong request API
- Kiến trúc hiện tại
- API gọi nhà cung cấp và chỉ trả lời khi tin đã gửi xong.
- Giới hạn
- Thread API bị giữ suốt độ trễ của nhà cung cấp; throughput = số thread ÷ độ trễ.
- Điểm nghẽn
- Thread pool của API: chiến dịch lấp đầy nó, mã đăng nhập chậm quá một giây và một số bị từ chối.
- Cải tiến
- Nhận nhanh và giao ở chế độ nền.
- Tác động tới hiệu năng
- Phần lớn tin chiến dịch lỗi; p95 mã đăng nhập > 1 s kèm lỗi.
- Độ phức tạp & chi phí vận hành
- Không thêm hạ tầng nào.
- Trade-off
- Đơn giản, nhưng mọi nhà cung cấp chậm đều thành sự cố của bạn.
Đang tải mô phỏng…
Đi sâu
- Cảm giác "đúng một lần": hàng đợi giao ít nhất một lần, nên mỗi thông báo cần một id và worker phải idempotent (bỏ qua id đã gửi); truyền id đó cho nhà cung cấp nào hỗ trợ idempotency key.
- Lỗi: retry lỗi thoáng qua của nhà cung cấp kèm backoff, chuyển lỗi vĩnh viễn vào dead-letter queue, và failover sang nhà cung cấp thứ hai cho các kênh quan trọng.
- Giới hạn của nhà cung cấp: áp rate limiting theo từng tài khoản nhà cung cấp để worker không bị bóp tốc độ hay bị chặn.
- Trải nghiệm người dùng: tôn trọng việc huỷ đăng ký và giờ yên tĩnh, gộp tin trùng ("5 tin nhắn mới" thay vì 5 lần push), và cho tin hết hạn khi đến muộn là vô dụng (mã đăng nhập sau 5 phút).
Đánh đổi
| Được | Mất | |
|---|---|---|
| Bất đồng bộ | API luôn nhanh và nhà cung cấp có lỗi cũng không làm mất request. | Bên gọi biết trạng thái giao muộn hơn, qua callback hoặc hỏi định kỳ. |
| Ưu tiên | Tin gấp tới trong vài giây dù có chiến dịch nào đang chạy. | Thêm hàng đợi và phải lập kế hoạch năng lực cho từng lane. |
| Ít nhất một lần | Không gì bị âm thầm đánh rơi. | Bắt buộc phải chống trùng để không gửi hai lần. |
Checklist khi phỏng vấn
- Tách nhận yêu cầu khỏi giao tin, và giải thích lý do (nhà cung cấp chậm, chập chờn).
- Ưu tiên tin giao dịch hơn tin hàng loạt; nhắc tới rate limit theo từng nhà cung cấp.
- Nói về retry, DLQ, idempotency và failover nhà cung cấp.
- Nhắc tới tuỳ chọn người dùng, giờ yên tĩnh, template và theo dõi trạng thái giao.
Đọc thêm
Bài liên quan
Microservice Patterns
San tải bằng hàng đợi
Đặt một queue giữa phía gửi request dồn dập và một hệ thống không scale được, để hệ thống đó chạy đều ở mức chịu được trong khi queue gánh các đợt cao điểm.
Microservice Patterns
Priority Queue
Cho việc gấp vượt lên trước việc thường trong hàng đợi — bằng lane ưu tiên hoặc queue và consumer riêng — để một đợt batch ồ ạt không bao giờ bắt người dùng tương tác phải chờ, mà batch cũng không bị bỏ đói mãi.
Microservice Patterns
Competing Consumers
Cho nhiều worker cùng lấy việc từ một queue để throughput tăng theo số worker — và hiểu rõ cái giá: mất thứ tự xử lý và có thể xử lý trùng.
Microservice Patterns
Dead Letter Queue
Sau vài lần xử lý lỗi, đưa message sang một queue riêng, để một poison message không chặn hay ngốn consumer mãi — sửa lỗi xong thì đưa chúng quay lại.
Microservice Patterns
Idempotent Consumer
Xử lý một message hai lần phải cho kết quả như xử lý một lần — vì sớm hay muộn, broker nào cũng sẽ giao trùng message.
Microservice Patterns
Giới hạn tốc độ (Rate Limiting)
Giới hạn số request mỗi client được gửi trong một khoảng thời gian để chống quá tải và lạm dụng — và chọn thuật toán có hành vi lúc cao điểm mà bạn chấp nhận được.