Case Studies
Thiết kế dịch vụ chat
Giao tin nhắn theo thời gian thực tới hàng triệu người dùng đang kết nối: vì sao polling chậm và lãng phí, WebSocket đẩy tin tức thì ra sao, và cái gì hỏng — cùng cách pub/sub sửa nó — khi kết nối trải ra nhiều server.
Trung cấp 6 phút đọc· Cập nhật 2026-11-18
Sau bài này bạn sẽ
- So sánh polling, long polling và kết nối giữ mở.
- Định tuyến tin nhắn giữa những người dùng kết nối tới các server khác nhau.
- Lưu tin nhắn để có lịch sử, thứ tự và giao cho người đang offline.
- Xử lý trạng thái online, xác nhận đã nhận/đã đọc và kết nối lại.
Nên đọc trước
Yêu cầu
- Chức năng: trò chuyện một-một và nhóm, lịch sử tin nhắn, xác nhận đã nhận và đã đọc, trạng thái online, push notification cho người đang offline.
- Phi chức năng: tin tới nơi trong chưa tới một giây; không mất tin nào; tin trong một cuộc trò chuyện hiển thị cùng một thứ tự cho mọi người.
- Quy mô: hàng chục triệu kết nối đồng thời — vượt xa sức chứa của một server.
Ước lượng nhanh
| Đại lượng | Giả định | Kết quả |
|---|---|---|
| Người dùng đồng thời | 50 triệu online lúc cao điểm | ~50 triệu kết nối mở |
| Kết nối mỗi server | ~100 nghìn–500 nghìn WebSocket mỗi node | 100–500 server gateway |
| Tin nhắn | 50 triệu người × 40 tin/ngày | ~25.000 tin/giây, nhiều hơn khi fan-out cho nhóm |
| Dung lượng | ~200 B mỗi tin | ~400 GB/ngày trước khi replicate |
Tiến hoá thiết kế
Giai đoạn 1 / 4
HTTP polling
- Kiến trúc hiện tại
- Mỗi client hỏi "có gì mới không?" mỗi 2 s.
- Giới hạn
- Độ trễ trung bình bằng nửa chu kỳ hỏi; trong cuộc trò chuyện vắng, phần lớn lượt hỏi chẳng có gì.
- Điểm nghẽn
- Request lãng phí: tải tăng theo số người dùng × tần suất hỏi, không theo số tin nhắn.
- Cải tiến
- Giữ một kết nối mở và để server đẩy tin.
- Tác động tới hiệu năng
- Độ trễ trung bình ~1,1 s; khoảng một phần ba lượt hỏi không có tin dù chat đang sôi nổi.
- Độ phức tạp & chi phí vận hành
- HTTP đơn giản; tải nặng và phần lớn vô ích khi quy mô lớn.
- Trade-off
- Dễ làm, nhưng độ trễ và hiệu quả kém.
Đang tải mô phỏng…
Lưu và sắp thứ tự tin nhắn
- Ghi trước, fan-out sau: lưu tin (chia partition theo conversation id) trước khi đẩy, để lịch sử và người offline đều được đảm bảo.
- Thứ tự theo cuộc trò chuyện: gán số thứ tự theo từng cuộc trò chuyện lúc ghi; client sắp xếp theo đó và phát hiện chỗ hổng (thứ tự message).
- Người offline: họ không kết nối tới đâu cả — xếp một push notification và để họ tải lịch sử khi kết nối lại (
tin sau số thứ tự N). - Xác nhận và trạng thái online cũng chỉ là thêm những tin nhỏ, nhưng hãy rate limit cập nhật trạng thái online — chúng nhiều hơn hẳn tin chat.
function connect(conversationId: string, lastSeq: number) {
const ws = new WebSocket(`wss://chat.example.com/ws?c=${conversationId}&after=${lastSeq}`);
ws.onmessage = (e) => {
const msg = JSON.parse(e.data) as { seq: number; text: string };
if (msg.seq <= lastSeq) return; // tin trùng sau khi kết nối lại
lastSeq = msg.seq;
render(msg);
};
ws.onclose = () => setTimeout(() => connect(conversationId, lastSeq), backoffWithJitter());
}Đánh đổi
| Được | Mất | |
|---|---|---|
| Đẩy tin | Giao tức thì, không request nào lãng phí. | Server có trạng thái; deploy hay sự cố làm rơi rất nhiều kết nối cùng lúc. |
| Định tuyến pub/sub | Server nào cũng tới được bất kỳ người dùng nào. | Mọi lưu lượng đi qua broker; nhóm lớn khuếch đại tải. |
| Thứ tự theo cuộc trò chuyện | Ai cũng thấy cùng một thứ tự. | Lượt ghi của một cuộc trò chuyện đi qua một partition — nhóm cực đông cần xử lý riêng. |
Checklist khi phỏng vấn
- Chọn WebSocket (hoặc tương tự) và giải thích vì sao hơn polling.
- Giải thích tin nhắn tới người dùng ở server khác bằng cách nào.
- Lưu trước khi fan-out; sắp thứ tự theo cuộc trò chuyện bằng số thứ tự.
- Nói về giao cho người offline, xác nhận, trạng thái online và kết nối lại.
Đọc thêm
Bài liên quan
Microservice Patterns
Publish/Subscribe
Publish một event một lần, bao nhiêu subscriber cũng nhận được bản của riêng mình — thêm consumer mới mà không phải động vào producer.
Design to Scale
Thiết kế ứng dụng stateless
Không giữ trạng thái người dùng trong bộ nhớ của instance ứng dụng, để instance nào cũng phục vụ được mọi request — điều kiện tiên quyết cho load balancing, autoscaling và deploy nhẹ nhàng.
Real Problems
Rút tiền trước khi nạp: lỗi thứ tự message
Số dư tài khoản bị âm dù event nào cũng hợp lệ. Event của cùng một tài khoản bị áp dụng sai thứ tự — lần đầu vì thiếu key, lần sau vì thread pool. Cách giữ thứ tự theo key mà không phải hy sinh throughput.
Design to Scale
Kafka Partitioning
Partition là đơn vị song song và đơn vị thứ tự của Kafka. Chọn đúng message key và số partition thì consumer scale tuyến tính; chọn sai thì một partition nóng kéo chậm cả hệ thống.
Design to Scale
Cân bằng tải
Chia request đều cho các instance để không máy nào quá tải — và thấy thuật toán cân bằng tải cùng health check quyết định độ trễ đuôi thế nào khi các máy không giống nhau.