Đi tới nội dung chính
System Design Lab
Case Studies

Thiết kế dịch vụ chat

Giao tin nhắn theo thời gian thực tới hàng triệu người dùng đang kết nối: vì sao polling chậm và lãng phí, WebSocket đẩy tin tức thì ra sao, và cái gì hỏng — cùng cách pub/sub sửa nó — khi kết nối trải ra nhiều server.

Trung cấp 6 phút đọc· Cập nhật 2026-11-18

Sau bài này bạn sẽ

  • So sánh polling, long polling và kết nối giữ mở.
  • Định tuyến tin nhắn giữa những người dùng kết nối tới các server khác nhau.
  • Lưu tin nhắn để có lịch sử, thứ tự và giao cho người đang offline.
  • Xử lý trạng thái online, xác nhận đã nhận/đã đọc và kết nối lại.

Nên đọc trước

Yêu cầu

  • Chức năng: trò chuyện một-một và nhóm, lịch sử tin nhắn, xác nhận đã nhận và đã đọc, trạng thái online, push notification cho người đang offline.
  • Phi chức năng: tin tới nơi trong chưa tới một giây; không mất tin nào; tin trong một cuộc trò chuyện hiển thị cùng một thứ tự cho mọi người.
  • Quy mô: hàng chục triệu kết nối đồng thời — vượt xa sức chứa của một server.

Ước lượng nhanh

Đại lượngGiả địnhKết quả
Người dùng đồng thời50 triệu online lúc cao điểm~50 triệu kết nối mở
Kết nối mỗi server~100 nghìn–500 nghìn WebSocket mỗi node100–500 server gateway
Tin nhắn50 triệu người × 40 tin/ngày~25.000 tin/giây, nhiều hơn khi fan-out cho nhóm
Dung lượng~200 B mỗi tin~400 GB/ngày trước khi replicate

Tiến hoá thiết kế

Giai đoạn 1 / 4

HTTP polling

Kiến trúc hiện tại
Mỗi client hỏi "có gì mới không?" mỗi 2 s.
Giới hạn
Độ trễ trung bình bằng nửa chu kỳ hỏi; trong cuộc trò chuyện vắng, phần lớn lượt hỏi chẳng có gì.
Điểm nghẽn
Request lãng phí: tải tăng theo số người dùng × tần suất hỏi, không theo số tin nhắn.
Cải tiến
Giữ một kết nối mở và để server đẩy tin.
Tác động tới hiệu năng
Độ trễ trung bình ~1,1 s; khoảng một phần ba lượt hỏi không có tin dù chat đang sôi nổi.
Độ phức tạp & chi phí vận hành
HTTP đơn giản; tải nặng và phần lớn vô ích khi quy mô lớn.
Trade-off
Dễ làm, nhưng độ trễ và hiệu quả kém.
Đang tải mô phỏng…

Lưu và sắp thứ tự tin nhắn

  • Ghi trước, fan-out sau: lưu tin (chia partition theo conversation id) trước khi đẩy, để lịch sử và người offline đều được đảm bảo.
  • Thứ tự theo cuộc trò chuyện: gán số thứ tự theo từng cuộc trò chuyện lúc ghi; client sắp xếp theo đó và phát hiện chỗ hổng (thứ tự message).
  • Người offline: họ không kết nối tới đâu cả — xếp một push notification và để họ tải lịch sử khi kết nối lại (tin sau số thứ tự N).
  • Xác nhận và trạng thái online cũng chỉ là thêm những tin nhỏ, nhưng hãy rate limit cập nhật trạng thái online — chúng nhiều hơn hẳn tin chat.
Client: kết nối lại và bắt kịp từ số thứ tự cuối cùng
function connect(conversationId: string, lastSeq: number) {
  const ws = new WebSocket(`wss://chat.example.com/ws?c=${conversationId}&after=${lastSeq}`);
  ws.onmessage = (e) => {
    const msg = JSON.parse(e.data) as { seq: number; text: string };
    if (msg.seq <= lastSeq) return;            // tin trùng sau khi kết nối lại
    lastSeq = msg.seq;
    render(msg);
  };
  ws.onclose = () => setTimeout(() => connect(conversationId, lastSeq), backoffWithJitter());
}

Đánh đổi

ĐượcMất
Đẩy tinGiao tức thì, không request nào lãng phí.Server có trạng thái; deploy hay sự cố làm rơi rất nhiều kết nối cùng lúc.
Định tuyến pub/subServer nào cũng tới được bất kỳ người dùng nào.Mọi lưu lượng đi qua broker; nhóm lớn khuếch đại tải.
Thứ tự theo cuộc trò chuyệnAi cũng thấy cùng một thứ tự.Lượt ghi của một cuộc trò chuyện đi qua một partition — nhóm cực đông cần xử lý riêng.

Checklist khi phỏng vấn

  • Chọn WebSocket (hoặc tương tự) và giải thích vì sao hơn polling.
  • Giải thích tin nhắn tới người dùng ở server khác bằng cách nào.
  • Lưu trước khi fan-out; sắp thứ tự theo cuộc trò chuyện bằng số thứ tự.
  • Nói về giao cho người offline, xác nhận, trạng thái online và kết nối lại.

Đọc thêm

Bài liên quan