Design to Scale
Database Sharding
Rải dữ liệu ra nhiều database độc lập theo shard key để scale lượt ghi và dung lượng vượt quá một máy — và tránh những cái bẫy kinh điển: hot shard, query xuyên shard và resharding đau đớn.
Sau bài này bạn sẽ
- Giải thích khi nào cần sharding và cái giá phải trả.
- Chọn shard key và chiến lược (range, hash, consistent hashing).
- Nhận ra hot shard và thấy vì sao dữ liệu lệch phá hỏng range sharding.
- So sánh số key phải chuyển chỗ khi thêm shard.
Nên đọc trước
Tổng quan
Thư viện quốc gia hết chỗ nên mở thêm chi nhánh. Sách của tác giả vần A–F về một chi nhánh, G–M về chi nhánh khác. Mỗi chi nhánh là một thư viện hoàn chỉnh; danh mục chỉ cho bạn biết cần tới chi nhánh nào.
Sharding chia dữ liệu ra nhiều database độc lập (shard), mỗi shard giữ một phần các dòng, được chọn theo shard key — ví dụ account_id. Một router (trong ứng dụng, một proxy như Vitess, hoặc chính database) gửi mỗi query tới đúng shard. Khác với read replica, sharding scale được lượt ghi và dung lượng, vì mỗi shard sở hữu phần dữ liệu khác nhau.
Chạy thử
A làm quá tải một database. B chia tài khoản theo hash ra các shard, rồi thêm shard thứ tư lúc t = 20 s: xem ô Key phải chuyển ở lần đổi số shard gần nhất. C chia theo khoảng account id, và những tài khoản bận rộn nhất đều rơi vào shard 1. D dùng consistent hashing cho cùng lần thêm shard đó.
Các chiến lược sharding
| Chiến lược | Key được đặt ở đâu | Điểm mạnh | Điểm yếu |
|---|---|---|---|
| Range | Mỗi shard một khoảng key (id 0–249 → shard 1) | Query theo khoảng nằm gọn trong một shard; dễ tách khoảng | Dữ liệu lệch và key tăng dần tạo ra hot shard |
| Hash mod N | hash(key) % N | Rải đều, đơn giản | Đổi N là phần lớn key phải chuyển chỗ |
| Consistent hashing | Điểm kế tiếp trên vòng hash (có virtual node) | Rải đều; thêm shard chỉ chuyển ~1/N số key | Phức tạp hơn; query theo khoảng bị rải khắp nơi |
| Directory | Bảng tra key → shard | Kiểm soát toàn diện, chuyển được từng tenant | Bảng directory thành phụ thuộc sống còn |
Chọn shard key
- Nhiều giá trị, truy cập đều: nhiều giá trị khác nhau, không giá trị nào áp đảo. Một tài khoản người nổi tiếng vẫn làm shard của nó nóng rực — không chiến lược nào chia nhỏ được một key.
- Khớp với query: các query thường gặp nhất nên có key, để chỉ chạm một shard.
WHERE email = ?trên bảng shard theoaccount_idthì phải hỏi mọi shard. - Giữ transaction cục bộ: dữ liệu thay đổi cùng nhau (tài khoản và các đơn hàng của nó) nên dùng chung key.
- Không tăng dần nếu dùng range sharding: id tự tăng và timestamp dồn mọi lượt ghi mới vào shard cuối.
Định tuyến bằng consistent hashing
public final class ShardRing {
private final TreeMap<Long, String> ring = new TreeMap<>();
public ShardRing(List<String> shards, int virtualNodes) {
for (String shard : shards)
for (int v = 0; v < virtualNodes; v++)
ring.put(hash(shard + "#" + v), shard); // mỗi shard sở hữu nhiều cung nhỏ
}
public String shardFor(String key) {
Map.Entry<Long, String> next = ring.ceilingEntry(hash(key));
return (next != null ? next : ring.firstEntry()).getValue(); // quay vòng về đầu
}
private static long hash(String s) {
return Hashing.murmur3_128().hashString(s, StandardCharsets.UTF_8).asLong();
}
}Đánh đổi
| Được | Mất | |
|---|---|---|
| Năng lực | Lượt ghi, dung lượng và bộ nhớ tăng theo số shard. | Một key nóng hay chọn key sai sẽ dồn tải vào một shard. |
| Query | Query theo một key vẫn nhanh và tách biệt. | Query xuyên shard phải hỏi khắp nơi; join và sắp xếp toàn cục đẩy sang ứng dụng. |
| Vận hành | Một shard hỏng chỉ ảnh hưởng tới phần người dùng của nó. | Resharding, backup, đổi schema và giám sát đều nhân lên N lần. |
Lưu ý khi chạy production
- Bắt đầu với số shard logic nhiều hơn số server (ví dụ 256 shard logic trên 4 server vật lý) để khi tăng trưởng chỉ cần chuyển nguyên shard logic, khỏi hash lại.
- Lên kế hoạch report xuyên shard ngay từ đầu: đẩy các thay đổi về data warehouse.
- Theo dõi tải theo từng shard, không chỉ con số tổng — shard nóng nhất mới là giới hạn thật.
- Diễn tập resharding trên staging: ghi kép, backfill, kiểm tra, chuyển đổi, dọn dẹp.