Real Problems
Điểm nghẽn database khi lưu lượng tăng vọt
Một chiến dịch marketing làm traffic tăng vọt, Orders API bắt đầu timeout trong khi CPU vẫn rảnh. Thủ phạm là connection pool của database. Tái hiện và so sánh ba cách xử lý: index, read replica và cache.
Sau bài này bạn sẽ
- Nhận ra pool kết nối bão hoà qua các metric độ trễ và hàng đợi.
- Tìm truy vấn tốn kém trước khi nghĩ tới việc thêm phần cứng.
- So sánh index, read replica và cache theo năng lực tăng thêm và chi phí.
- Lên kế hoạch kiểm chứng bằng bài kiểm thử tải mô phỏng lưu lượng production.
Nên đọc trước
Triệu chứng
- Độ trễ p99 của Orders API tăng từ ~60 ms lên hơn 400 ms khi lưu lượng tăng, rồi request bị timeout.
- Các instance ứng dụng có CPU thấp; thêm instance lại làm mọi thứ tệ hơn.
- Log:
HikariPool-1 - Connection is not available, request timed out after 3000ms. - Database: mọi kết nối đều bận, CPU và I/O cao, cùng một câu
SELECTchiếm phần lớn slow query log.
Bối cảnh hệ thống
Nguyên nhân gốc
Truy vấn "đơn hàng của khách" không có index trên customer_id nên phải quét cả bảng: ~45 ms mỗi lượt đọc. Với 10 kết nối, database phục vụ tối đa ~10 ÷ 0,045 ≈ 220 lượt đọc mỗi giây — còn ít hơn khi tranh chấp khoá và I/O tăng. Khi lưu lượng vượt mức đó, request phải xếp hàng chờ kết nối, thời gian chờ biến thành độ trễ, và độ trễ biến thành timeout. Thêm instance ứng dụng chỉ thêm request tranh nhau cùng 10 kết nối.
EXPLAIN (ANALYZE, BUFFERS)
SELECT id, status, total, created_at
FROM orders
WHERE customer_id = $1
ORDER BY created_at DESC
LIMIT 20;
-- Seq Scan on orders (actual time=0.03..44.9 rows=20 loops=1)
-- Filter: (customer_id = '...')
-- Rows Removed by Filter: 412318Tái hiện tương tác
Mọi kịch bản chạy cùng một đợt tăng: 30 → 120 → 220 → 300 request mỗi giây. Kịch bản A là sự cố. Kịch bản B, C và D là ba cách sửa ứng viên; hãy so sánh p99 và mức sử dụng của primary.
Các phương án
| Cách sửa | Năng lực tăng thêm | Chi phí và rủi ro |
|---|---|---|
| Thêm index còn thiếu | ~7 lần cho truy vấn này trên cùng phần cứng. | Một migration (tạo index concurrently); ghi chậm hơn một chút. |
| Read replica | Khoảng ×(số replica + 1) cho lượt đọc. | Thêm server; độ trễ replication khiến dữ liệu đọc có thể cũ; truy vấn chậm vẫn chậm. |
| Cache lượt đọc nóng | Lượt đọc trúng cache không bao giờ tới database. | Dữ liệu cũ và vô hiệu hoá cache; rủi ro cache nguội (xem Chiến lược caching). |
| Pool lớn hơn | Không có nếu database đã bão hoà. | Nhiều truy vấn đồng thời hơn nghĩa là tranh chấp nhiều hơn — thường còn chậm hơn. |
| Server database lớn hơn | Gần tuyến tính, một lần. | Đắt, phải khởi động lại, và truy vấn vẫn lãng phí. |
Cách sửa khuyến nghị
- Sửa truy vấn trước: thêm index. Đây là thay đổi rẻ nhất và nhân năng lực lên nhiều lần.
- Cache dữ liệu nóng, chủ yếu đọc, với TTL ngắn và xoá khi ghi.
- Thêm read replica khi lượt đọc vẫn vượt quá primary, chỉ đưa những lượt đọc chấp nhận dữ liệu hơi cũ sang đó.
- Giữ pool kết nối nhỏ và đặt timeout của pool thấp hơn timeout của request để bên gọi thất bại nhanh.
CREATE INDEX CONCURRENTLY idx_orders_customer_created
ON orders (customer_id, created_at DESC);spring:
datasource:
hikari:
maximum-pool-size: 10 # pool nhỏ thường nhanh hơn; xem HikariCP pool sizing
connection-timeout: 500 # ms: thất bại nhanh thay vì xếp hàng sau một DB đã bão hoà
leak-detection-threshold: 2000Nâng cao Pool lớn hơn hiếm khi giúp được một database đã bão hoà: database có số nhân và ổ đĩa cố định, và nhiều truy vấn đồng thời hơn chỉ tranh nhau chúng (mô phỏng thể hiện điều này bằng độ trễ tăng thêm theo mỗi truy vấn đồng thời). Hướng dẫn của HikariCP bắt đầu từ số kết nối ≈ số nhân × 2 + số ổ đĩa hiệu dụng ở phía database.
Chiến lược kiểm chứng
- So sánh
EXPLAIN ANALYZEtrước và sau: Index Scan với vài lần đọc buffer thay vì Seq Scan. - Phát lại lưu lượng production ở mức 2–3 lần đỉnh bằng công cụ kiểm thử tải (Gatling, k6) và khẳng định p99 cùng thời gian chờ pool nằm trong SLO.
- Theo dõi metric của pool trong chiến dịch kế tiếp: số kết nối đang chờ nên giữ ở 0.
Giám sát và phòng ngừa
- Cảnh báo theo số thread đang chờ pool và thời gian lấy kết nối (
hikaricp_connections_pending,hikaricp_connections_acquire_seconds). - Theo dõi các truy vấn tốn tổng thời gian nhiều nhất (
pg_stat_statements) và xem xét truy vấn mới bằngEXPLAINkhi code review. - Kiểm thử năng lực trước các đợt ra mắt marketing, không phải sau.
Bài học rút ra
- Database thường là điểm nghẽn dùng chung đầu tiên; server ứng dụng mở rộng được, primary thì không.
- Tìm index còn thiếu trước khi mua phần cứng.
- Thời gian chờ pool là tín hiệu trực tiếp nhất của việc database bão hoà.