Microservice Patterns
Metrics và monitoring
Đo mọi service bằng vài tín hiệu chuẩn — RED cho request, USE cho tài nguyên — và cảnh báo theo triệu chứng người dùng cảm nhận được, chứ không theo mọi nguyên nhân bạn nghĩ ra.
Sau bài này bạn sẽ
- Áp dụng phương pháp RED và USE để chọn metric.
- Giải thích vì sao percentile tốt hơn số trung bình khi đo độ trễ.
- Cảnh báo theo triệu chứng phía người dùng và dùng metric tài nguyên để chẩn đoán.
- Định nghĩa SLO và cảnh báo theo tốc độ tiêu error budget.
Tổng quan
Bảng đồng hồ ô tô không hiển thị mọi cảm biến: chỉ có tốc độ, nhiên liệu, nhiệt độ và vài đèn cảnh báo. Tài xế phản ứng với "động cơ quá nóng", chứ không phải với số vòng quay của bơm nước làm mát. Monitoring tốt cũng vậy: vài tín hiệu rõ ràng, và chuông báo cho những gì thật sự quan trọng.
Metrics là những con số được tổng hợp theo thời gian — rẻ để lưu, lý tưởng cho xu hướng và cảnh báo. Hai phương pháp cho bạn biết nên thu thập gì. RED cho mọi service: Rate (request/giây), Errors (lỗi/giây), Duration (percentile độ trễ). USE cho mọi tài nguyên (CPU, pool, hàng đợi, ổ đĩa): Utilization, Saturation (việc đang xếp hàng), Errors.
Chạy thử
Các ô chuyển đỏ ở ngưỡng cảnh báo thường gặp. Ở A lưu lượng tăng vượt năng lực: xem tín hiệu nào thay đổi trước. Ở B nhà cung cấp thanh toán sập: so sánh ô lỗi với utilization.
Nên cảnh báo theo gì
| Tín hiệu | Dùng để | Cảnh báo? |
|---|---|---|
| Tỉ lệ lỗi, độ trễ p95/p99 (triệu chứng) | "Người dùng có đang khổ không?" | Có — gọi người trực. |
| Tốc độ tiêu error budget của SLO | "Liệu có trượt mục tiêu không?" | Có — tiêu nhanh thì gọi người trực, tiêu chậm thì tạo ticket. |
| Saturation (độ dài hàng đợi, thời gian chờ pool) | Báo sớm trước khi độ trễ tăng | Cảnh báo nhẹ / ticket. |
| CPU, bộ nhớ, GC (nguyên nhân) | Chẩn đoán và capacity planning | Hiếm khi — chúng kêu dù người dùng chẳng bị gì và bỏ sót nhiều sự cố thật (kịch bản B). |
Instrumentation và luật cảnh báo
management.endpoints.web.exposure.include=health,prometheus
management.metrics.distribution.percentiles-histogram.http.server.requests=true
management.metrics.distribution.slo.http.server.requests=100ms,300ms,1s
management.metrics.tags.service=ordersgroups:
- name: orders-slo
rules:
- alert: OrdersHighErrorRate
expr: sum(rate(http_server_requests_seconds_count{service="orders",status=~"5.."}[5m]))
/ sum(rate(http_server_requests_seconds_count{service="orders"}[5m])) > 0.02
for: 5m
labels: { severity: page }
- alert: OrdersSlow
expr: histogram_quantile(0.95, sum by (le) (rate(http_server_requests_seconds_bucket{service="orders"}[5m]))) > 0.3
for: 10m
labels: { severity: page }Đánh đổi
| Được | Mất | |
|---|---|---|
| Chi phí | Metrics rẻ hơn hẳn so với log và trace. | Label có nhiều giá trị (user id, URL kèm id) làm dung lượng bùng nổ. |
| Cảnh báo | Cảnh báo theo triệu chứng ít và lần nào cũng đáng xem. | Chúng kêu khi người dùng đã bị ảnh hưởng — thêm cảnh báo saturation để có thời gian chuẩn bị. |
| Chi tiết | Hoàn hảo cho xu hướng, capacity và SLO. | Cho biết cái gì sai, không cho biết vì sao — tiếp tục bằng trace và log. |
Lưu ý khi chạy production
- Mỗi service một dashboard RED chuẩn, sinh ra từ cùng một template.
- Cảnh báo nào gọi người trực cũng phải có link runbook và hành động được; xoá những cảnh báo chẳng ai xử lý.
- Giữ số giá trị của label trong giới hạn: dùng route template (
/orders/{id}), không dùng đường dẫn thô. - Dùng exemplar để nhảy từ đỉnh độ trễ sang các trace mẫu.