Business Intelligence Overview
Series: Business Analytics Cheatsheet Series
Topics:
EDACRISPclassificationsegmentationdecision-making
Core claim: Không chỉ là xây dựng mô hình, mà là thiết lập một quy trình ra quyết định dựa trên thực tế (Fact-based decision-making), nơi mọi suy luận đều có thể kiểm chứng và mang lại giá trị kinh tế cụ thể.
Tổng quan về Business Analytics (BA)
Định nghĩa và Nguyên tắc
Business Analytics là một quy trình lặp đi lặp lại nhằm thấu hiểu các hoạt động dựa trên dữ liệu của doanh nghiệp để đưa ra các suy luận và quyết định có độ tin cậy cao. BA mở rộng tính trách nhiệm (accountability) trong quản trị: các lý lẽ đằng sau quyết định phải được ghi chép và có thể kiểm chứng (audit).
4 Mục tiêu chiến lược của BA
Một hệ thống BA chuẩn mực phải đạt được 4 mục tiêu sau:
- Thông tin thực thi thời gian thực
Cung cấp thông tin theo tốc độ của quyết định, không phải theo tốc độ làm mới kho dữ liệu. - Công cụ ở mọi cấp độ tổ chức
Hỗ trợ quyết định về khách hàng và lợi nhuận cho toàn bộ nhân viên, không chỉ giới hạn ở nhóm phân tích trung tâm. - Dự báo khách quan
Tăng cường độ chính xác và tính khách quan cho các tuyên bố hướng tới tương lai. - Vòng lặp phản hồi (Learning Organization)
Thông tin phải quay trở lại dưới dạng kết quả đo lường được; nếu không có phản hồi, BA chỉ đơn thuần là báo cáo (reporting).
Phân loại 4 cấp độ Analytics
| Loại hình phân tích | Câu hỏi cốt lõi | Định nghĩa | Ví dụ ứng dụng |
|---|---|---|---|
| Descriptive (Mô tả) | Chuyện gì đã xảy ra? | Tổng hợp, tổ chức dữ liệu lịch sử để thấy xu hướng. | Dashboard theo dõi KPI doanh thu hàng tháng. |
| Diagnostic (Chẩn đoán) | Tại sao nó xảy ra? | Tìm kiếm mô hình và tương quan để xác định nguyên nhân. | Phân tích lý do tỷ lệ rời bỏ khách hàng tăng ở miền Bắc. |
| Predictive (Dự báo) | Chuyện gì có khả năng xảy ra? | Sử dụng dữ liệu lịch sử và ML để dự đoán trạng thái tương lai. | Dự báo nhu cầu tồn kho; dự đoán giá trị vòng đời khách hàng. |
| Prescriptive (Đề xuất) | Chúng ta nên làm gì? | Đề xuất chiến lược hành động để tối ưu hóa quyết định. | Tối ưu hóa lộ trình giao hàng; chiến lược định giá linh hoạt. |
3 Tiêu chí Chất lượng (BA Quality Criteria)
- Purposive (Có mục đích)
Phải gắn liền với một chức năng kinh doanh và mục tiêu quản trị cụ thể. Phân tích không mục đích là một loại chi phí. - Intuitive (Trực quan/Phát hiện mới)
Phải khám phá được các mô hình tiềm ẩn. Phân tích chỉ xác nhận lại những gì đã biết (trạng thái hiện tại) thì không mang lại giá trị thực sự. - Expedient (Có tính thực thi)
Kết quả phải giúp nhà quản lý hành động được ngay với nguồn lực hiện có.
Quy trình Chuẩn CRISP-DM trong Dự án Analytics
Sự thất bại của 80% dự án Analytics không đến từ mô hình yếu, mà từ việc sai lệch trong định nghĩa bài toán hoặc KPI. CRISP-DM cung cấp khung sườn lặp lại để giảm thiểu rủi ro này.
Cấu trúc 6 giai đoạn và Artifacts
- Business Understanding
Xác định quyết định cần hỗ trợ.
Artifacts: Project Charter (gồm RACI), Success KPI & Guardrails. - Data Understanding
Kiểm tra thực tế dữ liệu so với giả định.
Artifacts: Data Dictionary, EDA Report & Quality Checklist. - Data Preparation
Tạo bộ dữ liệu sạch, leakage-safe.
Artifacts: Pipeline xử lý dữ liệu, Feature List. - Modeling
Thử nghiệm các thuật toán từ đơn giản (Baseline) đến phức tạp.
Artifacts: Model Card, Báo cáo độ quan trọng tính năng. - Evaluation
Đánh giá kỹ thuật và tác động kinh doanh (A/B Test).
Artifacts: Evaluation Report, Experiment Plan. - Deployment
Vận hành và giám sát.
Artifacts: Runbook vận hành, Monitoring Dashboard.
Quản trị dự án: RACI và Risk Register
- RACI: Phải xác định rõ ai là người chịu trách nhiệm chính (Accountable - thường là Sponsor), ai thực thi (Responsible - DS/Analyst), ai cần tham vấn (Consulted) và ai cần nhận thông tin (Informed).
- Risk Register: Liệt kê các cặp Rủi ro - Giảm thiểu. Ví dụ: Rủi ro “Dữ liệu chất lượng kém” → Giảm thiểu bằng “Kiểm toán sớm + Quy tắc fallback”.
Các sai lầm thường gặp (Pitfalls)
| Sai lầm | Cách khắc phục |
|---|---|
| Bắt đầu từ dữ liệu sẵn có thay vì từ quyết định. | Luôn hỏi: “Quyết định nào sẽ được đưa ra từ kết quả này?” |
| KPI không có định nghĩa chuẩn (Canonical). | Thống nhất công thức, cửa sổ thời gian và chủ sở hữu trong Data Dictionary. |
| Rò rỉ dữ liệu (Data Leakage). | Sử dụng Time-based split; chỉ fit tiền xử lý trên tập huấn luyện (train folds). |
Khung Tư duy Chiến lược: DOC và KPI Tree
Khung DOC (Decision - Options - Criteria)
Một tuyên bố vấn đề không có đủ 3 yếu tố này thì không thể thực thi được:
- Decision: Lựa chọn cụ thể cần thực hiện.
- Options: Các phương án thay thế khả thi.
- Criteria: Bộ KPI dùng để so sánh các phương án.
KPI Tree (Cây KPI) và Sức mạnh của Số học
KPI Tree kết nối “North Star Metric” với các đòn bẩy (levers) có thể tác động được. Ví dụ thực tế cho Thương mại điện tử:
Công thức gốc:
Revenue = Sessions × CR × AOV
- Hiện tại: 1.000.000 sessions/tháng · CR 2,0% · AOV 420.000 VNĐ → Revenue ≈ 8,4 tỷ VNĐ.
- Mục tiêu: Tăng doanh thu +15% (~9,66 tỷ VNĐ).
Phân tích kịch bản:
- Option 1: Tăng CR lên 2,3% (giữ nguyên AOV).
- Option 2: Tăng AOV lên 483.000 VNĐ (giữ nguyên CR).
Ý nghĩa: Việc định lượng hóa các lựa chọn giúp chuyển đổi các cuộc tranh luận chiến lược thành các phép tính số học cụ thể.
Mục tiêu SMART và Decision-Centric Framing
Mọi dự án phải bắt đầu bằng câu hỏi: “Quyết định này sẽ thay đổi như thế nào nếu chỉ số X tăng lên?”. Nếu không có câu trả lời rõ ràng, đừng bắt đầu làm dữ liệu.
Hiểu về Dữ liệu và Kỹ thuật Tính năng (Feature Engineering)
Chất lượng dữ liệu: Chấm điểm theo cột
Chất lượng dữ liệu (Accuracy, Completeness, Consistency…) phải được chấm điểm trên từng cột (per column) thay vì toàn bảng. Điều này giúp xác định chính xác tính năng nào đủ tin cậy để đưa vào mô hình.
Xử lý Dữ liệu Thiếu (Missing Data)
| Cơ chế | Định nghĩa | Chiến lược & Bắt buộc |
|---|---|---|
| MCAR | Thiếu hoàn toàn ngẫu nhiên. | Có thể bỏ dòng; estimates không bị lệch. |
| MAR | Thiếu phụ thuộc biến đã quan sát. | Gán giá trị theo nhóm (Group-wise imputation). Bắt buộc thêm flag is_missing. |
| MNAR | Thiếu phụ thuộc chính giá trị đó. | Không thể gán đơn giản; cần thu thập thêm hoặc mô hình hóa sự thiếu hụt. |
Rò rỉ dữ liệu (Data Leakage)
- Target leakage: Tính năng chứa kết quả tương lai (ví dụ: biến “refund” trong mô hình churn).
- Train-test contamination: Fit scalers/imputers trên toàn bộ dataset.
3 Nguyên tắc vàng:
- Chỉ fit tiền xử lý trên train folds.
- Sử dụng Pipeline.
- Cross-validate toàn bộ pipeline.
Mã hóa và Quy chuẩn hóa
- Encoding: One-Hot (cardinality thấp), Target Encoding (cardinality cao - phải làm bên trong vòng lặp CV để tránh leakage).
- Scaling: StandardScaler (mặc định), MinMaxScaler (nhạy cảm ngoại lệ), RobustScaler (dùng Median/IQR cho dữ liệu nhiều ngoại lệ).
Phân tích Dữ liệu Khám phá (EDA) và Suy luận Nhân quả
Tiêu chuẩn “Average + Spread + Segment”
Một nhà phân tích cấp cao không bao giờ báo cáo giá trị trung bình đơn độc. Bắt buộc phải đi kèm với:
- Spread (Độ phân tán): SD, IQR hoặc khoảng tin cậy.
- Segment cut: Phân rã theo ít nhất một chiều (ví dụ: theo thiết bị hoặc kênh).
Kỹ thuật EDA và Hình ảnh hóa
- Histogram: Sử dụng quy tắc Freedman-Diaconis để chọn độ rộng bin tối ưu.
- Visual Hazards:
- Bar charts bắt buộc phải có gốc tọa độ bằng 0 (Zero-baseline).
- Tránh sử dụng hai trục Y (Dual y-axes) vì dễ gây nhầm lẫn về mối tương quan giả.
Tương quan vs. Nhân quả
- Confounder (Biến gây nhiễu): Tác động đến cả X và Y. Cần kiểm soát để tránh sai lệch.
- Collider (Biến va chạm): Bị tác động bởi cả X và Y. Kiểm soát collider sẽ tạo ra tương quan giả.
- Nghịch lý Simpson: Hiện tượng xu hướng nhóm bị đảo ngược khi gộp dữ liệu. Nguyên nhân do kích thước nhóm không đều kết hợp với một biến gây nhiễu (confounder). Luôn phải kiểm tra các stratified views.
Mô hình Hồi quy (Regression Analysis)
Giả định LINE và Chẩn đoán
- Linearity: Kiểm tra bằng Residuals vs X (không được có đường cong).
- Independence: Kiểm tra bằng chỉ số Durbin-Watson. Giá trị $D \approx 2$ cho thấy không có tương quan chuỗi; $D < 2$ cảnh báo tương quan dương.
- Normality: Kiểm tra qua Q-Q plot.
- Equal Variance: Tránh hiện tượng hình phễu (heteroscedasticity).
Hồi quy Đa biến (MRA)
- Hệ số $b$ (Raw): Thể hiện tác động riêng phần (partial effect) khi giữ cố định các biến khác.
- Hệ số $\beta$ (Standardized): Dùng để xếp hạng tầm quan trọng của các biến. Không được dùng hệ số $b$ để so sánh các biến có đơn vị khác nhau.
- Đánh giá: Sử dụng Adjusted R-squared khi so sánh các mô hình có số lượng biến khác nhau.
- Quyết định: Luôn sử dụng Prediction Interval thay vì Confidence Interval khi ra quyết định cho một trường hợp cụ thể (ví dụ: định giá một ngôi nhà cụ thể).
Tiêu chí Đánh giá Mô hình Phân loại (Classification Evaluation)
Hệ thống Metric đa chiều
- MCC (Matthews Correlation Coefficient): Chỉ số mạnh mẽ nhất cho dữ liệu mất cân bằng.
- Precision/Recall: Ưu tiên Precision khi chi phí FP cao (spam); ưu tiên Recall khi chi phí FN cao (bệnh tật).
Lựa chọn Ngưỡng (Threshold Selection)
Thay vì dùng ngưỡng mặc định 0.5, hãy sử dụng Ngưỡng Bayes tối ưu (Bayes-optimal threshold):
\[\tau^* = \frac{C_{FP}}{C_{FP} + C_{FN}}\]Trong đó $C_{FP}$ là chi phí cho một báo động giả và $C_{FN}$ là chi phí cho một lần bỏ lỡ.
Hiệu chuẩn Xác suất (Probability Calibration)
Việc hiệu chuẩn xác suất (đảm bảo xác suất mô hình 0.7 tương ứng với 70% thực tế) phụ thuộc vào mục đích sử dụng:
| Kịch bản | Cần hiệu chuẩn? | Tại sao |
|---|---|---|
| Xếp hạng (Ranking/Top-k) | Không | Chỉ cần thứ tự đúng (AUC-ROC là đủ). |
| Tính toán ROI/Tài chính | Bắt buộc | Giá trị xác suất đi trực tiếp vào công thức dòng tiền. |
Kết luận và Tiêu chuẩn Hoàn thành (Definition of Done)
Checklist kết thúc dự án (Project Definition of Done)
- Charter & RACI: Đã được phê duyệt với KPI chính và Guardrails rõ ràng.
- Leakage Check: Đã kiểm tra rò rỉ dữ liệu qua Time-based split và Pipeline.
- Reporting Standard: Không có giá trị trung bình nào được báo cáo mà thiếu Spread và Segment cut.
- Calibration: Xác suất đã được hiệu chuẩn nếu kết quả dùng để tính toán tài chính.
- Experiment Plan: Kế hoạch thử nghiệm/A/B test đã sẵn sàng.
Gói chuyển giao (Handover Package)
Để đảm bảo tính bền vững, gói chuyển giao phải bao gồm:
- Project Charter: Mục tiêu và các bên liên quan.
- Data Dictionary: Định nghĩa canonical và nguồn gốc dữ liệu.
- EDA Report & Quality Checklist: Các phát hiện về dữ liệu và điểm chất lượng từng cột.
- Model Card: Đặc tính kỹ thuật, hiệu suất và giới hạn của mô hình.
- Runbook: Hướng dẫn vận hành, giám sát drift và kế hoạch xử lý sự cố.
🔗 Cùng series
Nếu bài này hữu ích, hãy chia sẻ cho người đang học Data Science / Business Analytics. Mọi góp ý về lỗi kỹ thuật rất được hoan nghênh.