4.4. Các thang đo đánh giá mô hình (Evaluation Metrics)

Sau khi mô hình đã được huấn luyện, việc đánh giá độ chính xác của nó là bước bắt buộc trước khi đưa vào ứng dụng thực tế. Việc chọn sai thước đo có thể dẫn đến những "ảo giác" về sức mạnh của mô hình, từ đó gây ra các quyết định kinh doanh sai lầm. Tùy thuộc vào việc bài toán là Hồi quy (dự báo số liên tục) hay Phân lớp (dự báo nhãn), chúng ta sẽ sử dụng các nhóm chỉ số toán học hoàn toàn khác nhau.

4.4.1. Đánh giá mô hình Hồi quy (Regression Metrics)

Trong bài toán Hồi quy, mục tiêu là dự đoán một giá trị số thực. Do đó, các chỉ số đánh giá tập trung vào việc đo lường khoảng cách (sai số) giữa giá trị dự đoán ($\hat{y}$) và giá trị thực tế ($y$).

• MAE (Mean Absolute Error - Sai số tuyệt đối trung bình): Đo lường trung bình độ lệch tuyệt đối giữa dự báo và thực tế. MAE rất dễ diễn giải vì nó có cùng đơn vị với biến mục tiêu (ví dụ: dự báo giá nhà lệch trung bình 200 triệu đồng) và ít bị ảnh hưởng bởi các điểm dữ liệu dị biệt (outliers).

• MSE (Mean Squared Error) và RMSE (Root Mean Squared Error): Thay vì lấy trị tuyệt đối, phương pháp này bình phương các sai số. Do đó, RMSE phạt rất nặng các sai số lớn. Trong kinh tế, nếu việc dự báo sai lệch một số tiền khổng lồ gây ra hậu quả tàn khốc, RMSE là thước đo nên được ưu tiên để "ép" mô hình giảm thiểu những cú lệch pha nghiêm trọng này.

• R-squared (R^2) và Adjusted R^2: Hệ số R^2 (từ âm vô cực đến 1.0) đo lường tỷ lệ phần trăm biến động của biến mục tiêu được giải thích bởi các biến đầu vào. Tuy nhiên, R^2 có một nhược điểm là sẽ luôn tăng hoặc giữ nguyên nếu bạn nhét thêm các biến rác vào mô hình. Do đó, Adjusted R^2 (R-bình phương hiệu chỉnh) ra đời nhằm trừng phạt mô hình nếu nó sử dụng quá nhiều biến mà không mang lại giá trị giải thích thực sự.

💻 Ví dụ Code thực chiến: Đánh giá mô hình Hồi quy Đoạn code tự sinh dữ liệu dưới đây tính toán nhanh các chỉ số MAE, RMSE và R^2 cho bài toán dự báo doanh thu:

import numpy as np

from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score

# 1. TỰ TẠO DỮ LIỆU: Doanh thu thực tế và Doanh thu dự đoán (Đơn vị: Tỷ VNĐ)

y_true = np.array([3.0, 2.5, 4.0, 5.0, 1.5])

y_pred = np.array([2.8, 2.7, 3.6, 5.2, 1.8])

# 2. TÍNH TOÁN CÁC THANG ĐO HỒI QUY

mae = mean_absolute_error(y_true, y_pred)

rmse = np.sqrt(mean_squared_error(y_true, y_pred))

r2 = r2_score(y_true, y_pred)

print(f"MAE  (Sai số trung bình): Lệch {mae:.2f} Tỷ VNĐ")

print(f"RMSE (Phạt sai số lớn)  : Lệch {rmse:.2f} Tỷ VNĐ")

print(f"R-squared (Độ khớp)     : Mô hình giải thích được {r2*100:.1f}% biến động")

4.4.2. Đánh giá mô hình Phân lớp (Classification Metrics)

Đối với bài toán Phân lớp (như dự báo rủi ro vỡ nợ, khách hàng rời bỏ), biến mục tiêu là các nhãn rời rạc. Việc đánh giá phức tạp hơn nhiều so với Hồi quy.

• Ma trận nhầm lẫn (Confusion Matrix): Là bảng thống kê $2\times2$ chia dự báo thành 4 ô:

  • True Positive (TP): Đoán có bệnh, thực tế có bệnh.

  • True Negative (TN): Đoán không có bệnh, thực tế không có bệnh.

  • False Positive (FP - Sai lầm loại I): Báo động giả (Đoán có bệnh, thực tế không có bệnh).

  • False Negative (FN - Sai lầm loại II): Bỏ sót (Đoán không có bệnh, thực tế có bệnh).

• Cạm bẫy của Accuracy (Độ chính xác tổng thể): Đo lường tỷ lệ đoán đúng trên tổng số. Nếu bộ dữ liệu mất cân bằng (chỉ có 1% khách hàng vỡ nợ), mô hình "nhắm mắt" đoán tất cả là an toàn thì Accuracy vẫn đạt 99% nhưng lại hoàn toàn vô dụng trong quản trị rủi ro.

• Precision (Độ chuẩn xác) và Recall (Độ bao phủ):

  • Recall = TP / (TP + FN): Trong số tất cả các ca thực sự có bệnh, mô hình "tóm" được bao nhiêu phần trăm? (Ưu tiên khi việc bỏ sót gây hậu quả cực kỳ nghiêm trọng).

  • Precision = TP / (TP + FP): Trong số những ca bị hệ thống cảnh báo có bệnh, bao nhiêu ca là thật? (Ưu tiên khi báo động giả gây tốn kém chi phí).

• F1-Score = 2*Precision*Recall/(Precision+Recall) : Là trung bình điều hòa của Precision và Recall, dùng để đánh giá năng lực của mô hình khi dữ liệu mất cân bằng nghiêm trọng.

• Sức mạnh của ROC-AUC: Đường cong ROC biểu diễn mối quan hệ giữa tỷ lệ bắt đúng (TPR) và tỷ lệ báo động giả (FPR) ở mọi ngưỡng xác suất (thresholds). Diện tích dưới đường cong này (AUC) đo lường khả năng xếp hạng rủi ro tổng thể của hệ thống mà không bị phụ thuộc vào một ngưỡng cắt cố định.

💻 Ví dụ Code thực chiến: Cạm bẫy Accuracy và Vai trò của ROC-AUC Chúng ta sẽ giả lập một tập dữ liệu tín dụng gồm 1000 khách hàng bị mất cân bằng nghiêm trọng (950 an toàn, 50 vỡ nợ). Mô hình tạo ra xác suất dự báo và chúng ta sẽ tính ROC-AUC.

import numpy as np

from sklearn.metrics import confusion_matrix, accuracy_score, roc_auc_score

import matplotlib.pyplot as plt

# 1. TỰ TẠO DỮ LIỆU MẤT CÂN BẰNG (95% An toàn , 5% Vỡ nợ)

np.random.seed(42)

y_true_cls = np.concatenate([np.zeros(950, dtype=int), np.ones(50, dtype=int)])

# Giả lập xác suất dự báo từ mô hình (từ 0.0 đến 1.0)

prob_safe = np.random.uniform(0.0, 0.55, 950)

prob_default = np.random.uniform(0.2, 0.95, 50)

y_prob = np.concatenate([prob_safe, prob_default])

# Chuyển xác suất thành nhãn với ngưỡng mặc định 0.5

y_pred_cls = (y_prob > 0.5).astype(int)

# 2. ĐÁNH GIÁ CHỈ SỐ

print("Confusion Matrix:\n", confusion_matrix(y_true_cls, y_pred_cls))

print(f"Accuracy (Độ chính xác ảo): {accuracy_score(y_true_cls, y_pred_cls)*100:.2f}%")

print(f"ROC-AUC (Năng lực phân biệt): {roc_auc_score(y_true_cls, y_prob):.4f}")

Giải thích kết quả code: 

• Ma trận nhầm lẫn (Confusion Matrix): Mô hình đã dự đoán đúng 866 trường hợp 'An toàn' và 28 trường hợp 'Vỡ nợ'. Tuy nhiên, nó cũng có 84 lỗi dương tính giả (dự đoán 'Vỡ nợ' nhưng thực tế là 'An toàn') và 22 lỗi âm tính giả (dự đoán 'An toàn' nhưng thực tế là 'Vỡ nợ'). Đặc biệt, 22 trường hợp 'Vỡ nợ' bị dự đoán sai là 'An toàn' có thể là vấn đề nghiêm trọng.

• Độ chính xác (Accuracy) 89.40%: Mặc dù con số này có vẻ cao, nhưng vì dữ liệu mất cân bằng (950 'An toàn' và chỉ 50 'Vỡ nợ'), độ chính xác có thể gây hiểu lầm. Một mô hình đơn giản luôn dự đoán 'An toàn' cũng sẽ đạt độ chính xác 950/1000 = 95%, nhưng nó sẽ bỏ sót tất cả các trường hợp 'Vỡ nợ'.

• ROC-AUC 0.8452: Đây là một chỉ số khá tốt, cho thấy khả năng phân biệt giữa hai lớp của mô hình là tương đối mạnh. Với dữ liệu mất cân bằng, ROC-AUC thường là một thước đo đáng tin cậy hơn so với độ chính xác.

Kết luận:

Mô hình có khả năng phân biệt tốt giữa hai lớp (thể hiện qua ROC-AUC), nhưng có 22 trường hợp 'Vỡ nợ' đã bị phân loại sai là 'An toàn' (False Negatives). Tùy thuộc vào ngữ cảnh của bài toán (ví dụ: phát hiện gian lận, dự đoán vỡ nợ khoản vay), việc bỏ sót các trường hợp 'Vỡ nợ' này có thể rất tốn kém hoặc rủi ro. Vì vậy, mặc dù khả năng phân biệt tổng thể là tốt, mô hình vẫn cần được cải thiện để giảm thiểu số lượng 'Vỡ nợ' bị bỏ sót, đặc biệt nếu đó là mục tiêu quan trọng của bạn.

4.4.3. Hướng dẫn chi tiết về ROC-AUC

Đường cong ROC (Receiver Operating Characteristic Curve) và chỉ số AUC (Area Under the Curve) là những công cụ đo lường và đánh giá hiệu suất quan trọng nhất dành cho các bài toán phân lớp (Classification), đặc biệt là phân lớp nhị phân. Khác với Accuracy (Độ chính xác) rất dễ bị đánh lừa khi dữ liệu mất cân bằng, ROC-AUC mang lại cái nhìn toàn cảnh và khách quan nhất về sức mạnh của một mô hình.

Dưới đây là giải thích chi tiết về bản chất toán học, cách đọc biểu đồ và ý nghĩa thực tiễn của công cụ này:

1. Cấu trúc của biểu đồ ROC Đường cong ROC được vẽ trên một hệ trục tọa độ 2 chiều, mô tả sự đánh đổi (trade-off) giữa hai đại lượng:

• Trục tung (Y) - True Positive Rate (TPR / Recall): Tỷ lệ bắt trúng. Nó trả lời câu hỏi: Trong toàn bộ các trường hợp rủi ro thực tế (vd: gian lận, vỡ nợ), mô hình đã phát hiện đúng được bao nhiêu phần trăm?

• Trục hoành (X) - False Positive Rate (FPR): Tỷ lệ báo động giả. Nó trả lời câu hỏi: Trong toàn bộ các trường hợp an toàn thực tế, mô hình đã cảnh báo nhầm bao nhiêu phần trăm?

2. Cơ chế hoạt động: Đánh giá trên mọi ngưỡng xác suất (Thresholds) Hầu hết các chỉ số như Accuracy hay F1-Score đều yêu cầu bạn phải chốt một ngưỡng xác suất cố định (thường là 0.5) để chia nhãn 0 và 1. Tuy nhiên, điểm làm nên sức mạnh cốt lõi của ROC là nó không phụ thuộc vào bất kỳ ngưỡng nào.

Hàm tính toán ROC sẽ quét qua tất cả các ngưỡng xác suất từ 0.0 đến 1.0. Tại mỗi ngưỡng, nó tính toán một cặp giá trị (FPR, TPR) và chấm một điểm trên đồ thị. Khi nối tất cả các điểm này lại, ta được đường cong ROC.

3. Cách đọc đường cong ROC

• Mô hình hoàn hảo: Đường cong sẽ tiến sát vuông góc lên góc trên cùng bên trái của đồ thị. Điều này có nghĩa là mô hình đạt được Tỷ lệ bắt trúng (TPR) rất cao ngay cả khi Tỷ lệ báo động giả (FPR) đang ở mức cực thấp.

• Mô hình vô dụng (Đoán ngẫu nhiên): Được biểu diễn bằng một đường chéo đứt nét đi từ góc dưới bên trái lên góc trên bên phải. Tại đường này, tỷ lệ bắt trúng luôn bằng đúng tỷ lệ đoán mò (như việc tung đồng xu).

4. Chỉ số AUC (Area Under Curve) Việc so sánh sức mạnh giữa hai mô hình chỉ bằng cách nhìn đường cong uốn lượn đôi khi rất khó khăn. Do đó, người ta lượng hóa toàn bộ đường cong ROC thành một con số duy nhất là AUC (Diện tích nằm dưới đường cong):

• AUC = 0.5: Mô hình dự đoán hoàn toàn ngẫu nhiên, không có giá trị sử dụng.

• AUC = 1.0: Mô hình phân loại hoàn hảo 100%.

• Bản chất xác suất của AUC: Về mặt toán học, nếu bạn lấy ngẫu nhiên một mẫu thuộc lớp dương (có bệnh/vỡ nợ) và một mẫu thuộc lớp âm (khỏe mạnh/an toàn), AUC chính là xác suất mà mô hình sẽ xếp hạng điểm rủi ro cho mẫu dương cao hơn mẫu âm. Nếu AUC = 0.9, mô hình có 90% khả năng "xếp hạng" rủi ro đúng đắn.

5. Ý nghĩa Quản trị Kinh doanh và Vận hành ROC-AUC không chỉ là một chỉ số kỹ thuật mà nó mang đậm tư duy chiến lược kinh doanh:

• Vượt qua bẫy "Mất cân bằng dữ liệu": Trong bài toán phát hiện gian lận (chỉ chiếm 0.06% giao dịch), một mô hình nhắm mắt đoán "An toàn" cho mọi giao dịch sẽ đạt Accuracy 99.94% nhưng hoàn toàn vô dụng. ROC-AUC loại bỏ được ảo giác này vì nó tập trung vào việc mô hình có khả năng phân tách hai lớp rủi ro/an toàn hay không.

• Linh hoạt lựa chọn "Khẩu vị rủi ro": Nhờ đường cong ROC, Ban lãnh đạo không bị ép buộc phải dùng ngưỡng rủi ro 0.5. Dựa vào bài toán chi phí bất đối xứng, ngân hàng có thể nhìn lên biểu đồ ROC và quyết định: "Để phát hiện được 90% nợ xấu (TPR), chúng ta phải chấp nhận hạ ngưỡng xác suất xuống và chịu mức từ chối nhầm khách hàng tốt (FPR) là 20%". Từ đó, họ chọn ra điểm cắt (cut-off point) tối ưu nhất để cân bằng giữa bảo vệ dòng vốn và tối đa hóa doanh thu.

💻 Ví dụ Code thực chiến: Sử dụng ROC-AUC để so sánh sức mạnh 2 mô hình Trong thực tế, ROC-AUC là tiêu chuẩn vàng để so sánh chéo các mô hình. Đoạn code dưới đây giả lập dữ liệu mất cân bằng (bài toán rủi ro tín dụng), huấn luyện Logistic Regression và Random Forest, sau đó vẽ đường cong ROC gộp để so sánh năng lực của chúng ở mọi ngưỡng cắt:

import numpy as np

import matplotlib.pyplot as plt

from sklearn.datasets import make_classification

from sklearn.model_selection import train_test_split

from sklearn.linear_model import LogisticRegression

from sklearn.ensemble import RandomForestClassifier

from sklearn.metrics import roc_curve, roc_auc_score

# 1. TỰ TẠO DỮ LIỆU MẤT CÂN BẰNG (Chỉ 15% khách hàng nợ xấu)

X, y = make_classification(n_samples=2000, n_features=5, n_informative=3, # Changed n_informative from 4 to 3

                           n_classes=2, weights=[0.85, 0.15], random_state=42)

# Chia Train/Test với stratify=y để giữ nguyên tỷ lệ mất cân bằng

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42, stratify=y)

# 2. HUẤN LUYỆN 2 MÔ HÌNH KHÁC NHAU

# Mô hình 1: Logistic Regression

lr_model = LogisticRegression(random_state=42)

lr_model.fit(X_train, y_train)

y_prob_lr = lr_model.predict_proba(X_test)[:, 1] # Xác suất rơi vào lớp 1

# Mô hình 2: Random Forest

rf_model = RandomForestClassifier(n_estimators=100, max_depth=4, random_state=42)

rf_model.fit(X_train, y_train)

y_prob_rf = rf_model.predict_proba(X_test)[:, 1] # Xác suất rơi vào lớp 1

# 3. TÍNH TOÁN ĐƯỜNG CONG ROC VÀ AUC Ở MỌI NGƯỠNG

fpr_lr, tpr_lr, _ = roc_curve(y_test, y_prob_lr)

auc_lr = roc_auc_score(y_test, y_prob_lr)

fpr_rf, tpr_rf, _ = roc_curve(y_test, y_prob_rf)

auc_rf = roc_auc_score(y_test, y_prob_rf)

# 4. TRỰC QUAN HÓA SO SÁNH

plt.figure(figsize=(8, 5))

plt.plot(fpr_lr, tpr_lr, label=f'Logistic Regression (AUC = {auc_lr:.3f})', color='blue')

plt.plot(fpr_rf, tpr_rf, label=f'Random Forest (AUC = {auc_rf:.3f})', color='green', linewidth=2)

plt.plot([0, 1], [0, 1], 'k--', label='Đoán ngẫu nhiên (AUC = 0.500)')

plt.title('Đường cong ROC: Logistic Regression vs Random Forest')

plt.xlabel('Tỷ lệ Báo động giả (False Positive Rate)')

plt.ylabel('Tỷ lệ Bắt trúng (True Positive Rate / Recall)')

plt.legend(loc='lower right')

plt.grid(alpha=0.3)

plt.show()

Giải thích biểu đồ:

• Đường cong ROC: Biểu đồ này trực quan hóa khả năng phân loại của mô hình ở các ngưỡng khác nhau. Trục hoành (X-axis) là "Tỷ lệ Báo động giả" (False Positive Rate - FPR), và trục tung (Y-axis) là "Tỷ lệ Bắt trúng" (True Positive Rate - TPR), còn được gọi là độ nhạy (Recall).

• Đường màu xanh lam (Logistic Regression): Đại diện cho hiệu suất của mô hình Hồi quy Logistic.

• Đường màu xanh lá cây (Random Forest): Đại diện cho hiệu suất của mô hình Rừng ngẫu nhiên.

• Đường nét đứt màu đen ('Đoán ngẫu nhiên', AUC = 0.500): Đây là đường cơ sở; một mô hình dự đoán ngẫu nhiên sẽ có đường cong ROC nằm trên đường này với AUC là 0.5. Các mô hình tốt hơn sẽ có đường cong nằm trên đường này và càng gần góc trên bên trái càng tốt.

Ý nghĩa của các chỉ số AUC (Area Under the Curve):

• Logistic Regression (AUC = 0.953): Mô hình Hồi quy Logistic có chỉ số AUC là 0.953. Đây là một giá trị rất tốt, cho thấy mô hình này có khả năng phân biệt cao giữa các lớp.

• Random Forest (AUC = 0.969): Mô hình Rừng ngẫu nhiên có chỉ số AUC là 0.969. Đây là một chỉ số xuất sắc, thậm chí còn tốt hơn một chút so với Hồi quy Logistic.

Kết luận:

Cả hai mô hình đều hoạt động rất tốt trong việc phân loại, với chỉ số AUC cao hơn nhiều so với một mô hình đoán ngẫu nhiên. Mô hình Random Forest cho thấy khả năng phân biệt nhỉnh hơn một chút so với Logistic Regression (0.969 so với 0.953), cho thấy nó có hiệu suất tổng thể tốt hơn trong việc phân tách hai lớp.

Nhận định về việc chọn ngưỡng (Threshold) và sự đánh đổi (Trade-off)

Đường cong ROC và chỉ số AUC giúp chúng ta đánh giá tổng thể khả năng phân biệt của mô hình. Tuy nhiên, trong thực tế, chúng ta cần chọn một ngưỡng phân loại (classification threshold) cụ thể để biến xác suất dự đoán thành nhãn lớp (ví dụ: nếu xác suất > ngưỡng thì là 'Vỡ nợ', ngược lại là 'An toàn').

Việc chọn ngưỡng này tạo ra sự đánh đổi giữa:

1. Tỷ lệ Bắt trúng (True Positive Rate - TPR / Recall): Khả năng mô hình tìm thấy tất cả các trường hợp 'Vỡ nợ' thực sự. (Chúng ta muốn cái này cao).

2. Tỷ lệ Báo động giả (False Positive Rate - FPR): Khả năng mô hình dự đoán sai 'Vỡ nợ' cho những trường hợp thực sự là 'An toàn'. (Chúng ta muốn cái này thấp).

Với biểu đồ ROC hiện tại:

• Cả hai mô hình (Logistic Regression và Random Forest) đều có đường cong ROC nằm xa đường chéo (đoán ngẫu nhiên) và tiến về góc trên bên trái, cho thấy khả năng phân loại rất tốt.

• Đặc biệt, Random Forest có AUC cao hơn một chút (0.969 so với 0.953) và đường cong của nó nằm cao hơn và về phía trái hơn so với Logistic Regression, điều này có nghĩa là Random Forest có thể đạt được TPR cao hơn với cùng một FPR, hoặc đạt được cùng một TPR với FPR thấp hơn.

Lựa chọn ngưỡng dựa trên mục tiêu kinh doanh:

• Nếu mục tiêu là giảm thiểu rủi ro (ví dụ: phát hiện tối đa các trường hợp vỡ nợ, dù có thể chấp nhận một số cảnh báo giả): Bạn có thể chọn một ngưỡng thấp hơn. Điều này sẽ làm tăng TPR (bắt được nhiều trường hợp 'Vỡ nợ' hơn) nhưng cũng sẽ làm tăng FPR (có nhiều cảnh báo giả hơn cho 'An toàn').

• Nếu mục tiêu là giảm thiểu cảnh báo giả (ví dụ: không muốn làm phiền khách hàng 'An toàn' bằng việc phân loại sai họ là 'Vỡ nợ', dù có thể bỏ lỡ một số trường hợp vỡ nợ thực sự): Bạn có thể chọn một ngưỡng cao hơn. Điều này sẽ làm giảm FPR (ít cảnh báo giả hơn) nhưng cũng có thể làm giảm TPR (bỏ lỡ một số trường hợp 'Vỡ nợ' thực sự).

Vì cả hai đường cong đều khá cao, bạn có thể tìm thấy một điểm cân bằng tốt. Mô hình Random Forest có thể cho phép bạn đạt được một tỷ lệ bắt trúng ('Vỡ nợ') rất cao với tỷ lệ báo động giả khá thấp, điều này thường rất mong muốn trong các bài toán dự đoán rủi ro.

4.4.4. 💡 Insights và Ý nghĩa quản trị kinh doanh

Trong nền kinh tế thực, không tồn tại thước đo nào là "tốt nhất" cho mọi tình huống. Lựa chọn hệ thống đánh giá chính là việc lượng hóa chiến lược quản trị rủi ro của Ban điều hành thông qua bài toán Chi phí bất đối xứng (Asymmetric Cost):

• Tối ưu Precision: Trong chiến dịch Marketing bán chéo (Cross-selling), việc gửi email nhầm cho một khách hàng không có nhu cầu (False Positive - Type I Error) khiến doanh nghiệp tốn rất ít chi phí. Do đó, tổ chức sẽ tập trung tối ưu độ chuẩn xác để tránh làm phiền khách hàng.

• Tối ưu Recall: Trong quản trị rủi ro tín dụng hay tầm soát y tế, việc từ chối nhầm một hồ sơ tốt (False Positive) chỉ gây mất một khoản lợi nhuận nhỏ, nhưng việc phê duyệt nhầm một khách hàng sắp vỡ nợ (False Negative - Type II Error) sẽ gây mất trắng số tiền gốc khổng lồ. Do đó, hệ thống bắt buộc phải chọn mô hình tối đa hóa Recall.

Thấu hiểu và áp dụng đúng các thước đo này chính là ranh giới phân biệt giữa một kỹ sư lập trình máy móc và một nhà khoa học dữ liệu mang tư duy quản trị thực chiến.