3.3. Chuẩn hóa dải đo dữ liệu (Data Scaling): Min-Max Scaling và Z-score Standardization

3.3.1. Bản chất và sự bất bình đẳng của dữ liệu thô 

Trong phân tích kinh tế và tài chính, các biến số hiếm khi sử dụng chung một đơn vị đo lường. Lấy ví dụ trong dữ liệu khách hàng ngân hàng: biến Thu nhập (Income) có thể lên tới hàng trăm triệu hoặc hàng tỷ đồng, trong khi biến Độ tuổi (Age) chỉ dao động trong khoảng từ 18 đến 80.

Về mặt toán học, hầu hết các thuật toán Học máy như K-Nearest Neighbors (KNN), K-Means Clustering (phân cụm dựa trên khoảng cách Euclidean), hay Mạng nơ-ron (tối ưu hóa bằng Gradient Descent) đều cực kỳ nhạy cảm với độ lớn tuyệt đối của các con số. Nếu ta đưa trực tiếp tập dữ liệu thô vào mô hình, biến Thu nhập sẽ hoàn toàn lấn át biến Độ tuổi chỉ vì nó có nhiều số 0 hơn, khiến thuật toán bị "mù" trước các đặc trưng có thang đo nhỏ. Chuẩn hóa dữ liệu (Feature Scaling) chính là giải pháp lập lại sự công bằng, ép tất cả các biến về chung một hệ quy chiếu để mô hình đánh giá đúng tầm quan trọng thực sự của từng yếu tố.

3.3.2. Phương pháp Min-Max Scaling (Chuẩn hóa dải) 

Min-Max Scaling thực hiện phép biến đổi tuyến tính để thu gọn toàn bộ dữ liệu vào một dải giá trị cố định, phổ biến nhất là từ 0 đến 1.

• Công thức: $X_{new} = \frac{X - X_{min}}{X_{max} - X_{min}}$.

• Đặc điểm: Giá trị nhỏ nhất sẽ biến thành 0, giá trị lớn nhất biến thành 1. Phương pháp này bảo toàn hoàn hảo hình dáng phân phối gốc và khoảng cách tương đối giữa các điểm dữ liệu.

• Hạn chế: Cực kỳ nhạy cảm với giá trị ngoại lai (Outliers). Nếu xuất hiện một khách hàng có thu nhập hàng trăm tỷ (outlier), toàn bộ các khách hàng bình thường khác sẽ bị nén chặt lại sát số 0, làm mất đi sự phân biệt của dữ liệu. Phương pháp này lý tưởng cho Mạng nơ-ron (Neural Networks) hoặc khi bạn biết chắc chắn trần và sàn của dữ liệu.

3.3.3. Phương pháp Z-score Standardization (Chuẩn hóa điểm chuẩn) 

Khác với Min-Max, Z-score không ép dữ liệu vào một giới hạn cứng, mà biến đổi dữ liệu dựa trên đặc tính thống kê tổng thể để có trung bình (mean) bằng 0 và độ lệch chuẩn (std) bằng 1.

• Công thức: $Z = \frac{X - \mu}{\sigma}$ (với $\mu$ là trung bình, $\sigma$ là độ lệch chuẩn).

• Đặc điểm: Một giá trị $Z = 1.5$ cho ta biết quan sát đó đang cao hơn mức trung bình 1.5 lần độ lệch chuẩn. Các thuật toán như Hồi quy tuyến tính, Logistic Regression, SVM, và PCA đặc biệt ưu ái Z-score vì chúng giả định dữ liệu phân phối quanh tâm 0.

• Ưu điểm: Ít bị bóp méo bởi các giá trị ngoại lai hơn so với Min-Max Scaling. Outliers vẫn tồn tại (ví dụ Z-score > 3), nhưng không làm các dữ liệu bình thường bị nén lại quá mức.

3.3.4. Kỷ luật thép: Chống rò rỉ dữ liệu (Data Leakage) 

Một trong những sai lầm kinh điển và nguy hiểm nhất của người mới làm Khoa học dữ liệu là áp dụng hàm tính chuẩn hóa trên toàn bộ tập dữ liệu gốc trước khi chia Train/Test. Nếu bạn làm vậy, thông tin về giá trị lớn nhất, nhỏ nhất, hoặc trung bình của tập kiểm tra (những dữ liệu đại diện cho "tương lai") đã lén lút rò rỉ vào tập huấn luyện.

• Nguyên tắc đúng: Chỉ sử dụng hàm fit_transform() trên tập Train (để máy tính học $\mu, \sigma$ hoặc $Min, Max$). Đối với tập Test, tuyệt đối chỉ dùng hàm transform() để ép dữ liệu mới theo đúng hệ quy chiếu đã học từ tập Train.

3.3.5. Code thực chiến: So sánh Min-Max và Z-score 

Đoạn mã dưới đây mô phỏng dữ liệu khách hàng với sự chênh lệch lớn giữa Age và Income. Bạn có thể sao chép, dán vào Google Colab và chạy ngay lập tức để quan sát sự khác biệt trên đồ thị:

import pandas as pd

import numpy as np

import matplotlib.pyplot as plt

import seaborn as sns

from sklearn.model_selection import train_test_split

from sklearn.preprocessing import MinMaxScaler, StandardScaler

# 1. TẠO DỮ LIỆU MÔ PHỎNG (Sự chênh lệch thang đo cực lớn)

np.random.seed(42)

data = {

    'Age': np.random.randint(18, 65, 1000),                # Tuổi: 18 - 65

    'Income': np.random.normal(15_000_000, 5_000_000, 1000) # Thu nhập: ~15 triệu

}

df = pd.DataFrame(data)

# 2. CHIA TẬP DỮ LIỆU (Tránh Data Leakage)

X_train, X_test = train_test_split(df, test_size=0.2, random_state=42)

# 3. THỰC HIỆN MIN-MAX SCALING

minmax_scaler = MinMaxScaler()

# Chỉ học (fit) và biến đổi (transform) trên tập Train

X_train_minmax = pd.DataFrame(minmax_scaler.fit_transform(X_train), columns=X_train.columns)

# 4. THỰC HIỆN Z-SCORE STANDARDIZATION

std_scaler = StandardScaler()

# Chỉ học (fit) và biến đổi (transform) trên tập Train

X_train_zscore = pd.DataFrame(std_scaler.fit_transform(X_train), columns=X_train.columns)

# 5. TRỰC QUAN HÓA SO SÁNH

fig, axes = plt.subplots(1, 3, figsize=(15, 5))

# Dữ liệu gốc

sns.scatterplot(x='Age', y='Income', data=X_train, ax=axes[0], color='gray')

axes[0].set_title("1. Dữ liệu gốc (Thang đo lệch nhau)")

# Min-Max

sns.scatterplot(x='Age', y='Income', data=X_train_minmax, ax=axes[1], color='steelblue')

axes[1].set_title("2. Min-Max Scaling (Ép vào)")

# Z-score

sns.scatterplot(x='Age', y='Income', data=X_train_zscore, ax=axes[2], color='green')

axes[2].set_title("3. Z-score (Mean=0, Std=1)")

plt.tight_layout()

plt.show()

# Kiểm tra thông số toán học của Z-score

print("--- KIỂM TRA TOÁN HỌC Z-SCORE ---")

print(f"Mean của các biến sau Z-score:\n{X_train_zscore.mean().round(2)}\n")

print(f"Std của các biến sau Z-score:\n{X_train_zscore.std().round(2)}")

Nhận xét từ biểu đồ: Bạn sẽ thấy hình dáng của đám mây dữ liệu (phân phối) ở cả ba biểu đồ là hoàn toàn giống nhau. Sự khác biệt duy nhất nằm ở trục tọa độ: Min-Max ép toàn bộ đồ thị gọn gàng vào một hình vuông x, trong khi Z-score đặt tâm của đồ thị tại điểm tọa độ (0,0) và trải rộng ra các hướng.

3.3.6. 💡 Insights và Ý nghĩa kinh tế 

Việc không chuẩn hóa dữ liệu sẽ dẫn đến "hiệu ứng lấn át" (Domination Effect). Thử tưởng tượng một mô hình chấm điểm tín dụng ngân hàng (Credit Scoring). Nếu không chuẩn hóa, một khách hàng có số dư tài khoản tăng 1.000.000 VNĐ sẽ làm thay đổi mô hình mạnh gấp hàng ngàn lần so với việc khách hàng đó già đi 1 tuổi (tăng 1 đơn vị), dù cho tuổi tác có thể là yếu tố quyết định sự chín chắn trong việc trả nợ.

Chuẩn hóa dữ liệu không phải là một thủ thuật bóp méo thực tế, mà là hành động thiết lập một sân chơi bình đẳng (level playing field). Nhờ Z-score hoặc Min-Max, các biến kinh tế từ GDP, lạm phát, đến số lượng con cái đều bị tước bỏ "lớp áo" đơn vị đo lường vật lý, chỉ còn lại giá trị thống kê thuần túy. Điều này giúp các thuật toán Học máy và các nhà kinh tế học lượng hóa được chính xác yếu tố nào thực sự tác động mạnh nhất đến kết quả kinh doanh.

Xem tiếp 3.4. Mã hóa biến phân loại (Encoding): Label Encoding và One-hot Encoding