Embedded Files
2.4. Phát hiện và xử lý giá trị ngoại lai (Outliers) bằng IQR và Z-score
2.4. Phát hiện và xử lý giá trị ngoại lai (Outliers) bằng IQR và Z-score
2.4.1. Khái niệm và Phân loại giá trị ngoại lai (Outliers)
2.4.1. Khái niệm và Phân loại giá trị ngoại lai (Outliers)
Trong phân tích dữ liệu, giá trị ngoại lai (Outliers) là những điểm dữ liệu nằm cách biệt quá xa so với xu hướng phân phối chung của phần lớn các quan sát còn lại. Sự tồn tại của các giá trị này có thể làm sai lệch nghiêm trọng các chỉ số thống kê (như giá trị trung bình, độ lệch chuẩn) và làm giảm độ chính xác của các mô hình Học máy.
Tuy nhiên, sai lầm phổ biến nhất của người mới làm dữ liệu là "thấy ngoại lai là xóa". Trong kinh tế và kinh doanh, chúng ta cần phân định rõ hai loại ngoại lai:
Ngoại lai do lỗi (Error Outliers): Phát sinh do sai sót nhập liệu (ví dụ: gõ nhầm giá nhà 5 tỷ thành 500 tỷ) hoặc lỗi hệ thống. Loại này cần được sửa chữa hoặc xóa bỏ.
Ngoại lai hợp lệ (Genuine Extreme Values): Những quan sát hiếm nhưng hoàn toàn có thật. Ví dụ: Khách hàng siêu VIP có mức chi tiêu khổng lồ, hoặc những căn biệt thự siêu sang trong dữ liệu bất động sản. Xóa bỏ những dữ liệu này đồng nghĩa với việc doanh nghiệp đang tự làm mất đi thông tin về phân khúc thị trường giá trị cao.
Để xử lý khoa học, bước đầu tiên là phải phát hiện ra chúng thông qua hai công cụ thống kê kinh điển: IQR và Z-score.
2.4.2. Phương pháp IQR (Interquartile Range - Khoảng tứ phân vị)
2.4.2. Phương pháp IQR (Interquartile Range - Khoảng tứ phân vị)
Đây là phương pháp cực kỳ mạnh mẽ, ít bị ảnh hưởng bởi các giá trị cực đoan (robust) và vô cùng phù hợp với các dữ liệu kinh tế tài chính (vốn thường có phân phối lệch phải). Phương pháp này dựa trên 3 mốc:
Q1 (Phân vị 25%) và Q3 (Phân vị 75%).
IQR = Q3 - Q1 (Đại diện cho 50% dữ liệu ở vùng trung tâm).
Một giá trị bị coi là ngoại lai nếu nó nhỏ hơn Cận dưới Q1 - 1.5 * IQR hoặc lớn hơn Cận trên Q3 + 1.5 * IQR.
2.4.3. Phương pháp Z-score (Điểm chuẩn) Z-score đo lường một quan sát nằm cách giá trị trung bình bao nhiêu lần độ lệch chuẩn: $Z = (X - \mu) / \sigma$.
Theo quy tắc thực nghiệm, các quan sát có $|Z| > 3$ (nằm cách trung bình hơn 3 độ lệch chuẩn) sẽ bị gắn cờ là ngoại lai.
Hạn chế: Phương pháp này ngầm giả định dữ liệu có phân phối chuẩn (hình quả chuông). Hơn nữa, bản thân trung bình $(\mu)$ và độ lệch chuẩn $(\sigma)$ lại rất dễ bị méo mó bởi chính các ngoại lai, hiện tượng này gọi là "Masking effect".
2.4.4. Các chiến lược xử lý sau khi phát hiện Thay vì xóa bỏ máy móc, các nhà phân tích thường dùng các kỹ thuật sau:
Loại bỏ (Deletion): Dùng khi chắc chắn đó là lỗi nhập liệu hoặc lỗi hệ thống.
Capping / Winsorization (Cắt ngọn): Thay thế các giá trị vượt ngưỡng bằng chính giá trị tại ngưỡng Cận trên/Cận dưới. Cách này giúp giữ nguyên quy mô tập dữ liệu mà vẫn khống chế được sức tàn phá của các giá trị cực đoan.
Biến đổi Logarit (Log-transformation): Ép logarit tự nhiên để nén các giá trị siêu lớn lại, làm cho phân phối dữ liệu trở nên cân xứng hơn.
Ví dụ minh họa: Phát hiện và xử lý ngoại lai trên bộ dữ liệu giá nhà VN_housing
Ví dụ minh họa: Phát hiện và xử lý ngoại lai trên bộ dữ liệu giá nhà VN_housing
Để minh họa, chúng ta sẽ khảo sát một trích đoạn dữ liệu giá nhà đất tại Việt Nam (VN_housing). Biến Price_Million_per_m2 (Giá triệu đồng/m2) thường xuất hiện những căn nhà ở vị trí "đất vàng" với mức giá cao đột biến. Nếu dùng Z-score, giả định phân phối chuẩn sẽ bị vi phạm. Do đó, phương pháp IQR kết hợp với kỹ thuật Capping (Winsorization) là lựa chọn hoàn hảo nhất.
Bạn có thể sao chép đoạn mã sau, dán vào Google Colab và chạy ngay để xem biểu đồ Boxplot trước và sau khi xử lý ngoại lai:
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
# 1. TẠO TẬP DỮ LIỆU MÔ PHỎNG GIÁ NHÀ VN_HOUSING
data = {
'Property_ID': ['P01', 'P02', 'P03', 'P04', 'P05', 'P06', 'P07', 'P08', 'P09', 'P10'],
'Address': ['Xuan La', '19/5 road', 'Bach Dang', 'Xuan Bac', 'Nguyen Hue',
'Le Loi', 'Tran Phu', 'Dong Khoi', 'Hai Ba Trung', 'Le Duan'],
'Price_Million_per_m2': [86.96, 95.0, 130.0, 106.98, 407.78,
184.38, 104.34, 174.8, 550.0, 114.12] # Chứa ngoại lai cực đại ở P05 và P09
}
df_housing = pd.DataFrame(data)
print("--- THỐNG KÊ GIÁ NHÀ BAN ĐẦU ---")
print(df_housing['Price_Million_per_m2'].describe())
# 2. PHÁT HIỆN NGOẠI LAI BẰNG PHƯƠNG PHÁP IQR
Q1 = df_housing['Price_Million_per_m2'].quantile(0.25)
Q3 = df_housing['Price_Million_per_m2'].quantile(0.75)
IQR = Q3 - Q1
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR
print(f"\n[IQR] Cận dưới: {lower_bound:.2f} | Cận trên: {upper_bound:.2f}")
# 3. XỬ LÝ NGOẠI LAI BẰNG CAPPING (WINSORIZATION)
# Giới hạn các giá trị vượt ngưỡng về đúng bằng giá trị ngưỡng
df_housing['Price_Capped'] = df_housing['Price_Million_per_m2'].clip(lower=lower_bound, upper=upper_bound)
# 4. TRỰC QUAN HÓA SO SÁNH TRƯỚC VÀ SAU XỬ LÝ
fig, axes = plt.subplots(1, 2, figsize=(12, 5))
# Biểu đồ trước xử lý
sns.boxplot(y=df_housing['Price_Million_per_m2'], ax=axes[0], color='salmon')
axes[0].set_title('Trước xử lý: Xuất hiện các căn nhà siêu đắt', fontweight='bold')
axes[0].set_ylabel('Giá (Triệu VNĐ/m2)')
# Biểu đồ sau xử lý
sns.boxplot(y=df_housing['Price_Capped'], ax=axes[1], color='lightgreen')
axes[1].set_title('Sau xử lý (Capping): Dữ liệu được kiểm soát', fontweight='bold')
axes[1].set_ylabel('Giá (Triệu VNĐ/m2)')
plt.tight_layout()
plt.show()
print("\n--- DỮ LIỆU SAU KHI CAPPING ---")
print(df_housing[['Property_ID', 'Price_Million_per_m2', 'Price_Capped']])
Quan sát kết quả: Thuật toán đã tự động phát hiện ra các căn nhà có giá trên 268 triệu/m2 (P05: 407.78 triệu và P09: 550 triệu) là ngoại lai. Nhờ hàm .clip(), các giá trị "đất vàng" này không bị xóa đi mà được kéo về ngưỡng cận trên an toàn (khoảng 268.42 triệu/m2).
💡 Insights và Ý nghĩa kinh tế: Trong thị trường bất động sản, những căn nhà giá siêu cao không phải là lỗi nhập liệu, mà đại diện cho phân khúc hạng sang. Việc áp dụng phương pháp Capping thay vì Xóa bỏ (Deletion) mang ý nghĩa quản trị sâu sắc: Doanh nghiệp không bị mất đi tệp dữ liệu về những vị trí đắc địa, nhưng đồng thời ngăn chặn được việc những con số khổng lồ này bóp méo giá trị trung bình của toàn thị trường. Xử lý đúng ngoại lai là tiền đề sống còn để các mô hình Hồi quy dự báo giá nhà (ở Chương 3) không bị kéo lệch đường xu hướng, giúp định giá tài sản một cách sát sao và công bằng nhất.
Dưới đây là phần nội dung chi tiết cho Mục 2.4.6. Xử lý ngoại lai bằng Biến đổi Logarit (Log-transformation).
Tôi đã biên soạn phần này dựa trên các kỹ thuật xử lý dữ liệu lệch phải (right-skewed) phổ biến nhất trong kinh tế học và tài chính được đề cập trong các tài liệu, kết hợp với một đoạn mã Python trực quan hóa có thể chạy ngay lập tức.
2.4.6. Xử lý ngoại lai bằng Biến đổi Logarit (Log-transformation)
2.4.6. Xử lý ngoại lai bằng Biến đổi Logarit (Log-transformation)
1. Bản chất của Biến đổi Logarit đối với dữ liệu kinh tế Trong thực tế kinh tế và kinh doanh, rất nhiều biến số không tuân theo phân phối hình quả chuông (phân phối chuẩn) mà thường bị lệch phải nghiêm trọng (right-skewed). Các đại lượng như thu nhập hộ gia đình, doanh thu doanh nghiệp, giá vé máy bay, hay cước phí vận tải thường có đặc điểm: phần lớn các quan sát tập trung ở mức thấp hoặc trung bình, nhưng lại xuất hiện một vài giá trị khổng lồ kéo dài đuôi phân phối về phía bên phải.
Theo quy luật Pareto (quy luật 80/20), một nhóm nhỏ khách hàng "siêu VIP" (cá voi) có thể đóng góp phần lớn doanh thu của doanh nghiệp. Nếu chúng ta dùng phương pháp Xóa (Deletion) hay Cắt ngọn (Winsorization/Capping) đối với những khách hàng này, doanh nghiệp sẽ đánh mất hoàn toàn thông tin về phân khúc thị trường mang lại lợi nhuận cao nhất.
Thay vì xóa bỏ, giải pháp hoàn hảo nhất là sử dụng Biến đổi Logarit (Log-transformation). Về mặt toán học, hàm logarit có đặc tính nén các khoảng cách siêu lớn ở đuôi dữ liệu lại, đồng thời kéo giãn các khoảng cách nhỏ ở vùng dữ liệu thấp. Ví dụ: trên thang đo cơ số 10, khoảng cách giữa 10 triệu và 100.000 triệu (100 tỷ) là 10.000 lần, nhưng sau khi lấy logarit, khoảng cách này bị nén lại chỉ còn từ 1 đến 5. Phép biến đổi này giúp dữ liệu trở nên đối xứng, cân xứng hơn và "thân thiện" với các thuật toán Học máy.
2. Lưu ý kỹ thuật: Sử dụng np.log1p() Khi áp dụng logarit, một lỗi rất phổ biến là dữ liệu gốc có thể chứa giá trị bằng 0 (ví dụ: khách hàng có chi tiêu bằng 0, hoặc giá trị tài sản bằng 0). Do $\log(0) = -\infty$, phép toán sẽ bị lỗi. Thư viện NumPy cung cấp hàm np.log1p(x) (tương đương với $\log(1 + x)$) để xử lý triệt để vấn đề này, đảm bảo khi $x=0$ thì kết quả trả về là 0 một cách an toàn.
3. Ví dụ minh họa: Nén dữ liệu thu nhập hộ gia đình Dưới đây là một đoạn mã mô phỏng mức thu nhập của 100 hộ gia đình bình thường (quanh mức 15 triệu) và 3 hộ gia đình siêu giàu (từ 150 đến 500 triệu).
Bạn có thể sao chép và chạy trực tiếp đoạn code này trên Google Colab để quan sát hiệu ứng "ma thuật" của hàm logarit lên hình dáng phân phối:
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
# 1. TẠO DỮ LIỆU MÔ PHỎNG (Chứa các ngoại lai siêu lớn)
np.random.seed(42)
# 100 người có thu nhập phổ thông (trung bình 15 triệu)
normal_income = np.random.normal(15, 3, 100)
# 3 cá nhân siêu VIP có thu nhập khổng lồ
outliers = np.array([500, 700, 1000]) # Fixed: Added values for outliers
# Gộp dữ liệu thành DataFrame
income_data = np.concatenate([normal_income, outliers])
df = pd.DataFrame({'Thu_Nhap_Trieu': income_data})
# 2. ÁP DỤNG BIẾN ĐỔI LOGARIT (Ép dữ liệu)
# Dùng log1p để tránh lỗi nếu có thu nhập bằng 0
df['Thu_Nhap_Log'] = np.log1p(df['Thu_Nhap_Trieu'])
# 3. TRỰC QUAN HÓA SO SÁNH TRƯỚC VÀ SAU XỬ LÝ
fig, axes = plt.subplots(1, 2, figsize=(12, 5))
# Biểu đồ trước xử lý (Lệch phải mạnh)
sns.histplot(df['Thu_Nhap_Trieu'], bins=30, kde=True, ax=axes[0], color='steelblue')
axes[0].set_title('TRƯỚC XỬ LÝ: Dữ liệu lệch phải do ngoại lai', fontweight='bold')
axes[0].set_xlabel('Thu nhập (Triệu VNĐ)')
# Biểu đồ sau xử lý (Phân phối chuẩn hơn)
sns.histplot(df['Thu_Nhap_Log'], bins=30, kde=True, ax=axes[1], color='darkgreen')
axes[1].set_title('SAU KHI LOG: Phân phối cân xứng, ngoại lai bị nén', fontweight='bold')
axes[1].set_xlabel('Log(1 + Thu nhập)')
plt.tight_layout()
plt.show()
# Kiểm tra một vài giá trị ngoại lai sau khi bị nén
print("--- SỰ THAY ĐỔI CỦA CÁC NGOẠI LAI ---")
print(df.tail(3))
Quan sát kết quả đồ thị: Trước khi xử lý, 3 cá nhân siêu giàu kéo biểu đồ thành một cái đuôi dài thượt, khiến nhóm 100 người bình thường bị ép chặt vào góc trái. Sau khi đi qua hàm np.log1p(), con số 500 triệu bị nén xuống chỉ còn khoảng 6.21, trong khi mức 15 triệu biến thành khoảng 2.77. Biểu đồ thứ hai ngay lập tức trở nên cân xứng giống hình quả chuông (phân phối chuẩn).
💡 Insights và Ý nghĩa kinh tế: Phương pháp biến đổi logarit không chỉ là một thủ thuật toán học, mà nó phản ánh tư duy quản trị tài sản: Biến đổi tỷ lệ. Trong kinh tế học, khoảng cách từ 10 triệu lên 100 triệu có ý nghĩa tương đương với việc tăng từ 100 triệu lên 1 tỷ (đều là tăng gấp 10 lần). Việc nén dữ liệu bằng Logarit giúp các mô hình Hồi quy tuyến tính (Linear Regression) dễ dàng tìm ra quy luật tăng trưởng theo tỷ lệ % thay vì bị đánh lừa bởi quy mô tuyệt đối của dòng tiền. Đồng thời, nó tạo ra một không gian toán học công bằng, bảo toàn 100% dữ liệu của tệp khách hàng VIP để hệ thống tiếp tục phân tích, thay vì vứt bỏ họ như một "lỗi nhập liệu".
Page updated
Google Sites
Report abuse