6.2. Thuật toán K-Nearest Neighbors (KNN) trong phân lớp 

6.2.1. Bản chất "Học lười" (Lazy Learning) và Nguyên lý bình chọn theo số đông

1. Mô hình phi tham số (Non-parametric) và bản chất "Học lười" (Lazy Learning) Thuật toán K-Nearest Neighbors (KNN) là một phương pháp học máy có giám sát thuộc nhóm phi tham số (non-parametric). Khác với các thuật toán như Hồi quy tuyến tính hay Hồi quy Logistic luôn cố gắng tối ưu hóa hàm mất mát để thiết lập các ranh giới phân tách toán học cố định (bằng cách tìm ra các trọng số beta), KNN không hề xây dựng bất kỳ một mô hình toán học tường minh nào trong giai đoạn huấn luyện.

Thay vào đó, KNN được mệnh danh là thuật toán "học lười" (Lazy Learning hay Instance-based Learning). Cơ chế của nó cực kỳ đơn giản: mô hình chỉ đơn thuần "học thuộc" và lưu trữ toàn bộ tập dữ liệu huấn luyện vào trong bộ nhớ. Thuật toán sẽ không thực hiện bất kỳ phép tính toán nào cho đến khi xuất hiện một dữ liệu mới cần dự báo.

2. Cách đo lường khoảng cách hình học Khi một quan sát mới xuất hiện, thuật toán KNN sẽ dựa trên nguyên lý "những đối tượng có đặc trưng giống nhau thường nằm gần nhau" để tiến hành phân lớp. Để xác định sự tương đồng, KNN sẽ đo lường khoảng cách hình học trong không gian đặc trưng từ điểm dữ liệu mới đó đến tất cả các điểm dữ liệu lịch sử đã lưu trữ trong bộ nhớ.

Thước đo khoảng cách phổ biến nhất và thường được mặc định trong đa số các bài toán là Khoảng cách Euclidean (đường thẳng nối hai điểm), được tính bằng căn bậc hai của tổng bình phương các hiệu số giữa từng đặc trưng của hai điểm:

Bên cạnh Euclidean, người ta cũng có thể dùng các loại khoảng cách khác như Manhattan hay Minkowski tùy thuộc vào cấu trúc và đặc thù của không gian dữ liệu.

3. Cơ chế Majority Voting: Quyết định nhãn dựa trên K láng giềng gần nhất Sau khi tính toán xong khoảng cách, quy trình ra quyết định phân lớp của KNN diễn ra qua cơ chế Bình chọn theo số đông (Majority Voting):

• Bước 1: Thuật toán sẽ sắp xếp các khoảng cách vừa tính được theo thứ tự tăng dần và trích xuất ra đúng K điểm dữ liệu (K láng giềng) nằm ở vị trí gần nhất so với quan sát mới.

• Bước 2: Mô hình sẽ kiểm tra nhãn (label) của K láng giềng này và tiến hành "bỏ phiếu". Nhãn phân loại nào chiếm số lượng (tỷ lệ) áp đảo nhất trong nhóm K láng giềng đó sẽ được gán làm kết quả dự đoán cuối cùng cho quan sát mới.

💡 Ví dụ trực quan: Giống như khi bạn mới chuyển đến một khu phố và muốn biết khu vực này có an toàn hay không, bạn sẽ đi hỏi 5 người hàng xóm sống sát nhà bạn nhất ($K=5$). Nếu có 4 người nói khu này an toàn và 1 người bảo không, thì theo nguyên lý số đông, bạn sẽ kết luận khu vực này là an toàn. Nhằm ngăn chặn hiện tượng kết quả bỏ phiếu bị hòa (ví dụ tỷ lệ 50/50 trong bài toán phân lớp nhị phân), tham số K thường được khuyến nghị thiết lập là các số lẻ (ví dụ: 3, 5, 7, 9).

6.2.2. Tầm quan trọng sống còn của việc Chuẩn hóa dữ liệu (Feature Scaling)

1. Hiệu ứng lấn át khoảng cách của các biến có thang đo lớn Như đã phân tích ở phần trước, cốt lõi của thuật toán KNN nằm ở việc đo lường khoảng cách hình học (thường là khoảng cách Euclidean) giữa các điểm dữ liệu. Tuy nhiên, cơ chế này lại tạo ra một điểm yếu chí mạng: KNN cực kỳ nhạy cảm với dải đo (scale) tuyệt đối của các con số đầu vào.

Trong các bộ dữ liệu y tế hay kinh tế thực tế, các đặc trưng thường có đơn vị và biên độ dao động chênh lệch nhau rất lớn. Chẳng hạn, trong bài toán dự đoán bệnh tim mạch, chỉ số Cholesterol có thể lên tới hàng trăm (mg/dl), độ tuổi ở mức hàng chục, trong khi các chỉ số xét nghiệm khác có thể chỉ là một con số thập phân. Khi tính toán khoảng cách Euclidean bằng cách cộng dồn bình phương hiệu số của các biến này, một sự chênh lệch toán học khổng lồ sẽ xảy ra.

Hệ quả là, các biến có thang đo lớn (như Cholesterol hay Thu nhập) sẽ "lấn át" hoàn toàn phép đo khoảng cách, khiến thuật toán gần như mù lòa và bỏ quên các biến có giá trị nhỏ. Mô hình lúc này sẽ bị thiên lệch nghiêm trọng, đưa ra quyết định phân lớp chỉ dựa trên một vài biến có giá trị tuyệt đối lớn, dù cho các biến nhỏ kia có thể chứa đựng tín hiệu dự báo quan trọng mang tính quyết định.

2. Sử dụng Z-score (StandardScaler) để thiết lập một "sân chơi bình đẳng" Để triệt tiêu hiệu ứng lấn át này, một kỷ luật mang tính bắt buộc trước khi huấn luyện mô hình KNN là Chuẩn hóa dữ liệu (Feature Scaling). Quá trình này giúp biến đổi các khoảng giá trị của tất cả các thuộc tính về cùng một quy mô chung mà không làm thay đổi hình dạng phân phối cốt lõi của chúng.

Phương pháp chuẩn hóa phổ biến và tối ưu nhất được các chuyên gia khuyên dùng cho KNN là Z-score Standardization (thường được thực thi thông qua công cụ StandardScaler trong thư viện Scikit-learn của Python). Phương pháp này sẽ biến đổi dữ liệu bằng cách lấy mỗi giá trị trừ đi giá trị trung bình (μ) và chia cho độ lệch chuẩn (σ) của toàn bộ cột dữ liệu đó.

Sau khi trải qua phép chuẩn hóa này, tất cả các đặc trưng đầu vào đều sẽ được ép về chung một hệ quy chiếu tiêu chuẩn: có giá trị trung bình bằng 0 và độ lệch chuẩn bằng 1. Quá trình này đã thiết lập thành công một "sân chơi bình đẳng", đảm bảo rằng mỗi đặc trưng - dù là biến tài chính khổng lồ hay biến sinh lý học nhỏ bé - đều có cơ hội đóng góp một sức nặng công bằng vào phép đo khoảng cách Euclidean, từ đó giúp "mãnh thú" KNN nhìn nhận dữ liệu một cách toàn diện và chính xác nhất.

6.2.3. Lựa chọn siêu tham số K và Lời nguyền đa chiều (Curse of Dimensionality)

Tham số K (số lượng láng giềng) là siêu tham số quan trọng nhất định đoạt sự thành bại của thuật toán K-Nearest Neighbors (KNN). Việc thiết lập K không thể tùy tiện mà phải tuân theo sự cân bằng giữa hai yếu tố toán học nền tảng, đồng thời phải đối mặt với giới hạn khắt khe của không gian dữ liệu.

1. Sự đánh đổi Bias-Variance (Bias-Variance Tradeoff) khi thiết lập K Trong học máy, sự đánh đổi Bias-Variance là nguyên lý giải thích hiện tượng quá khớp (Overfitting) và chưa khớp (Underfitting). Việc lựa chọn K trong thuật toán KNN chính là minh chứng kinh điển nhất cho sự đánh đổi này:

• Khi K quá nhỏ (Ví dụ K=1): Mô hình trở nên cực kỳ nhạy cảm với các điểm dữ liệu cục bộ, bao gồm cả những điểm nhiễu (noise). Ranh giới quyết định (decision boundary) lúc này sẽ trở nên rất phức tạp và gấp khúc. Mô hình sẽ ghi nhớ chi tiết từng điểm dữ liệu huấn luyện (có phương sai - Variance rất cao, độ chệch - Bias thấp), dẫn đến hiện tượng học vẹt (Overfitting).

• Khi K quá lớn: Mô hình sẽ lấy trung bình từ một vùng lân cận quá rộng, khiến ranh giới phân loại trở nên quá mượt mà. Lúc này, thuật toán sẽ có xu hướng luôn dự đoán theo nhóm nhãn chiếm đa số, đánh mất hoàn toàn khả năng nhận diện các cấu trúc cục bộ quan trọng của dữ liệu. Mô hình rơi vào trạng thái có độ chệch cao (High Bias), phương sai thấp, dẫn đến hiện tượng học chưa đủ (Underfitting).

Nguyên tắc lựa chọn: Không có một giá trị K nào đúng cho mọi bài toán. Một quy tắc "ngón tay cái" thường dùng là chọn $K = \sqrt{n}$ (với $n$ là số lượng quan sát trong tập huấn luyện) và nên chọn K là số lẻ để tránh tình trạng hòa phiếu. Tuy nhiên, trong thực tiễn, giá trị K tối ưu nhất luôn phải được tìm ra thông qua kỹ thuật Kiểm chứng chéo (Cross-Validation) để đo lường chính xác điểm cân bằng Bias-Variance.

2. Sự suy giảm hiệu năng và Lời nguyền đa chiều (Curse of Dimensionality) Mặc dù KNN rất linh hoạt, nhưng thuật toán này tồn tại một điểm yếu chí mạng khi phải xử lý các tập dữ liệu có số lượng biến độc lập (đặc trưng) quá lớn. Hiện tượng này được gọi là Lời nguyền đa chiều (Curse of Dimensionality).

Khi số lượng chiều (d) của không gian dữ liệu tăng lên, thể tích của không gian đặc trưng sẽ tăng trưởng theo hàm mũ. Sự bùng nổ không gian này kéo theo những hệ lụy toán học phá hủy trực tiếp cơ chế hoạt động của KNN:

• Sự thưa thớt dữ liệu: Các điểm dữ liệu trong không gian đa chiều có xu hướng phân tán và trở nên cực kỳ thưa thớt.

• Sự cào bằng khoảng cách: Khi số chiều tiến ra vô cùng, sự khác biệt về khoảng cách hình học giữa láng giềng "gần nhất" và láng giềng "xa nhất" dần hội tụ về cùng một giá trị (tiến về 0).

Hệ quả: Khi mọi điểm dữ liệu đều có khoảng cách gần như tương đồng nhau, khái niệm "láng giềng gần nhất" hay "tương đồng hình học" hoàn toàn bị vô hiệu hóa và mất đi ý nghĩa phân biệt. Thuật toán KNN trở nên "mù lòa", dẫn đến việc phân lớp sai lệch nghiêm trọng, đồng thời chi phí tính toán cũng trở nên cực kỳ chậm chạp do phải đo lường khoảng cách trên hàng ngàn chiều.

💡 Bài học thực chiến: Để thuật toán KNN phát huy hiệu quả, chúng ta chỉ nên áp dụng nó trên các không gian dữ liệu có số chiều vừa phải. Nếu bộ dữ liệu có quá nhiều đặc trưng (hàng trăm hoặc hàng ngàn biến), một nguyên tắc bắt buộc là phải áp dụng các kỹ thuật Giảm chiều dữ liệu (Dimensionality Reduction) như Phân tích thành phần chính (PCA) để nén không gian dữ liệu trước khi đưa vào mô hình KNN.

6.2.4. 💻 Ví dụ Code thực chiến: Phân loại tình trạng bệnh tim (Heart Disease)

Để minh họa nguyên lý hoạt động của KNN và tầm quan trọng của việc chuẩn hóa dữ liệu, chúng ta sẽ sử dụng bộ dữ liệu y khoa Heart Disease Dataset. Mục tiêu của bài toán là dựa trên 13 chỉ số y tế lâm sàng (như tuổi tác, huyết áp, nồng độ cholesterol, nhịp tim tối đa...) để phân loại xem một bệnh nhân có mắc bệnh tim (Nhãn target = 1) hay không (Nhãn target = 0).

1. Kỷ luật Tiền xử lý: Chuẩn hóa các chỉ số y tế lâm sàng Bộ dữ liệu này có chất lượng rất tốt, hoàn toàn không chứa giá trị khuyết thiếu. Tuy nhiên, các chỉ số y tế có sự chênh lệch khổng lồ về dải đo: nồng độ cholesterol (chol) có thể lên tới hàng trăm mg/dl, trong khi độ chênh lệch đoạn ST (oldpeak) chỉ là số thập phân rất nhỏ.

Do KNN hoạt động dựa trên việc đo lường khoảng cách Euclid, nếu không chuẩn hóa, biến chol sẽ áp đảo hoàn toàn và làm thuật toán bị "mù" trước các biến nhỏ. Vì vậy, việc áp dụng StandardScaler để đưa tất cả các đặc trưng về cùng một thang đo (trung bình bằng 0, độ lệch chuẩn bằng 1) là bước bắt buộc mang tính sống còn.

2. Triển khai Mã nguồn Python Đoạn mã dưới đây thực hiện toàn bộ quy trình: phân tách dữ liệu (80/20), chuẩn hóa bằng StandardScaler, huấn luyện mô hình KNeighborsClassifier với siêu tham số tối ưu $K=5$, và đánh giá hiệu năng.

import pandas as pd

import numpy as np

from sklearn.model_selection import train_test_split

from sklearn.preprocessing import StandardScaler

from sklearn.neighbors import KNeighborsClassifier

from sklearn.metrics import classification_report, confusion_matrix

# =====================================================================

# BƯỚC 1: ĐỌC DỮ LIỆU

# =====================================================================

# Đọc file dữ liệu (giả định file tên là heart.csv)

df = pd.read_csv('https://drive.google.com/uc?export=download&id=1WGxxot8lv0zEQ4SCCOkRXY_slDo9kazn')

# Tách biến độc lập (X) và biến mục tiêu (y)

X = df.drop('target', axis=1)

y = df['target']

# =====================================================================

# BƯỚC 2: CHIA TẬP VÀ CHUẨN HÓA DỮ LIỆU LÂM SÀNG

# =====================================================================

# Chia tập Train/Test theo tỷ lệ 80/20

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Khởi tạo và áp dụng StandardScaler

scaler = StandardScaler()

# CHÚ Ý: Chỉ fit_transform trên tập Train, và transform trên tập Test

X_train_scaled = scaler.fit_transform(X_train)

X_test_scaled = scaler.transform(X_test)

# =====================================================================

# BƯỚC 3: HUẤN LUYỆN MÔ HÌNH KNN (Với K=5)

# =====================================================================

# Khởi tạo mô hình với K láng giềng = 5

knn_model = KNeighborsClassifier(n_neighbors=5)

# Huấn luyện mô hình trên tập dữ liệu đã chuẩn hóa

knn_model.fit(X_train_scaled, y_train)

# Dự báo trên tập kiểm tra

y_pred_knn = knn_model.predict(X_test_scaled)

# =====================================================================

# BƯỚC 4: ĐÁNH GIÁ MÔ HÌNH

# =====================================================================

print("--- MA TRẬN NHẦM LẪN (CONFUSION MATRIX) ---")

cm = confusion_matrix(y_test, y_pred_knn)

print(cm)

# Corrected print statements to show individual values

print(f"True Negative (TN) : {cm[0,0]} ca (Đoán đúng Không bệnh)")

print(f"False Positive (FP): {cm[0,1]} ca (Báo động giả Có bệnh - Lỗi Loại I)")

print(f"False Negative (FN): {cm[1,0]} ca (Bỏ sót người Có bệnh - Lỗi Loại II)")

print(f"True Positive (TP) : {cm[1,1]} ca (Đoán đúng Có bệnh)\n")

print("--- BÁO CÁO PHÂN LỚP (CLASSIFICATION REPORT) ---")

print(classification_report(y_test, y_pred_knn, target_names=['Không bệnh (0)', 'Có bệnh (1)']))

3. Phân tích kết quả thực nghiệm Khi đối chiếu với kết quả thực nghiệm, mô hình KNN với $K=5$ đạt được Độ chính xác tổng thể (Accuracy) là 83.41% trên tập kiểm tra gồm 205 mẫu.

Đi sâu vào phân tích Ma trận nhầm lẫn (Confusion Matrix) và Báo cáo phân lớp, chúng ta rút ra được những nhận định y khoa sâu sắc:

• Thành công trong việc giảm "Lỗi loại II": Mô hình đoán đúng 92 ca có bệnh (TP) và 79 ca không bệnh (TN). Đáng chú ý nhất, mô hình chỉ bỏ sót 11 bệnh nhân (False Negative - dự đoán không bệnh nhưng thực tế có bệnh). Trong lĩnh vực y tế, việc giảm thiểu số ca bỏ sót là ưu tiên tối thượng để bảo vệ tính mạng người bệnh.

• Chỉ số Recall và F1-Score ấn tượng: Đối với lớp Mắc bệnh tim (Nhãn 1), chỉ số Recall đạt 89%. Điều này đồng nghĩa với việc mô hình đã giăng một "lưới lọc" đủ nhạy bén để tóm gọn 89% số bệnh nhân thực sự mắc bệnh tim. Nhờ đó, chỉ số tổng hợp F1-Score của nhóm có bệnh vươn lên mức 0.84, thể hiện sự cân bằng hoàn hảo và sự ổn định vượt trội của KNN so với các thuật toán tuyến tính đơn giản khi xử lý dữ liệu y khoa phi tuyến phức tạp.

(Lưu ý: Mặc dù hệ thống có báo động giả 23 ca (False Positive), nhưng dưới góc độ quản trị rủi ro y khoa, việc "thà bắt nhầm còn hơn bỏ sót" luôn là chiến lược an toàn và được chấp nhận để tiến hành các xét nghiệm chuyên sâu tiếp theo).

6.2.5. 💡 Insights và Ý nghĩa y tế/quản trị

1. Ưu thế phi tuyến: Giải mã chiến thắng của KNN trước Hồi quy Logistic Khi áp dụng trên cùng một bộ dữ liệu dự đoán bệnh tim (Heart Disease Dataset), kết quả thực nghiệm cho thấy KNN vượt trội hơn Hồi quy Logistic ở hầu hết các chỉ số, đặc biệt là độ chính xác tổng thể (83.41% so với 79.51%). Sự chiến thắng này không phải do ngẫu nhiên, mà bắt nguồn từ bản chất toán học đối lập của hai thuật toán:

• Giới hạn tuyến tính của Hồi quy Logistic: Hồi quy Logistic là một mô hình có tham số (parametric), hoạt động dựa trên giả định rằng mối quan hệ giữa các biến đầu vào (huyết áp, cholesterol, tuổi tác...) và xác suất mắc bệnh có thể được phân tách bằng một ranh giới tuyến tính (một đường thẳng hoặc một siêu phẳng). Tuy nhiên, cơ thể con người là một hệ thống sinh học vô cùng phức tạp. Nguy cơ mắc bệnh tim không tăng theo một đường thẳng cố định mà là sự tương tác chéo đan xen của nhiều yếu tố (ví dụ: cholesterol cao có thể chỉ nguy hiểm khi kết hợp với tuổi cao và nhịp tim bất thường). Ranh giới tuyến tính cứng nhắc của Hồi quy Logistic tỏ ra bất lực trước các vùng dữ liệu lồi lõm này.

• Sức mạnh phi tuyến của KNN: Ngược lại, KNN là thuật toán phi tham số (non-parametric) và "học lười". Nó không cố gắng gò ép dữ liệu vào một phương trình đường thẳng nào cả. Thay vào đó, KNN đưa ra quyết định bằng cách nhìn vào các "láng giềng" cục bộ. Nhờ cơ chế này, KNN có khả năng uốn lượn và vẽ ra các ranh giới phân lớp cực kỳ phức tạp, phi tuyến tính, ôm sát lấy từng cụm bệnh nhân có đặc điểm sinh lý tương đồng. Điều này giải thích vì sao KNN phân loại chính xác hơn hẳn trên các bộ dữ liệu y khoa phức tạp.

2. Quản trị rủi ro y tế: Tối thiểu hóa Lỗi loại II và bảo vệ tính mạng bệnh nhân Trong lăng kính quản trị rủi ro y tế, các loại sai lầm dự báo (Lỗi loại I và Lỗi loại II) mang lại những hậu quả kinh tế và nhân đạo hoàn toàn khác biệt:

• Lỗi Loại I (Báo động giả - False Positive) chỉ khiến một người khỏe mạnh phải lo lắng tạm thời và tốn thêm chi phí làm các xét nghiệm chuyên sâu.

• Lỗi Loại II (Bỏ sót bệnh - False Negative) lại mang tính chất thảm họa. Việc hệ thống kết luận một bệnh nhân ung thư hay tim mạch là "khỏe mạnh" sẽ tước đi "thời gian vàng" để điều trị, đe dọa trực tiếp đến tính mạng người bệnh.

Mục tiêu tối thượng của bất kỳ hệ thống sàng lọc y tế nào là phải tối ưu hóa chỉ số Recall (Độ nhạy) để dập tắt Lỗi Loại II này. Đối chiếu kết quả thực nghiệm:

• Mô hình Hồi quy Logistic đã bỏ sót 13 bệnh nhân mang mầm bệnh (FN = 13), tương ứng với mức Recall là 87%.

• Nhờ khả năng nhận diện các ranh giới phi tuyến phức tạp, mô hình KNN (K=5) đã thu hẹp số ca bỏ sót xuống chỉ còn 11 bệnh nhân (FN = 11), đẩy chỉ số Recall lên mức 89%.

Dù khoảng cách chỉ là 2 ca bệnh, nhưng trong thực tiễn y khoa, mỗi con số đại diện cho một sinh mạng được cứu sống nhờ phát hiện kịp thời.

💡 Bài học quản trị: Việc ứng dụng thuật toán KNN thể hiện một triết lý sàng lọc y tế đúng đắn: "Thà bắt nhầm còn hơn bỏ sót". Thuật toán này đóng vai trò như một màng lọc phòng tuyến đầu tiên cực kỳ nhạy bén. Nhờ tận dụng thông tin từ các bệnh nhân có hồ sơ bệnh án tương đồng trong lịch sử (các láng giềng), hệ thống giúp các bệnh viện tự động hóa quy trình phân luồng, tối thiểu hóa rủi ro rò lọt bệnh nhân nặng, từ đó nâng cao chất lượng dịch vụ y tế và uy tín của tổ chức.