6.3. Cây quyết định (Decision Tree Classifier) 

6.3.1. Bản chất và Cấu trúc "Hộp trắng" của Cây quyết định

1. Bản chất mô phỏng tư duy con người và Mô hình "Hộp trắng" Cây quyết định (Decision Tree Classifier) là một mô hình phân loại hoạt động dựa trên việc thiết lập các điều kiện logic dạng "Nếu - Thì" (If-Else) để chia nhỏ dữ liệu,. Điểm khác biệt và cũng là ưu việt lớn nhất của thuật toán này là cách thức ra quyết định của nó mô phỏng gần như hoàn hảo tư duy phân tích của con người,.

Chính nhờ đặc tính mô phỏng tư duy này, Cây quyết định được mệnh danh là một mô hình "hộp trắng" (White-box model) với tính khả giải (Interpretability) cực kỳ cao, đối lập hoàn toàn với tính chất "hộp đen" (Black-box) của các thuật toán phức tạp như Mạng nơ-ron nhân tạo (Neural Networks),. Quá trình mô hình đưa ra dự báo có thể được trực quan hóa thành một sơ đồ minh bạch, cho phép các nhà quản trị hoặc các bên liên quan không chuyên về kỹ thuật dễ dàng theo dõi tường minh luồng logic đằng sau mỗi quyết định,. Trong bối cảnh kinh tế, tính minh bạch này mang lại giá trị to lớn, đặc biệt tại các lĩnh vực đòi hỏi sự tuân thủ quy định pháp luật khắt khe và cần giải trình nguyên nhân (ví dụ: giải thích lý do từ chối hồ sơ vay vốn trong ngành tài chính, ngân hàng).

2. Cấu trúc phân cấp của Cây quyết định Mô hình Cây quyết định vận hành thông qua việc phân vùng không gian dữ liệu một cách liên tục, tạo thành một cấu trúc phân cấp đi từ trên xuống dưới,. Cấu trúc này được cấu thành từ ba bộ phận cốt lõi:

• Nút gốc (Root Node): Đây là điểm khởi đầu và là nút cao nhất của cây, đại diện cho toàn bộ tập dữ liệu ban đầu trước khi có bất kỳ sự phân chia nào. Tại nút gốc, thuật toán sẽ thực hiện phép thử trên thuộc tính quan trọng nhất để bắt đầu quá trình phân tách dữ liệu.

• Nút trung gian / Nút quyết định (Internal Node / Decision Node): Sau khi đi qua nút gốc, dữ liệu tiếp tục đi đến các nút trung gian. Mỗi nút trung gian đóng vai trò như một câu hỏi kiểm tra về một đặc trưng cụ thể của dữ liệu (ví dụ: "Lịch sử tín dụng có tốt không?" hoặc "Thu nhập có lớn hơn 20 triệu không?"),. Tùy thuộc vào câu trả lời, dữ liệu sẽ đi theo các nhánh rẽ (branches) tương ứng để di chuyển xuống các tầng sâu hơn của cây,.

• Nút lá (Leaf Node): Đây là điểm cuối cùng của sơ đồ, nơi quá trình phân chia chính thức dừng lại,. Mỗi nút lá sẽ chứa đựng và đưa ra kết quả dự báo cuối cùng, đại diện cho một nhãn phân loại cụ thể (ví dụ: nhãn "Duyệt" hoặc "Từ chối"),,.

Việc luân chuyển dữ liệu qua cấu trúc phân cấp này giúp biến đổi một tập dữ liệu tổng quát ban đầu (tại Nút gốc) qua các bước sàng lọc điều kiện (tại Nút quyết định) để đi đến phán quyết cuối cùng (tại Nút lá) một cách hệ thống, trực quan và dễ kiểm chứng.

6.3.2. Tiêu chí phân nhánh: Gini Impurity và Entropy

Để một Cây quyết định (Decision Tree) có thể tự động học và vẽ ra sơ đồ phân nhánh chuẩn xác, nó cần một cơ chế toán học để trả lời câu hỏi: "Trong số hàng chục đặc trưng đầu vào, nên chọn đặc trưng nào và lấy ngưỡng bao nhiêu để tách dữ liệu tại nút này?".

Câu trả lời nằm ở việc đo lường độ tinh khiết (Purity) hay độ vẩn đục/hỗn loạn (Impurity) của dữ liệu. Thuật toán luôn hành động theo nguyên tắc tham lam (greedy): tại mỗi nút, nó sẽ thử nghiệm các cách chia khác nhau và chọn ra cách chia làm giảm độ hỗn loạn của dữ liệu xuống mức thấp nhất.

1. Giải thích cơ chế đo lường độ hỗn loạn/tinh khiết tại mỗi nút

Giả sử tại một nút quyết định, chúng ta có một nhóm khách hàng xin vay vốn.

• Nếu nhóm này chứa 100% người "Được duyệt" (hoặc 100% "Bị từ chối"), nút này được coi là hoàn toàn tinh khiết (Độ hỗn loạn = 0).

• Nếu nhóm này chứa 50% "Được duyệt" và 50% "Bị từ chối", nút này đang ở trạng thái hỗn loạn cực đại vì mô hình không thể đưa ra bất kỳ kết luận thiên vị nào.

Để lượng hóa trạng thái này thành các con số cụ thể, Cây quyết định sử dụng hai thước đo thống kê kinh điển:

• Entropy và Information Gain (Độ lợi thông tin): Bắt nguồn từ lý thuyết thông tin, Entropy đo lường mức độ không chắc chắn hoặc sự hỗn loạn của dữ liệu tại một nút. 

• Gini Impurity (Độ vẩn đục Gini): Gini Impurity đo lường xác suất mà một quan sát được chọn ngẫu nhiên từ một nút sẽ bị gán nhãn sai nếu nó được dự đoán ngẫu nhiên theo tỷ lệ phân bổ lớp tại nút đó. 

2. Sự khác biệt và lý do Gini được chọn làm mặc định trong thuật toán CART

Khi đối chiếu trên đồ thị toán học, đường cong của Gini và Entropy có hình dáng gần như tương đồng nhau. Trên thực tế, nếu nhân đôi chỉ số Gini (Gini × 2), đường cong của nó sẽ gần như trùng khớp hoàn toàn với đường cong của Entropy. Cả hai tiêu chí này đều định hướng cấu trúc cây phân nhánh để tối đa hóa sự tách biệt giữa các lớp và thường mang lại kết quả phân loại giống hệt nhau trong hầu hết các trường hợp thực tiễn.

Tuy nhiên, trong thuật toán CART (Classification and Regression Trees) – thuật toán cốt lõi đứng sau mô hình Cây quyết định của các thư viện học máy hiện đại như Scikit-learn – Gini Impurity luôn được thiết lập làm tiêu chí phân nhánh mặc định. Quyết định này xuất phát từ một ưu điểm vượt trội về mặt kỹ thuật máy tính:

• Chi phí tính toán (Computational Cost): Việc tính toán Entropy bắt buộc phải sử dụng hàm logarit cơ số 2 ($\log_2$), một phép toán đòi hỏi rất nhiều tài nguyên và thời gian xử lý của CPU. Ngược lại, Gini Impurity chỉ sử dụng các phép toán cơ bản là bình phương ($p^2$), phép cộng và phép trừ.

• Tốc độ ở quy mô lớn: Tại mỗi nút của Cây quyết định, thuật toán phải thử nghiệm rà quét hàng nghìn ngưỡng cắt khác nhau trên mọi đặc trưng để tìm ra điểm chia tốt nhất. Việc loại bỏ được hàm logarit giúp Gini tính toán nhanh hơn gấp nhiều lần, đẩy nhanh đáng kể tốc độ huấn luyện mô hình, đặc biệt là khi phải xử lý các tập dữ liệu kinh tế quy mô khổng lồ.

(Tóm lại: Gini được chọn làm "tiêu chuẩn vàng" vì nó mang lại chất lượng phân nhánh xuất sắc tương đương Entropy nhưng lại tiết kiệm tối đa thời gian và tài nguyên tính toán của hệ thống).

6.3.3. Rủi ro Quá khớp (Overfitting) và Kỹ thuật Cắt tỉa (Pruning)

1. Hiện tượng cây "học vẹt" khi phân nhánh quá sâu Dù là một thuật toán trực quan và mạnh mẽ, nhược điểm lớn nhất và cũng là rủi ro nguy hiểm nhất của Cây quyết định là cực kỳ dễ rơi vào trạng thái quá khớp (Overfitting). Hiện tượng quá khớp này xảy ra khi mô hình bắt đầu "học vẹt", ghi nhớ một cách máy móc và quá chi tiết tập dữ liệu huấn luyện, bao gồm cả những biến động nhiễu (noise) và các giá trị ngoại lai bất thường (outliers).

Nếu chúng ta để cho Cây quyết định tự do phát triển mà không áp đặt bất kỳ giới hạn nào, thuật toán sẽ liên tục phân nhánh nhỏ dần cho tới khi mỗi nút lá ở tận cùng của cây chỉ chứa duy nhất một mẫu dữ liệu. Ở trạng thái này, mô hình có thể đạt được mức độ chính xác hoàn hảo lên tới 100% trên tập huấn luyện. Tuy nhiên, đây là một "thành tích ảo", bởi mô hình đã đánh mất hoàn toàn khả năng khái quát hóa quy luật tổng thể và sẽ thất bại thảm hại, cho ra sai số lớn khi phải đối mặt với các dữ liệu kiểm thử mới trong thực tế. Nói một cách đơn giản, cây đã ghi nhớ thuộc lòng dữ liệu thay vì thực sự "hiểu" được bản chất của bài toán phân loại.

2. Kiểm soát độ phức tạp bằng kỹ thuật Pre-pruning (thiết lập max_depth) Để ngăn chặn cây ra quyết định phát triển ngoài tầm kiểm soát, các nhà khoa học dữ liệu bắt buộc phải sử dụng kỹ thuật Cắt tỉa (Pruning) nhằm loại bỏ bớt các nhánh rẽ không mang lại nhiều giá trị dự báo. Phương pháp phòng vệ phổ biến và chủ động nhất là Pre-pruning (Cắt tỉa trước), nghĩa là thiết lập các quy tắc để bắt cây phải dừng việc phân nhánh sớm hơn, ngay trước khi nó kịp tạo ra những nút lá quá thuần khiết nhưng vô nghĩa.

Công cụ cốt lõi và hiệu quả nhất để thực thi Pre-pruning chính là thiết lập siêu tham số max_depth (Độ sâu tối đa của cây). Tham số này hoạt động như một rào chắn an toàn, quy định số lượng tầng cấp tối đa mà dữ liệu được phép chia nhỏ. Việc thiết lập max_depth tạo ra sự đánh đổi mang tính chiến lược (Bias-Variance Tradeoff):

• Nếu max_depth quá nhỏ (cây quá nông): Mô hình sẽ trở nên quá đơn giản, bỏ sót các quy luật phân loại quan trọng và rơi vào tình trạng học chưa đủ (Underfitting).

• Nếu max_depth quá lớn (cây quá sâu): Mô hình sẽ quay trở lại vết xe đổ học vẹt và bị Overfitting.

Để tìm ra điểm cân bằng hoàn hảo này, người phân tích thường phải thử nghiệm nhiều giá trị max_depth khác nhau kết hợp với phương pháp Kiểm chứng chéo (Cross-Validation). Khi tìm được độ sâu tối ưu, mô hình Cây quyết định sẽ bị ép phải giữ lại một cấu trúc đơn giản, giúp nó không chỉ duy trì tính minh bạch dễ giải thích mà còn đảm bảo năng lực dự báo vững chắc khi triển khai vào môi trường kinh doanh thực tế.