Dữ liệu huấn luyện và đánh giá

Làm tốt bài đã xem chưa đủ

Một mô hình có thể khớp rất tốt các ví dụ đã học nhưng sai nhiều trên dữ liệu mới. Ta cần đánh giá bằng dữ liệu chưa dùng để điều chỉnh mô hình.

Tách học và đánh giá

Quan sát sơ đồ để nối các khái niệm với nhau.

Dữ liệu huấn luyện tạo mô hình; dữ liệu kiểm tra riêng dùng đánh giá mô hình.

Dữ liệu huấn luyện dùng để học; tập xác thực có thể dùng chọn/cải thiện mô hình; tập kiểm tra giữ cho đánh giá cuối. Không đưa bản sao của cùng dữ liệu vào cả phần học và phần kiểm rồi coi như độc lập. Quá khớp là mô hình bám quá sát đặc điểm của dữ liệu học, làm khả năng áp dụng cho dữ liệu mới kém. Chia tập không tự chữa mọi quá khớp; cần dữ liệu phù hợp và cách xây dựng mô hình hợp lí. Dữ liệu thiếu, nhãn sai hoặc thiếu đại diện có thể làm giảm chất lượng. Độ chính xác phân loại là số dự đoán đúng chia số trường hợp đánh giá, nhưng chưa phản ánh đầy đủ mọi loại lỗi.

Tính và đọc độ chính xác

Mô hình đúng 36 trong 40 ảnh kiểm tra: độ chính xác trên tập đó là 36/40 = 90%. Chỉ số không bảo đảm từng ảnh mới đúng và không cho biết bốn lỗi tập trung ở nhóm nào. Cần xem các trường hợp sai.

Thử vận dụng

Cách nào làm đánh giá khả năng xử lí dữ liệu mới dễ bị lạc quan quá mức?

AGiữ tập kiểm tra riêngBĐể bản sao ảnh huấn luyện lẫn vào tập kiểm traCXem lỗi theo từng nhómDKiểm tra chất lượng nhãn

Chỉ số tổng có thể che mất nhóm nhỏ

Trong 100 thư có 95 thư thường và 5 thư rác. Hệ thống đoán tất cả là thư thường đạt 95% đúng nhưng bỏ sót mọi thư rác. Vì vậy cần nhìn số thư rác bỏ sót và số thư thường bị chặn nhầm, không chỉ một tỉ lệ chung.

Ví dụ xem cách làm

Mô hình đúng 18 trong 24 trường hợp. Tính độ chính xác trên tập ấy.

Ví dụ xem cách làm

Nếu chọn nhiều lần mô hình dựa vào điểm trên một tập, có nên gọi tập đó là kiểm tra cuối hoàn toàn chưa dùng để chọn mô hình không?

Những điều cần nhớ

Đánh giá trên dữ liệu phù hợp chưa dùng để điều chỉnh, kiểm trùng dữ liệu và xem loại lỗi. Tỉ lệ đúng cao chưa đủ nói mô hình phù hợp mọi mục đích.