Học máy: từ dữ liệu tới mô hình

Học từ dữ liệu thay cho viết mọi quy tắc

Học máy (machine learning) là lĩnh vực của trí tuệ nhân tạo nghiên cứu thuật toán và mô hình để máy tính học từ dữ liệu, rồi đưa ra dự đoán hoặc quyết định. Với bộ lọc thư, một cách làm là viết sẵn quy tắc như “có cụm từ này thì đánh dấu thư rác”. Cách học máy dùng nhiều ví dụ để thuật toán tìm các đặc điểm liên quan đến thư rác và thư hợp lệ. “Không lập trình cụ thể mọi quy tắc” không có nghĩa không cần chương trình, thuật toán hoặc người thiết kế. Mô hình là kết quả thu được sau quá trình học, được dùng để xử lí dữ liệu mới. Việc nhận một thư rồi dự đoán nhãn cho nó không tự chứng minh mô hình vừa được huấn luyện lại.

Năm bước ở mức sơ lược

Quy trình giản lược: thu thập → chuẩn bị → huấn luyện → đánh giá → sử dụng; có thể quay lại để cải thiện.

Thu thập dữ liệu đúng bài toán; chuẩn bị dữ liệu; chọn thuật toán và huấn luyện; đánh giá; sử dụng mô hình. Khi dữ liệu hoặc kết quả chưa phù hợp, có thể quay lại bước trước. Chuẩn bị gồm kiểm lỗi, xử lí giá trị thiếu có căn cứ và đưa dữ liệu về dạng phù hợp. Ô trống có thể là chưa ghi nhận, nên không tự thay mọi ô trống bằng số 0. Chất lượng dữ liệu và cách gán nhãn ảnh hưởng tới mô hình.

Dữ liệu học khác với dữ liệu đánh giá

Dữ liệu huấn luyện dùng để xây dựng mô hình. Dữ liệu kiểm thử giúp xem khả năng xử lí những trường hợp chưa dùng để học. Không đặt bản sao cùng một mẫu vào cả hai phần rồi coi là đánh giá độc lập. Nếu dùng một phần dữ liệu nhiều lần để chọn hoặc điều chỉnh mô hình, đó là phần phục vụ xác thực/điều chỉnh. Cần giữ phần kiểm tra cuối độc lập. Chia tập hợp lí giúp đánh giá, nhưng không tự bảo đảm mô hình đúng trong mọi hoàn cảnh. Ví dụ giả định: mô hình phân loại đúng 36 trong 40 thư đánh giá, tỉ lệ đúng trên tập ấy là 36/40 = 90%. Kết quả này không có nghĩa mọi thư mới đều đúng. Cần xem cả thư rác bị bỏ sót và thư hợp lệ bị chặn nhầm.

Bài luyện

Điểm nào thể hiện cách học máy để xây bộ lọc thư?

AViết tay một quy tắc cố định cho mọi từ có thể xuất hiện.BCho thuật toán học từ các thư mẫu để xây mô hình phân loại.CChỉ lưu thư vào ổ đĩa mà không phân tích.DĐặt nhãn thư rác ngẫu nhiên rồi dùng mãi không kiểm tra.

Bài luyện

Một mô hình đã huấn luyện dự đoán nhãn cho thư mới. Kết luận nào phù hợp?

ANó chắc chắn tự học lại sau mỗi lần nhận thư.BNó không còn sử dụng thuật toán nào.CNó đang sử dụng mô hình; chưa đủ căn cứ nói vừa huấn luyện lại.DMọi dự đoán sau huấn luyện đều đúng.

Bài luyện

Cách đánh giá nào dễ làm kết quả lạc quan quá mức?

AGiữ phần kiểm tra cuối chưa dùng để điều chỉnh.BKiểm cả các trường hợp dự đoán sai.CDùng các mẫu mới phù hợp với nhiệm vụ.DĐưa bản sao của mẫu huấn luyện vào tập kiểm thử rồi coi là độc lập.

Bài luyện

Mô hình đúng 36 trong 40 thư đánh giá. Cách diễn giải nào đúng?

AĐúng 90% trên tập đánh giá ấy; vẫn cần xem loại lỗi và dữ liệu mới.BĐúng 90% nghĩa là mọi thư rác đều được phát hiện.CĐúng 90% nghĩa là không bao giờ chặn nhầm thư hợp lệ.DĐúng 90% nghĩa là tự bảo đảm đúng 90% ở mọi tập dữ liệu sau này.