Có một hiện tượng lặp đi lặp lại trong lịch sử ngắn của AI y tế: một mô hình đạt kết quả rất tốt trong công bố, rồi khi đưa sang một bệnh viện khác thì hiệu năng tụt đáng kể.
Đây không phải chuyện hiếm. Nó là hiện tượng trung tâm của lĩnh vực này.
Nguyên nhân một: dữ liệu ở nơi mới khác
Khác về thiết bị
Máy chụp khác hãng, khác thế hệ, cài đặt thông số khác. Ảnh ra có đặc tính khác nhau ở mức mà mắt người không để ý nhưng mô hình thì có.
Khác về quy trình
Tư thế chụp, liều, thời điểm chụp sau khi tiêm thuốc cản quang — mỗi cơ sở có quy ước hơi khác.
Khác về dân số
Phân bố tuổi, giới, thể trạng, bệnh nền và cả đặc điểm di truyền của nhóm dân cư.
Khác về tỷ lệ bệnh
Đây là yếu tố quan trọng và hay bị bỏ qua. Một mô hình huấn luyện ở bệnh viện tuyến cuối — nơi tỷ lệ bệnh cao — sẽ hoạt động khác khi đưa vào cơ sở tuyến đầu nơi đa số là người bình thường.
Nguyên nhân hai: mô hình học nhầm thứ
Đây là dạng lỗi tinh tế nhất.
Mô hình tìm bất kỳ mẫu nào tương quan với nhãn trong dữ liệu huấn luyện. Không phải mẫu nào cũng liên quan tới bệnh.
Các ví dụ đã được ghi nhận trong y văn:
- Mô hình học nhận ra loại máy chụp — vì máy di động thường dùng cho bệnh nhân nặng nằm tại giường, nên đặc trưng của máy đó tương quan với bệnh nặng.
- Mô hình học nhận ra ký hiệu hoặc dấu trên phim do kỹ thuật viên đánh dấu.
- Mô hình học nhận ra dấu vết của quy trình — ví dụ dây điện cực xuất hiện trên phim của bệnh nhân đang theo dõi.
Trong môi trường huấn luyện, các dấu hiệu này cho kết quả rất tốt. Ở môi trường mới, chúng không còn tương quan — và mô hình mất hiệu lực một cách khó lường.
Nguyên nhân ba: thiên lệch trong dữ liệu
Nếu dữ liệu huấn luyện chủ yếu đến từ một nhóm dân số, mô hình hoạt động kém hơn trên các nhóm ít được đại diện.
Đây là vấn đề có tác động thực tế: một mô hình huấn luyện chủ yếu trên dữ liệu từ một khu vực có thể không hoạt động tốt như vậy trên người bệnh ở khu vực khác, với đặc điểm hình thái, tỷ lệ mắc bệnh và bối cảnh y tế khác.
Phép thử quan trọng nhất: kiểm định ngoài
Kiểm định trong — đánh giá trên một phần dữ liệu tách ra từ cùng nguồn. Cần thiết nhưng không đủ, vì nó không phát hiện được việc mô hình học thuộc đặc điểm của nguồn đó.
Kiểm định ngoài — đánh giá trên dữ liệu từ cơ sở hoàn toàn khác, tốt nhất là nhiều cơ sở, tốt hơn nữa là ở quốc gia khác.
Đây là phép thử thật sự. Một nghiên cứu chỉ báo cáo kiểm định trong thì con số của nó có ý nghĩa hạn chế.
Kiểm định tiến cứu — triển khai thật trong quy trình lâm sàng rồi đo kết quả. Đây là mức cao nhất, và cũng là mức hiếm nhất.
Một vấn đề khác: dữ liệu trôi theo thời gian
Ngay ở cùng một nơi, dữ liệu cũng thay đổi:
- Thay máy mới.
- Đổi quy trình chụp.
- Thay đổi trong dân số bệnh nhân.
- Hướng dẫn chẩn đoán thay đổi.
Một mô hình hoạt động tốt năm nay có thể kém dần mà không ai nhận ra — vì không có ai kêu ca, chỉ là nó bỏ sót nhiều hơn một chút.
Đây là lý do các hệ thống nghiêm túc có cơ chế giám sát hiệu năng liên tục sau triển khai, không chỉ kiểm định một lần rồi thôi.
Cách đọc một tuyên bố về AI y tế
Khi gặp một con số độ chính xác ấn tượng, các câu hỏi theo thứ tự:
- Đo trên dữ liệu nào? Cùng nguồn với huấn luyện, hay nguồn độc lập?
- Bao nhiêu cơ sở? Một nơi hay nhiều nơi?
- Dân số nào? Có tương tự với người sẽ dùng không?
- Cả độ nhạy và độ đặc hiệu có được báo cáo không?
- So với ai? So với bác sĩ, hay so với không có gì?
- Có nghiên cứu tiến cứu trong điều kiện thật không?
Với người dùng bình thường, câu hỏi số một là đủ để lọc phần lớn các tuyên bố quá đà.
Điều này không phủ nhận giá trị của AI
Hiểu giới hạn không đồng nghĩa với bác bỏ.
Điểm cần rút ra là: hiệu năng của một mô hình không phải thuộc tính cố định của mô hình đó. Nó là kết quả của sự kết hợp giữa mô hình và môi trường triển khai.
Nên câu hỏi đúng không phải "mô hình này chính xác bao nhiêu phần trăm", mà là "nó chính xác bao nhiêu ở đây, với những người này".
Và câu đó chỉ trả lời được bằng cách đo — tại chỗ, sau khi triển khai, và đo tiếp theo thời gian.
Câu hỏi thường gặp
Vì sao mô hình giảm hiệu năng khi đổi nơi triển khai?
Vì dữ liệu thực tế ở nơi mới khác với dữ liệu huấn luyện: loại máy khác, quy trình chụp khác, đặc điểm dân số khác, tỷ lệ bệnh khác. Mô hình học các mẫu đặc trưng cho môi trường cũ, và những mẫu đó không còn đúng hoàn toàn ở môi trường mới.
Kiểm định ngoài là gì?
Là việc đánh giá mô hình trên dữ liệu từ một cơ sở hoàn toàn khác với nơi cung cấp dữ liệu huấn luyện. Đây là phép thử quan trọng nhất, vì kết quả tốt trên dữ liệu cùng nguồn có thể chỉ phản ánh việc mô hình học thuộc đặc điểm của nguồn đó.
Mô hình có thể học nhầm thứ gì?
Nó có thể học các dấu hiệu không liên quan tới bệnh nhưng tương quan với nhãn — ví dụ đặc điểm của loại máy chụp thường dùng cho bệnh nhân nặng, hoặc một ký hiệu trên phim. Ở môi trường mới, các dấu hiệu này không còn tương quan nữa và mô hình mất hiệu lực.
Người dùng bình thường rút ra gì từ điều này?
Rằng một con số độ chính xác ấn tượng không có nghĩa gì nếu không biết nó được đo ở đâu và trên ai. Khi đọc thông tin về một sản phẩm AI y tế, câu hỏi đầu tiên nên là dữ liệu kiểm định đến từ đâu.