Có một mô hình lặp lại trong lĩnh vực này: một dự án AI y tế được công bố với kết quả ấn tượng, được triển khai, rồi vài năm sau lặng lẽ dừng.
Nguyên nhân hầu như không bao giờ là do mô hình kém.
Yếu tố một: có ai hành động ở cuối chuỗi không
Đây là yếu tố quyết định nhất.
Một mô hình dự báo nguy cơ chỉ tạo ra giá trị nếu có một quy trình cụ thể cho những trường hợp được đánh dấu nguy cơ cao.
Câu hỏi phải trả lời trước khi triển khai:
- Ai nhận cảnh báo?
- Họ làm gì khi nhận được?
- Họ có thời gian để làm việc đó không?
- Có nguồn lực để thực hiện không?
Nếu không trả lời được, mô hình sẽ tạo ra cảnh báo mà không ai xử lý — và dần bị tắt đi.
Yếu tố hai: nhân viên có dùng không
Một công cụ không được dùng thì hiệu quả bằng không, bất kể nó chính xác tới đâu.
Lý do nhân viên không dùng
- Làm tăng thời gian làm việc thay vì giảm.
- Đòi thêm thao tác nhập liệu.
- Không hiểu vì sao nó đưa ra kết luận đó.
- Đã từng thấy nó sai vài lần.
- Không được hỏi ý kiến khi thiết kế.
- Cảm thấy nó ngụ ý mình làm chưa tốt.
Điểm cuối tinh tế nhưng quan trọng: cách một công cụ được giới thiệu ảnh hưởng lớn tới việc nó được đón nhận thế nào.
Yếu tố giúp được chấp nhận
- Nhân viên tham gia từ khâu thiết kế.
- Giảm việc thay vì tăng việc.
- Giải thích được lý do của kết luận, không phải một con số không có căn cứ nhìn thấy được.
- Có thể bỏ qua mà không bị cản trở.
- Kết quả thấy được trong công việc hằng ngày.
Yếu tố ba: tích hợp vào luồng làm việc
Đây là nguyên nhân thất bại phổ biến mà ít được nói tới.
Nếu công cụ đòi hỏi:
- Mở một phần mềm riêng.
- Đăng nhập lại.
- Nhập lại thông tin đã có trong hệ thống khác.
- Chuyển qua lại giữa các màn hình.
...thì nó sẽ ít được dùng, dù mọi người đều thừa nhận nó hữu ích.
Công cụ được dùng nhiều nhất là công cụ xuất hiện ngay trong luồng làm việc sẵn có, không đòi thêm thao tác nào.
Yếu tố bốn: đo đúng thứ
Nhiều dự án chỉ đo độ chính xác của mô hình. Đây là thước đo cần thiết nhưng không đủ.
| Đo chưa đủ | Cần đo thêm |
|---|---|
| Độ chính xác của mô hình | Kết cục lâm sàng có thay đổi không |
| Số cảnh báo tạo ra | Bao nhiêu cảnh báo dẫn tới hành động |
| Số lượt dùng | Thời gian tiết kiệm được |
| Sự hài lòng ban đầu | Tỷ lệ còn dùng sau sáu tháng |
Độ chính xác cao mà không có thay đổi nào ở đầu ra là dấu hiệu dự án chưa chạm tới thực tế.
Yếu tố năm: duy trì sau khi triển khai
Nhiều dự án được đầu tư mạnh cho giai đoạn triển khai rồi bỏ mặc.
Nhưng mô hình cần được chăm sóc:
- Hiệu năng giảm dần khi dữ liệu thực tế thay đổi.
- Máy móc được thay, quy trình đổi.
- Nhân viên mới cần được đào tạo.
- Phần mềm cần cập nhật.
Câu hỏi đáng đặt ra: ai chịu trách nhiệm theo dõi hệ thống này sau một năm?
Nếu không có câu trả lời, dự án có thời hạn sử dụng.
Yếu tố sáu: bắt đầu từ vấn đề, không từ công nghệ
Hai cách khởi đầu dẫn tới hai kết quả rất khác nhau.
Bắt đầu từ công nghệ: "Chúng ta có mô hình này, dùng vào việc gì được nhỉ?"
Bắt đầu từ vấn đề: "Khoa đang gặp vấn đề cụ thể này, có cách nào giải quyết không?"
Cách thứ hai có tỷ lệ thành công cao hơn nhiều, vì nó bảo đảm ngay từ đầu rằng có người thật sự cần kết quả.
Một dấu hiệu đơn giản
Nếu muốn đánh giá nhanh triển vọng của một dự án AI y tế, hỏi một câu:
"Khi hệ thống đưa ra kết quả, ai làm gì khác đi so với trước?"
Nếu câu trả lời cụ thể và có người chịu trách nhiệm, dự án có cơ sở.
Nếu câu trả lời mơ hồ, mô hình dù tốt tới đâu cũng sẽ chỉ tạo ra những con số không ai dùng tới.
Câu hỏi thường gặp
Vì sao mô hình tốt vẫn có thể thất bại khi triển khai?
Vì một mô hình chỉ tạo ra tác động khi nó được gắn vào một quy trình có người hành động ở cuối. Nếu kết quả của nó không dẫn tới việc ai đó làm gì khác đi, nó không thay đổi được kết cục nào dù chính xác tới đâu.
Yếu tố con người quan trọng thế nào?
Rất quan trọng. Nhân viên y tế sẽ không dùng một công cụ làm tăng việc cho họ, hoặc một công cụ họ không hiểu và không tin. Việc để nhân viên tham gia từ khâu thiết kế thường quyết định thành bại nhiều hơn chất lượng thuật toán.
Nên đo gì để biết dự án có hiệu quả?
Đo kết cục lâm sàng và vận hành thật — thời gian tới can thiệp, tỷ lệ biến chứng, tỷ lệ tái nhập viện — chứ không chỉ đo độ chính xác của mô hình. Độ chính xác cao mà không có thay đổi nào ở đầu ra là dấu hiệu dự án chưa chạm tới thực tế.
Vấn đề tích hợp hệ thống là gì?
Nếu công cụ đòi nhân viên đăng nhập một phần mềm riêng và nhập lại dữ liệu, nó sẽ ít được dùng. Công cụ được dùng nhiều là công cụ xuất hiện ngay trong luồng làm việc sẵn có mà không đòi thêm thao tác.