Điều 16. Quản lý rủi ro mô hình
1. Đơn vị thực hiện quản lý rủi ro mô hình theo quy định tại Điều này, tối thiểu bao gồm các mô hình của hệ thống trí tuệ nhân tạo có rủi ro cao và mô hình của hệ thống trí tuệ nhân tạo có rủi ro trung bình ra quyết định trong hoạt động nghiệp vụ. Đối với hệ thống trí tuệ nhân tạo khác, đơn vị thực hiện theo quy định nội bộ của đơn vị.
2. Đơn vị thực hiện kiểm tra, đánh giá mô hình trong các trường hợp sau:
a) Trước khi đưa vào vận hành lần đầu;
b) Định kỳ tối thiểu hằng năm trong quá trình vận hành;
c) Khi xảy ra sự cố nghiêm trọng; khi có thay đổi đáng kể của hệ thống trí tuệ nhân tạo; khi phát hiện bất thường, sai lệch nghiêm trọng trong quá trình vận hành; hoặc khi mức độ rủi ro của hệ thống thay đổi.
3. Việc kiểm tra, đánh giá mô hình phải tối thiểu bao gồm các nội dung sau:
a) Đối với mô hình do đơn vị trực tiếp quản lý:
(i) Sự phù hợp của dữ liệu huấn luyện và dữ liệu kiểm thử;
(ii) Tính hợp lý của thuật toán và kiến trúc mô hình;
(iii) Hiệu năng và độ chính xác của mô hình;
(iv) Khả năng giải thích về cơ chế ra quyết định và mức độ ảnh hưởng của các yếu tố đầu vào chính đối với kết quả của mô hình;
(v) Tính công bằng và kiểm soát nguy cơ thiên lệch;
(vi) Độ ổn định và khả năng chống chịu của mô hình trong các điều kiện vận hành;
b) Đối với mô hình do bên thứ ba cung cấp dưới dạng dịch vụ thông qua nền tảng hoặc giao diện lập trình ứng dụng:
(i) Mục đích sử dụng, phạm vi triển khai và mức độ rủi ro của hệ thống;
(ii) Kết quả kiểm thử hộp đen thực tế trên tập dữ liệu của đơn vị;
(iii) Kết quả đầu ra của mô hình trong điều kiện vận hành thực tế, trừ trường hợp quy định tại điểm a khoản 2 Điều này;
(iv) Tài liệu, thông tin, báo cáo hoặc cam kết do nhà cung cấp công bố;
(v) Các biện pháp kiểm soát, giám sát và can thiệp của con người trong quá trình sử dụng.
4. Việc kiểm tra, đánh giá mô hình được thực hiện bởi bộ phận độc lập với bộ phận phát triển, triển khai, vận hành hệ thống trí tuệ nhân tạo và nhà cung cấp mô hình.
5. Đơn vị phải thiết lập cơ chế giám sát hiệu năng của mô hình, bao gồm:
a) Phát hiện kịp thời các dấu hiệu suy giảm chất lượng mô hình;
b) So sánh định kỳ giữa kết quả dự đoán của mô hình và kết quả thực tế;
c) Thiết lập ngưỡng cảnh báo và biện pháp can thiệp khi phát hiện bất thường.
6. Kết quả kiểm tra, đánh giá và giám sát phải được báo cáo cấp có thẩm quyền của đơn vị.