Điều 6. Bảo đảm an toàn hệ thống trí tuệ nhân tạo
1. Hệ thống trí tuệ nhân tạo phải được kiểm tra, đánh giá an ninh mạng trước khi đưa vào vận hành chính thức và định kỳ hoặc ngay khi có thay đổi đáng kể của hệ thống trí tuệ nhân tạo, tối thiểu bao gồm:
a) Kiểm tra, đánh giá việc phòng, chống các kịch bản tấn công, rủi ro đặc thù đối với hệ thống trí tuệ nhân tạo, tối thiểu bao gồm:
(i) Tấn công vi phạm quyền riêng tư dữ liệu;
(ii) Tấn công đầu độc dữ liệu, tấn công đầu độc mô hình, tấn công né tránh và tấn công trích xuất mô hình (bắt buộc đối với hệ thống trí tuệ nhân tạo có rủi ro cao; khuyến khích áp dụng đối với các hệ thống trí tuệ nhân tạo khác);
(iii) Tấn công tiêm lệnh, rủi ro tạo sinh nội dung sai lệch hoặc không có căn cứ thực tế, rủi ro thiên lệch trong kết quả đầu ra (đối với hệ thống trí tuệ nhân tạo tạo sinh);
b) Đối với các hệ thống trí tuệ nhân tạo có rủi ro cao hoặc hệ thống trí tuệ nhân tạo có rủi ro trung bình ra quyết định trong hoạt động nghiệp vụ, áp dụng các biện pháp phòng, chống các rủi ro, lỗ hổng, tấn công mạng theo các tiêu chuẩn và thông lệ quốc tế như OWASP (OWASP Machine Learning Security Top Ten đối với hệ thống học máy, OWASP Top 10 for Large Language Model Applications đối với hệ thống sử dụng mô hình ngôn ngữ lớn; Phiên bản OWASP áp dụng là phiên bản mới nhất hoặc phiên bản gần nhất với phiên bản được ban hành trong vòng 06 tháng) hoặc tương đương;
c) Thời gian định kỳ kiểm tra, đánh giá an ninh mạng phù hợp với cấp độ an ninh mạng của hệ thống trí tuệ nhân tạo theo quy định của pháp luật về an ninh mạng;
d) Kết quả kiểm tra, đánh giá an ninh mạng và các biện pháp khắc phục phải được lập thành hồ sơ, lưu trữ phục vụ công tác quản lý, kiểm tra, thanh tra theo quy định.
2. Đơn vị phải thiết lập cơ chế giám sát hiệu năng và hành vi của hệ thống trí tuệ nhân tạo, tối thiểu bao gồm: việc phát hiện các dấu hiệu bất thường như sai lệch đầu ra, suy giảm chất lượng, thiên lệch, trôi mô hình, trôi dữ liệu hoặc hành vi bất thường khác cho thấy hệ thống hoạt động không đúng với mục đích thiết kế hoặc phạm vi sử dụng đã được phê duyệt.