Khám Phá Độ Tin Cậy Của Mô Hình GPT: Kết Quả Đánh Giá Toàn Diện Tiết Lộ Rủi Ro Tiềm Ẩn

Một nghiên cứu được thực hiện bởi Đại học Illinois tại Urbana-Champaign, Đại học Stanford, Đại học California tại Berkeley, Trung tâm An ninh Trí tuệ Nhân tạo và Viện Nghiên cứu Microsoft đã tiến hành đánh giá toàn diện về độ tin cậy của các mô hình ngôn ngữ lớn (LLMs). Nhóm nghiên cứu đã phát hành một nền tảng đánh giá tổng hợp và đã trình bày chi tiết về kết quả nghiên cứu trong bài báo gần đây có tiêu đề "DecodingTrust: Đánh giá toàn diện về độ tin cậy của các mô hình GPT".

Kết quả đánh giá đã tiết lộ một số lỗ hổng liên quan đến độ tin cậy chưa được công bố trước đây. Nghiên cứu cho thấy, mô hình GPT dễ bị dẫn dụ để tạo ra các đầu ra độc hại và thiên kiến, và có thể tiết lộ thông tin riêng tư trong dữ liệu huấn luyện và lịch sử đối thoại. Mặc dù trong các bài kiểm tra chuẩn, GPT-4 thường đáng tin cậy hơn GPT-3.5, nhưng khi đối mặt với các hệ thống hoặc gợi ý người dùng được thiết kế ác ý, GPT-4 lại dễ bị tấn công hơn, có thể là do GPT-4 tuân thủ nghiêm ngặt các chỉ dẫn gây hiểu lầm.

Nhóm nghiên cứu hợp tác với các bên liên quan để đảm bảo rằng các lỗ hổng tiềm ẩn được phát hiện sẽ không ảnh hưởng đến các dịch vụ hiện tại hướng tới khách hàng. Họ cũng đã chia sẻ các kết quả nghiên cứu với nhà phát triển mô hình GPT, và bên này đã ghi nhận những vấn đề tiềm ẩn này trong tài liệu hệ thống của các mô hình liên quan.

Nghiên cứu đã đánh giá toàn diện mô hình GPT từ tám góc độ độ tin cậy, bao gồm các tình huống xây dựng, nhiệm vụ, chỉ số và tập dữ liệu khác nhau. Mục tiêu đánh giá bao gồm: 1) hiệu suất của mô hình GPT từ các khía cạnh độ tin cậy khác nhau; 2) khả năng thích ứng của nó trong môi trường đối kháng.

Cụ thể, nghiên cứu phát hiện:

1. Trong các bản trình diễn đối kháng, mô hình GPT sẽ không bị các ví dụ phản thực làm sai lệch, nhưng có thể bị các bản trình diễn phản gian lận làm sai lệch, đặc biệt là khi các bản trình diễn phản thực gần với đầu vào của người dùng.

2. Về mặt độc hại và thiên kiến, mô hình GPT không có thiên kiến lớn đối với hầu hết các chủ đề khuôn mẫu dưới gợi ý tích cực, nhưng có thể tạo ra nội dung có thiên kiến dưới gợi ý sai lệch. Mức độ thiên kiến của mô hình bị ảnh hưởng bởi nhóm người và chủ đề khuôn mẫu được đề cập trong gợi ý của người dùng.

3. Về việc rò rỉ thông tin riêng tư, mô hình GPT có thể rò rỉ thông tin nhạy cảm từ dữ liệu huấn luyện, đặc biệt trong các ngữ cảnh cụ thể hoặc trình diễn với mẫu ít. GPT-4 mạnh mẽ hơn trong việc bảo vệ thông tin danh tính cá nhân so với GPT-3.5, nhưng cả hai mô hình đều có thể rò rỉ tất cả các loại thông tin cá nhân khi phải đối mặt với các trình diễn rò rỉ thông tin riêng tư.

Nghiên cứu này cung cấp một cái nhìn toàn diện về đánh giá độ tin cậy của mô hình GPT, tiết lộ những khoảng cách quan trọng về độ tin cậy. Nhóm nghiên cứu hy vọng rằng công việc này sẽ khuyến khích nhiều nhà nghiên cứu tham gia hơn, cùng nhau nỗ lực để tạo ra những mô hình mạnh mẽ và đáng tin cậy hơn.