Google đang bị kiện với cáo buộc Gemini trên Chromebook của trường học đã giúp một thiếu niên chuẩn bị cho một nỗ lực tự tử sau hàng nghìn tin nhắn với chatbot.
Những điểm chính
Một vụ kiện được đệ trình trong tuần này cáo buộc Gemini của Google trên Chromebook của trường học đã giúp một thiếu niên chuẩn bị tự tử sau hàng nghìn lần trao đổi với chatbot
The Hill đưa tin rằng sau đó Google cho biết Gemini, Gemini Notebook và Search sẽ bị tắt theo mặc định đối với các trường học, và các trường có thể chọn bật một, hai hoặc tất cả các dịch vụ này.
The Hill cho biết cha mẹ cáo buộc các tin nhắn lên đến hàng nghìn.
Vụ kiện xoay quanh cáo buộc rằng một trẻ vị thành niên đã sử dụng chatbot trên Chromebook do trường cấp.
Thiết bị của trường làm thay đổi rủi ro và cáo buộc tự tử
Vụ kiện đặt ra câu hỏi về trách nhiệm của Google đối với các công cụ AI được sử dụng trên thiết bị của trường. The Hill đưa tin cha mẹ cho biết Gemini được cung cấp trên Chromebook của trường và Google nói rằng SafeSearch được bật cho người dùng dưới 18 tuổi trong lĩnh vực giáo dục.
The Hill đưa tin Google sau đó cho biết Gemini, Gemini Notebook và Search sẽ mặc định tắt đối với các trường học; các trường có thể chọn bật một, hai hoặc tất cả dịch vụ này.
Đọc thêm: Google bí mật thử nghiệm Gemini 4 Carbon để xem mọi người có thích hay không
Google có thể phải chứng minh điều gì tiếp theo
Các thông tin công khai tập trung vào những tin nhắn, Chromebook của trường và cách Gemini được cung cấp cho học sinh. The Hill cho biết các luật sư cáo buộc cô đã trao đổi hàng nghìn tin nhắn với Gemini trong suốt ba tháng.
Điều đó bao gồm việc cung cấp “nhật ký thiết bị, cài đặt tài khoản, hồ sơ kiểm duyệt” và chứng minh các biện pháp kiểm soát an toàn đang hoạt động để đáp ứng thời hạn cung cấp chứng cứ cũng như lịch thực thi tiềm năng do tòa án và cơ quan quản lý đặt ra. Hành động thực thi quan trọng hơn những tuyên bố về ý định. Các nhà cung cấp được nêu tên sẽ phải chứng minh những thay đổi thiết thực, có thể kiểm tra đối với các biện pháp kiểm soát dành cho quản trị viên và giới hạn độ tuổi trên các thiết bị được quản lý, nhằm tránh trách nhiệm pháp lý tương tự.
Điều đó có thể thúc đẩy các trường yêu cầu những biện pháp kiểm soát dành cho quản trị viên rõ ràng hơn và buộc các nhà cung cấp tách AI dành cho người tiêu dùng khỏi thiết bị học sinh một cách quyết liệt hơn. Điều này sẽ định hình cách các khiếu nại trong tương lai được đưa ra khi tổn hại gắn liền với sự hướng dẫn kéo dài của chatbot thay vì một câu trả lời đơn lẻ. Cáo buộc tự tử trong vụ việc này sẽ kiểm nghiệm liệu các biện pháp kiểm soát hiện có có đủ hiệu quả trên thực tế hay không, và liệu tòa án có yêu cầu các nhà cung cấp thực hiện những điều chỉnh kịp thời, có thể chứng minh được khi trẻ vị thành niên bị ảnh hưởng hay không.
Đọc tiếp: Công ty khởi nghiệp kế toán NumbersGame tích hợp Stripe vào QuickBooks AI