Dự án AI nói “hiệu năng mạnh hơn”, nhưng điều đáng hỏi nhất là liệu điều kiện so sánh có được đối chiếu hay không.
Dưới đây là một ví dụ giả định để đánh giá, không phải cho dự án hiện tại. Dự án A tuyên bố xử lý một bức ảnh mất 2 giây, trong khi dự án B mất 1 giây. A tính mọi thứ gồm việc đọc ảnh, xếp hàng và xuất kết quả đầy đủ, chạy trên card đồ họa phổ thông; B chỉ tính thời gian tạo mẫu của mô hình, dùng card mạnh hơn và đã “hâm nóng” cho từng lần yêu cầu. Các con số có thể đều đúng, nhưng vẫn chưa thể viết rằng hiệu năng của B mạnh hơn, vì hai bên không đo cùng một việc.
Giả định để so sánh được, là nhiệm vụ, mẫu đầu vào, phần cứng, mức độ đồng thời và mốc bắt đầu–kết thúc đo thời gian phải giống nhau. Cần kiểm tra thêm xem chất lượng đầu ra có đạt yêu cầu không: nhanh hơn nhưng trả lời sai nhiều hơn thì chỉ nhìn tốc độ là không có ý nghĩa. Thiếu bất kỳ một hạng mục nào, kết luận chỉ có thể viết thành “mỗi bên báo cáo một kết quả, hiện tạm thời không thể so sánh ngang”.
Khi thấy bảng điểm chạy mới, hãy đối chiếu với phía dự án xem dùng cùng bộ kiểm thử, cùng cách tính thời gian và các chỉ số chất lượng giống nhau. Nếu không lấy được, thì hãy sửa “mạnh hơn” thành “điều kiện chưa đối chiếu, cần xác minh”. Nếu ngay từ đầu hai bên đang hoàn thành các nhiệm vụ khác nhau, việc so sánh ngang cũng không có cơ sở; Khi đó, nên hỏi liệu cả hai có cùng đạt tới một mục tiêu hay không.
Dưới đây là một ví dụ giả định để đánh giá, không phải cho dự án hiện tại. Dự án A tuyên bố xử lý một bức ảnh mất 2 giây, trong khi dự án B mất 1 giây. A tính mọi thứ gồm việc đọc ảnh, xếp hàng và xuất kết quả đầy đủ, chạy trên card đồ họa phổ thông; B chỉ tính thời gian tạo mẫu của mô hình, dùng card mạnh hơn và đã “hâm nóng” cho từng lần yêu cầu. Các con số có thể đều đúng, nhưng vẫn chưa thể viết rằng hiệu năng của B mạnh hơn, vì hai bên không đo cùng một việc.
Giả định để so sánh được, là nhiệm vụ, mẫu đầu vào, phần cứng, mức độ đồng thời và mốc bắt đầu–kết thúc đo thời gian phải giống nhau. Cần kiểm tra thêm xem chất lượng đầu ra có đạt yêu cầu không: nhanh hơn nhưng trả lời sai nhiều hơn thì chỉ nhìn tốc độ là không có ý nghĩa. Thiếu bất kỳ một hạng mục nào, kết luận chỉ có thể viết thành “mỗi bên báo cáo một kết quả, hiện tạm thời không thể so sánh ngang”.
Khi thấy bảng điểm chạy mới, hãy đối chiếu với phía dự án xem dùng cùng bộ kiểm thử, cùng cách tính thời gian và các chỉ số chất lượng giống nhau. Nếu không lấy được, thì hãy sửa “mạnh hơn” thành “điều kiện chưa đối chiếu, cần xác minh”. Nếu ngay từ đầu hai bên đang hoàn thành các nhiệm vụ khác nhau, việc so sánh ngang cũng không có cơ sở; Khi đó, nên hỏi liệu cả hai có cùng đạt tới một mục tiêu hay không.