Anh em ơi, lần này tôi không xem bảng ghi nhận đóng góp, mà tập trung theo dõi log suy luận của OpenLoRA thuộc @OpenLedger . Đó là cái trò “lên một GPU mà chạy được vài nghìn model” nghe thì đã thấy điên rồi. Tôi kéo dữ liệu một tuần về các yêu cầu, và phát hiện ra một hiện tượng khá thú vị. Trên cùng một GPU có hơn ba trăm model LoRA được gắn vào, nhưng hơn 70% các request suy luận lại chỉ dồn vào đúng năm model trong số đó. Còn hơn ba trăm model kia gần như chẳng ai đoái hoài. Tại sao? Vì dù OpenLoRA về mặt kỹ thuật có thể gắn đồng thời rất nhiều model, nhưng quy tắc phân phối lưu lượng vẫn bám theo trọng số của node. Lưu lượng sẽ được ưu tiên “mớm” cho những model nằm dưới các node có số OPEN được thế chấp nhiều nhất. Model của bạn làm tốt đến mấy, chỉ cần bạn treo ở dưới một node nhỏ thì request của người dùng căn bản sẽ không bao giờ rơi vào đầu bạn.
Bộ #OpenLedger về mặt kỹ thuật quả thật có “hai tay nghề” — một card chạy vài trăm model không sập, độ trễ kiểm soát cũng khá ổn. Nhưng mô hình kinh tế thì lại đem toàn bộ lợi thế kỹ thuật đó tặng cho “ông lớn”. Những model gắn ở dưới node nhỏ giống như cửa hàng giấu trong hẻm sâu, biển hiệu cũng chẳng ai thấy. Đau nhất là: trong chi phí suy luận mà người dùng trả khi gọi model, phần trích cho phía cung cấp model là cố định. Dù chất lượng model của bạn cao hay thấp, hễ đã được gọi thì bạn nhận cùng một tỷ lệ chia.
Điều này khiến chẳng ai muốn bỏ công tối ưu các model ngách, vì lượng người gọi quá ít — chia có cao cỡ nào cũng chẳng được mấy đồng. Còn những model top dù chất lượng có thể không hơn nhiều, nhưng vì lượng lưu lượng lớn nên lại “ăn” ngập mặt. Tôi đã cố tình bám dữ liệu của một model ít người biết. Model này, trong một lĩnh vực chuyên sâu nào đó, độ chính xác cao hơn model top tới 15%, nhưng cả tuần chỉ bị gọi chưa tới mười lần. Người sáng tạo đã bỏ thời gian, bỏ sức tính để fine-tune, cuối cùng cầm về $OPEN còn không đủ để đốt tiền Gas mà họ dùng.
Trong khi đó, tác giả của model top chẳng cần làm gì nhiều: chỉ cần treo ở dưới node của ông lớn, mỗi tuần ngồi đó mà tiền tự chảy vào.
Thực chất, bộ quy tắc này không hề thưởng cho đổi mới kỹ thuật, mà là thưởng cho sự liên kết của vốn. Team có lẽ cũng không không biết vấn đề này, nhưng nếu sửa quy tắc phân phối lưu lượng chuyển sang chạy theo chất lượng model, thì các ông lớn thế chấp sẽ không chịu. Họ nhìn thấy trọng số node thay đổi là biết “bấm là chạy”. Thật sự muốn bỏ tiền vào phát triển model, anh em ơi, tôi thà đi ôm bánh và Ethereum rồi chờ bò tót tới.
Bộ #OpenLedger về mặt kỹ thuật quả thật có “hai tay nghề” — một card chạy vài trăm model không sập, độ trễ kiểm soát cũng khá ổn. Nhưng mô hình kinh tế thì lại đem toàn bộ lợi thế kỹ thuật đó tặng cho “ông lớn”. Những model gắn ở dưới node nhỏ giống như cửa hàng giấu trong hẻm sâu, biển hiệu cũng chẳng ai thấy. Đau nhất là: trong chi phí suy luận mà người dùng trả khi gọi model, phần trích cho phía cung cấp model là cố định. Dù chất lượng model của bạn cao hay thấp, hễ đã được gọi thì bạn nhận cùng một tỷ lệ chia.
Điều này khiến chẳng ai muốn bỏ công tối ưu các model ngách, vì lượng người gọi quá ít — chia có cao cỡ nào cũng chẳng được mấy đồng. Còn những model top dù chất lượng có thể không hơn nhiều, nhưng vì lượng lưu lượng lớn nên lại “ăn” ngập mặt. Tôi đã cố tình bám dữ liệu của một model ít người biết. Model này, trong một lĩnh vực chuyên sâu nào đó, độ chính xác cao hơn model top tới 15%, nhưng cả tuần chỉ bị gọi chưa tới mười lần. Người sáng tạo đã bỏ thời gian, bỏ sức tính để fine-tune, cuối cùng cầm về $OPEN còn không đủ để đốt tiền Gas mà họ dùng.
Trong khi đó, tác giả của model top chẳng cần làm gì nhiều: chỉ cần treo ở dưới node của ông lớn, mỗi tuần ngồi đó mà tiền tự chảy vào.
Thực chất, bộ quy tắc này không hề thưởng cho đổi mới kỹ thuật, mà là thưởng cho sự liên kết của vốn. Team có lẽ cũng không không biết vấn đề này, nhưng nếu sửa quy tắc phân phối lưu lượng chuyển sang chạy theo chất lượng model, thì các ông lớn thế chấp sẽ không chịu. Họ nhìn thấy trọng số node thay đổi là biết “bấm là chạy”. Thật sự muốn bỏ tiền vào phát triển model, anh em ơi, tôi thà đi ôm bánh và Ethereum rồi chờ bò tót tới.
