Tiêu đề gốc: Nền tảng nào xây dựng đại lý AI tốt nhất? Chúng tôi thử nghiệm ChatGPT, Claude, Gemini và nhiều hơn nữa
Tác giả gốc: Jose Antonio Lanz
Nguồn gốc văn bản: https://decrypt.co/
Biên dịch: Daisy, Mars Finance
Nền tảng nào có thể xây dựng đại lý AI tốt nhất? Chúng tôi đã thử nghiệm ChatGPT, Claude, Gemini và các nền tảng khác
Tìm hiểu và so sánh năm nền tảng hàng đầu, tiết lộ nền tảng nào phù hợp nhất để quản lý đại lý AI của bạn trong các tình huống hàng ngày.
Đại lý AI có thể thực hiện nhiều việc: tìm kiếm thông tin từ thư viện tài liệu của bạn, viết mã, thu thập dữ liệu từ web, đến việc phân tích và phân tích sâu các dữ liệu phức tạp, và còn nhiều hơn nữa. Bạn còn có thể xây dựng một văn phòng ảo, được tạo thành từ một nhóm các đại lý AI chuyên tâm vào các nhiệm vụ khác nhau, hoạt động cùng nhau như một đội ngũ nhân viên kỹ thuật số chuyên nghiệp.
Nhưng điều này khó khăn đến mức nào? Nếu một người bình thường muốn tạo ra một cố vấn tài chính AI của riêng mình, chẳng hạn, không phụ thuộc vào API, không cần mã hóa kỳ quặc, không sử dụng Github, nền tảng nào có thể cung cấp hỗ trợ tốt nhất cho người dùng? Chúng tôi chỉ muốn xem những công ty AI hàng đầu này hoạt động ra sao trong việc giúp người dùng bình thường tạo đại lý AI mà không cần kỹ năng kỹ thuật cao siêu.
Chắc chắn, bạn bỏ ra bao nhiêu thì nhận lại bấy nhiêu. Trong trường hợp này, chúng tôi cũng muốn xem mức độ dễ dàng mà một người bình thường có thể thiết lập một đại lý và chất lượng kết quả mà mỗi nền tảng giao.
Thí nghiệm của chúng tôi đã so sánh năm nền tảng lớn: ChatGPT, Claude, Huggingface, Mistral AI và Gemini. Mỗi nền tảng đều nhận cùng một chỉ dẫn cơ bản, yêu cầu tạo ra một cố vấn tài chính.
Thử nghiệm tập trung vào khả năng sẵn sàng sử dụng của nền tảng. Tập trung kiểm tra xem đại lý có thể xử lý một tình huống phổ biến hay không - trong trường hợp này, giúp ai đó cân bằng 25,000 USD đầu tư với 30,000 USD nợ. Chúng tôi cũng muốn xem khả năng phân tích biểu đồ giao dịch của chúng. Chúng tôi tránh sử dụng các công cụ bổ sung để tăng năng suất của đại lý, mà cố gắng thực hiện theo cách đơn giản nhất.
Tóm lại, dưới đây là phát hiện và bảng xếp hạng mô hình của chúng tôi:
Bảng xếp hạng nền tảng
1) GPT của OpenAI (8.5/10)
Mức độ dễ dàng thiết lập: 4/5
Chất lượng kết quả: 4.5/5
ChatGPT là nền tảng cân bằng nhất, cung cấp các tùy chọn tạo đại lý phức tạp, đồng thời có tùy chọn hướng dẫn và thủ công, có thể đáp ứng nhu cầu của cả người mới hoàn toàn và những người có một chút kinh nghiệm.
Mặc dù các bản cập nhật giao diện gần đây đã chôn một số chức năng trong menu, nhưng nền tảng này thể hiện xuất sắc trong việc chuyển đổi các nhu cầu phức tạp của người dùng thành các đại lý chức năng. Chúng tôi đã thử nghiệm mô hình bằng cách xây dựng một cố vấn tài chính, và kết quả cho thấy đại lý này có khả năng nhận thức ngữ cảnh xuất sắc và khả năng giải quyết vấn đề có cấu trúc, cung cấp chiến lược chi tiết và mạch lạc cho việc quản lý nợ và phân bổ đầu tư.
2) Google Gemini (7/10)
Mức độ dễ dàng thiết lập: 4/5
Chất lượng kết quả: 3/5
Gemini nổi bật với giao diện tinh tế, trực quan và khả năng xử lý lỗi xuất sắc. Mặc dù cần gợi ý chi tiết hơn để đạt được kết quả tốt nhất, nhưng sự giải thích nghĩa đen của nó về các lệnh tạo ra các kết quả nhất quán và có thể dự đoán.
Đại lý này trong cách tiếp cận tư vấn tài chính nhấn mạnh việc thu thập ngữ cảnh trước khi đưa ra gợi ý, tương tự như thực hành chuyên nghiệp. Tuy nhiên, trong phản hồi không mẫu, nó có thể quá bảo thủ.
3) HuggingChat (6.5/10)
Mức độ dễ dàng thiết lập: 2/5
Chất lượng kết quả: 4.5/5
Nền tảng mã nguồn mở này cung cấp khả năng tùy chỉnh và lựa chọn mô hình vô song. Đối với những người tìm kiếm quyền kiểm soát chi tiết từng phần, đây là lựa chọn tuyệt vời, nhưng đối với những người tìm kiếm sự tiện lợi, có thể không phù hợp. (Có thể so sánh nó với sự khác biệt giữa hệ thống Linux và hệ thống macOS). Khung thời gian phức tạp và tích hợp công cụ của nó cho thấy khả năng tiên tiến.
Chúng tôi đã xây dựng một đại lý thuần túy, không có chức năng bổ sung nào. Chúng tôi đã sử dụng Nvidia's Nemomotron làm mô hình ngôn ngữ lớn cơ sở, chất lượng đầu ra của nó đủ để so sánh với ChatGPT. Đối với nhóm mã nguồn mở, đây là một kết quả tốt.
4) Claude (5.5/10)
Mức độ dễ dàng thiết lập: 2.5/5
Chất lượng kết quả: 3/5
Nền tảng của Anthropic thể hiện tốt trong các lĩnh vực cụ thể, đặc biệt là trong các nhiệm vụ cần xử lý nhiều ngữ cảnh và phân tích mã. Giao diện đơn giản của nó che giấu khả năng phức tạp của nó, nhưng trường thông tin "tùy chọn" có thể gây nhầm lẫn cho người dùng.
Đại lý của chúng tôi rất bảo thủ và mơ hồ trong việc đưa ra lời khuyên, nhưng thể hiện nhận thức tốt về rủi ro và tư duy chiến lược. Nó cần những gợi ý cẩn thận hơn để thực sự phát huy tiềm năng của nó, nhưng nếu thử nghiệm sử dụng gợi ý thích ứng, điều này sẽ đi ngược lại với giả định về các điều kiện tương tự, vì vậy không công bằng.
5) Mistral AI (5/10)
Mức độ dễ dàng thiết lập: 2.5/5
Chất lượng kết quả: 2.5/5
Nền tảng Pháp này cung cấp các tùy chọn học tập dựa trên ví dụ và tùy chỉnh sâu sắc độc đáo. Tuy nhiên, giao diện dành cho nhà phát triển và các vấn đề chuyển đổi ngôn ngữ đôi khi tạo ra rào cản cho những người không có kỹ thuật. Nó cũng cần điều chỉnh cấu hình của đại lý để thích ứng với các mô hình thực hiện các nhiệm vụ khác nhau như phân tích hình ảnh hoặc xử lý mã. Điều này không lý tưởng.
Cố vấn tài chính thể hiện tiềm năng trong thiết kế tương tác, nhưng gặp khó khăn trong việc xác minh toán học cơ bản, là kết quả đầu ra tệ nhất. Không phải là đầu ra không tốt, nhưng trong thử nghiệm không mẫu, đây là điều không thỏa mãn nhất.
Phân tích sâu
Xét về bảng xếp hạng trước đó, không có giải pháp chung nào, tất cả các nền tảng đều có ưu điểm và nhược điểm riêng. Qua một số gợi ý tập trung và cẩn thận, kết quả của một nền tảng có thể khác biệt, thậm chí vượt qua các nền tảng khác. Cuối cùng, tất cả các mô hình ngôn ngữ (LLM) có phong cách gợi ý khác nhau.
Nếu bạn muốn tìm hiểu thêm về lý do đứng sau bảng xếp hạng của chúng tôi, đây là phân tích sâu hơn về kinh nghiệm và kết quả của các đại lý. Chúng tôi đã cấu hình tất cả các đại lý với cùng một gợi ý hệ thống, không có tham số và chức năng bổ sung, và hỏi chúng cùng một câu hỏi cơ bản: "Tôi có 25K USD để đầu tư và có 30K USD nợ. Hãy lập một kế hoạch tài chính cho tôi."
OpenAI
Giao diện ChatGPT gần đây đã được cập nhật, thực sự làm cho việc vận hành trở nên phức tạp hơn. Các tùy chọn tạo GPT hiện được ẩn trong menu, nhưng một khi tìm thấy, nó cung cấp hai con đường: một là thiết lập theo dạng hội thoại, AI giúp bạn xây dựng đại lý của bạn; một là cấu hình thủ công, phù hợp cho những người biết chính xác họ muốn gì.
Nền tảng GPT của OpenAI là một "dao cắt Thụy Sĩ" đầy đủ chức năng - nó có thể đọc mã, tìm kiếm web, xử lý hình ảnh tạo ra và phân tích. Quá trình thiết lập được điều hướng bằng AI khiến nó đặc biệt phù hợp với người mới, mặc dù đối với những người dùng cấp cao cần kiểm soát tinh vi, có thể cảm thấy hơi hạn chế. (Ví dụ, nếu bạn yêu cầu mô hình cụ thể hoặc chi tiết hơn, nó có thể thay đổi toàn bộ gợi ý hệ thống, dẫn đến kết quả kém hơn.)
Trong việc sử dụng thực tế đại lý, ChatGPT rất trực tiếp, giao diện rõ ràng và dễ hiểu.
Các đại lý này có thể đọc tài liệu và hiểu hình ảnh một cách tự nhiên, điều này mang lại cho chúng một lợi thế nhất định so với các nền tảng khác.
Bây giờ, hãy nói về chất lượng đại lý mà bạn có thể tạo ra qua các gợi ý cơ bản. Cố vấn tài chính của chúng tôi, MoneyGPT, đã cho chúng tôi thấy một khóa học thạc sĩ về giải quyết vấn đề có cấu trúc, với hiệu suất khá ấn tượng.
Ngoài việc phân bổ tài chính chính xác - "$20,000 cho nợ lãi suất cao" cùng với phân chia danh mục đầu tư chi tiết - đại lý còn thể hiện khả năng lý luận tài chính phức tạp. Nó cung cấp một bản đồ năm bước, không chỉ là một danh sách mà là một chiến lược mạch lạc, xem xét nhu cầu ngắn hạn và kế hoạch dài hạn.
Lợi thế của đại lý này là khả năng cân bằng giữa chi tiết và ngữ cảnh. Mặc dù nó đã đề xuất một danh mục đầu tư cụ thể (40% đầu tư vào S&P 500, 30% đầu tư vào trái phiếu), nhưng nó cũng giải thích lý do đằng sau sự gợi ý: "Trả nợ lãi suất cao giống như nhận được một khoản đầu tư đảm bảo." Sự nhận thức về ngữ cảnh này kéo dài đến kế hoạch dài hạn, đề xuất xem xét định kỳ và điều chỉnh chiến lược theo các tình huống thay đổi.
Tuy nhiên, sự phong phú của thông tin này cũng phơi bày một điểm yếu tiềm ẩn: có thể khiến người dùng cảm thấy choáng ngợp vì cung cấp quá nhiều chi tiết một lần. Mặc dù về mặt kỹ thuật, nó rất toàn diện, nhưng việc truyền tải nhanh chóng các phân bổ cụ thể, chiến lược đầu tư và kế hoạch theo dõi có thể gây sợ hãi cho người mới trong lĩnh vực tài chính.
Tổng thể, nền tảng tạo đại lý của Google Gemini nổi bật về mặt thẩm mỹ, với một giao diện tinh tế, trực quan, khiến quá trình tạo đại lý trở nên gần như quá đơn giản. Hệ thống giải thích câu lệnh theo nghĩa đen giúp tránh nhầm lẫn, và giao diện người dùng đơn giản của nó cũng loại bỏ cảm giác áp lực trong phát triển AI.
Tuy nhiên, để có được kết quả chất lượng, nó cần gợi ý chi tiết hơn. Nó không tự động xử lý mọi thứ: các gợi ý ngắn sẽ đưa ra phản hồi chất lượng thấp.
Ở phía sau, nó có sức mạnh lớn - tích hợp tìm kiếm web hỗ trợ của Google, phân tích mã và khả năng xử lý hình ảnh, tương đương với chức năng của ChatGPT, nhưng phần lớn phụ thuộc vào công nghệ của Microsoft.
Giao diện người dùng của Gemini cảm giác như được thiết kế bởi những người thật sự hiểu trải nghiệm người dùng. Giao diện dẫn dắt người dùng bằng các nhãn rõ ràng, mọi thông tin đều có thể hiển thị trên một màn hình.
Cách tiếp cận tinh tế này khiến nó đặc biệt thu hút người dùng mới, mặc dù người dùng có kinh nghiệm có thể cảm thấy nó thiếu sự kiểm soát chi tiết hơn.
Chúng tôi đã đặt tên cho đại lý của mình là MoneyGem và yêu cầu nó cung cấp một kế hoạch tài chính. Cách tiếp cận tư vấn của nó cho thấy phương pháp giải quyết vấn đề độc đáo của Google. Nó không đưa ra câu trả lời trực tiếp, mà là hỏi trước các câu hỏi như "Đây là loại nợ gì?" và "Tỷ lệ lãi suất của bạn là bao nhiêu?" - cho thấy nó hiểu rằng lời khuyên tài chính không phải là một kích thước vừa cho tất cả.
Nó nhấn mạnh việc thu thập thông tin ngữ cảnh trước khi đưa ra lời khuyên, điều này nhất quán với thực tiễn lập kế hoạch tài chính chuyên nghiệp, mặc dù điều này có thể khiến người dùng đang tìm kiếm câu trả lời nhanh cảm thấy thất vọng.
Câu trả lời không có mẫu không hữu ích. Đại lý cơ bản cho biết nó không hiểu người dùng và không thể cung cấp lời khuyên tài chính tốt. Sau khi yêu cầu nó đưa ra giả định và buộc nó cung cấp một kế hoạch phù hợp cho hầu hết các tình huống, đại lý đã tạo ra một bản nháp kế hoạch rất bảo thủ, nhưng không đưa ra lời khuyên đầu tư cụ thể.
Tuy nhiên, cuối cùng MoneyGem đã đưa ra một gợi ý để tối đa hóa các tài khoản ưu đãi thuế như 401(k) hoặc Roth IRA để giảm gánh nặng thuế. Không tồi.
Bạn có thể nhấp vào đây để xem tương tác của chúng tôi với MoneyGem và thử nghiệm mô hình này bằng cách nhấp vào liên kết này.
Mistral AI
Quá trình cấu hình đại lý của Mistral có chút phức tạp, xa rời sự dễ dàng. Công cụ tạo đại lý ẩn trong bảng điều khiển phát triển của nó, có các tùy chọn tùy chỉnh sâu, có thể khiến người mới cảm thấy bối rối, nhưng sẽ làm hài lòng những người thích khám phá.
Giao diện xây dựng đại lý của nó không phải là một phần của LeChat (giao diện trò chuyện), nhưng một khi đại lý được tạo xong, nó sẽ xuất hiện ở đó.
Một điểm mà chúng tôi rất thích là khả năng định hình hành vi và phong cách phản hồi của đại lý thông qua các đầu vào ví dụ, đây là tính năng mà các nền tảng khác hiện tại không cung cấp. Tuy nhiên, có một lỗi kỳ lạ: khi tạo đại lý, giao diện UI đột nhiên chuyển sang tiếng Pháp, có thể là do công ty có nguồn gốc từ Pháp. Dù sao đi nữa, chúng tôi không thể chuyển về tiếng Anh hoặc tiếng Tây Ban Nha.
Khi đại lý được tạo xong, người dùng phải gọi nó trong giao diện trò chuyện bình thường để sử dụng. Người dùng cần thoát khỏi Le Plateforme, vào Le Chat, điều này không phải là thao tác trực quan nhất. Tuy nhiên, việc sử dụng giao diện của đại lý khá trực tiếp, cảm giác giống như các chatbot AI khác.
Chúng tôi đã tạo đại lý của mình và đặt tên là Le Money để tôn vinh nguồn gốc Pháp của Mistral. Hiệu suất của nó rõ ràng cho thấy phương pháp giải quyết vấn đề tổng quát của Mistral. Nó đề nghị "Dành 10,000 USD làm quỹ khẩn cấp, 15,000 USD để trả nợ, 10,000 USD để đầu tư", có vẻ như là điều hiển nhiên, nhưng cũng cho thấy đại lý này thiếu một số kiểm tra toán học cơ bản.
Tổng số 35,000 USD vượt quá 10,000 USD tiền khả dụng, đây là một sai lầm cơ bản mà một số mô hình ngôn ngữ có thể mắc phải khi ưu tiên tính chính xác về khái niệm thay vì độ chính xác về số liệu.
Tuy nhiên, chúng tôi phải lưu ý rằng các LLM hoạt động tốt nhất đã có sự cải tiến lớn và không thường xuyên mắc sai lầm như vậy - ít nhất không thường xuyên như Mistral.
Ngoài ra, kế hoạch của Le Money không rất chi tiết, nhưng đây là đại lý duy nhất cung cấp các câu hỏi tiếp theo có thể giúp tương tác trở nên mượt mà hơn và giúp nó hiểu nhu cầu của người dùng tốt hơn.
Kế hoạch đầy đủ của LeMoney có thể được xem tại đây, đại lý có thể được thử nghiệm tại đây.
Anthropic
Dự án của Claude cảm giác không giống như một nền tảng tạo đại lý, mà giống như một hệ thống thực hiện nhiệm vụ phức tạp. Giao diện đơn giản, gần như quá đơn giản, và không quá trực quan.
Giao diện tối giản này có thể khiến một số người dùng cảm thấy bối rối. Nền tảng cung cấp một cài đặt cơ bản và có một trường lệnh "tùy chọn", cảm giác vừa không quan trọng vừa rất quan trọng: nếu lệnh được đánh dấu là tùy chọn, thì đại lý AI sẽ biết nó nên làm gì?
Giao diện cực kỳ tối giản cảm thấy hơi kỳ quặc, nhưng Anthropic từ trước đến nay không nổi tiếng với thiết kế UI của mình. Cùng một cửa sổ cấu hình mô hình cũng được sử dụng để gửi các gợi ý đến nó. Chức năng chính tập trung vào giải thích mã văn bản, không có chức năng nào khác. Tìm kiếm trực tuyến, xử lý hình ảnh và tạo là các chức năng cao cấp mà Anthropic dành cho đối thủ.
Đại lý của chúng tôi, được đặt tên là MoneyClaude, không thể thử nghiệm công khai vì Anthropic không cho phép. Nó đã có một lập trường rất bảo thủ trong việc cung cấp lời khuyên tài chính, mặc dù phản hồi về mặt kỹ thuật là chính xác, nhưng nội dung lại rất mơ hồ - chẳng hạn như, "Giữ cân bằng giữa việc giảm nợ và tiết kiệm cần thiết".
Nó đã yêu cầu thêm thông tin, nhưng ít nhất trong trường hợp không có những thông tin này, nó đã cung cấp một chiến lược rất tổng quát mà không cần tương tác thêm, điều này dường như lý tưởng hơn so với phương pháp của Google.
Hugging Face
Nền tảng mã nguồn mở này khác biệt hoàn toàn, là thiên đường cho người dùng cấp cao - nhưng có thể là cơn ác mộng tiềm năng cho người mới. Đây là nền tảng duy nhất cho phép người dùng chọn mô hình ngôn ngữ mà họ thích, cung cấp quyền kiểm soát chưa từng có để xác định nền tảng của đại lý.
Ngoài ra, người dùng có thể tích hợp hàng chục công cụ khác nhau vào đại lý của họ, nhưng chỉ có thể kích hoạt ba công cụ cùng một lúc. Giới hạn này buộc người dùng phải suy nghĩ cẩn thận về các chức năng quan trọng nhất cho từng trường hợp cụ thể, nhưng đây là điều mà không mô hình nào khác có thể cung cấp.
Nó là trải nghiệm có thể tùy chỉnh nhất trong tất cả các giao diện, với nhiều cài đặt có thể điều chỉnh. Kết quả là, nền tảng này có thể tạo ra những đại lý mạnh mẽ và chuyên nghiệp hơn so với đối thủ, nhưng chỉ thành công khi nằm trong tay những người hoàn toàn hiểu cách vận hành.
Người dùng có thể thử nghiệm đại lý của họ trên HuggingChat - không nghi ngờ gì là giấc mơ của người dùng cấp cao. Một khi đại lý được tạo ra, việc sử dụng rất đơn giản. Giao diện hiển thị một thẻ lớn chứa tên đại lý, mô tả và ảnh. Nó cũng cho phép người dùng chia sẻ liên kết đại lý và điều chỉnh cài đặt của nó, tất cả đều có thể thực hiện trực tiếp trên thẻ.
Khi đưa đại lý HuggingMoney của chúng tôi vào thử nghiệm, chúng tôi nhận thấy cách nó xử lý các khung thời gian thể hiện sự hiểu biết sâu sắc hơn về tâm lý lập kế hoạch tài chính. Nó phân chia kế hoạch thành "ngắn hạn (0-24 tháng), trung hạn (24-60 tháng) và dài hạn (trên 60 tháng)", điều này nhất quán với thực hành lập kế hoạch tài chính chuyên nghiệp.
Đại lý đề xuất "$0-$5,000 đầu tư vào các công cụ có tính thanh khoản cao và rủi ro thấp", trong khi duy trì thanh toán nợ tích cực hàng tháng "$1,000-$1,500". Đề xuất này thoạt nhìn cho thấy sự hiểu biết tỉ mỉ về quản lý dòng tiền.
Một điểm thú vị khác là nó kết hợp công cụ với các gợi ý lý thuyết. Ngoài việc đề xuất quy tắc 50/30/20, nó còn gợi ý các ứng dụng ngân sách cụ thể và nhấn mạnh tối ưu hóa thuế - tạo cầu nối giữa chiến lược tổng thể và thực hiện hàng ngày. Nhược điểm chính? Nó đã đưa ra giả định về tỷ lệ lãi suất nợ mà không tìm kiếm sự xác nhận.
Để cung cấp lời khuyên hữu ích, nó đã quá vội vàng đưa ra nhiều giả định. Vấn đề này, tức là sự thúc đẩy muốn cung cấp phản hồi bằng mọi giá, có thể được giải quyết bằng các gợi ý chính xác hơn, nhưng đây là điều cần lưu ý.