Source de la réimpression de l'article : AIcore
Source originale : Communauté ouverte AIGC
Source de l'image : générée par Unbounded AI
Mardi dernier, la « AIGC Open Community » a présenté Writer, une plateforme d'IA générative qui a permis de récolter 100 millions de dollars. La capacité de l'entreprise à obtenir un financement total de 126 millions de dollars en seulement trois ans et à devenir l'un des principaux concurrents de ChatGPT est indissociable de sa superbe technologie. Elle prouve également pleinement que son modèle a des cas d'application réussis et a été reconnu par le capital et les utilisateurs.
Actuellement, Writer a open source le grand modèle de langage Palmyra qu'il utilise sur huggingface. Il existe 8 modèles, à savoir small, base, 20b-chat, Instruct-20b, med-20b, etc., qui sont disponibles dans le commerce et prennent en charge les données fines. réglage.
Adresse open source : https://huggingface.co/Writer
Adresse d'essai gratuit en ligne : https://app.writer.com/organization/
Les points forts techniques de Palmyra comprennent : des paramètres réduits et des fonctions puissantes, qui sont très utiles pour les petites et moyennes entreprises et les développeurs individuels sans ressources informatiques ; il a reçu une formation en rédaction commerciale et en données marketing, principalement pour les utilisateurs d'entreprise ; , avec plusieurs garde-corps de sécurité intégrés ;
En plus de générer du texte, il peut également extraire des résumés de contenu de vidéos, de PDF et d'audio ; il prend en charge le réglage fin des données, et les entreprises peuvent créer leur propre assistant « ChatGPT », etc.
La « Communauté ouverte AIGC » suivante présente plusieurs modèles spéciaux de Palmyra :
InstructPalmyra-20b
Il s'agit d'un modèle de réglage des instructions construit sur le modèle de base du Palmyra-20b, prenant en charge le traitement avancé du langage naturel et des exigences sur mesure.
Le modèle InstructPalmyra-20b a été méticuleusement formé sur un vaste ensemble de données d'environ 70 000 enregistrements de commandes-réponses. Ces enregistrements sont générés par l'équipe technique professionnelle de modélisation et de mise au point du langage de Writer.
InstructPalmyra-20b a une excellente capacité à traiter des instructions complexes et à générer des réponses contextuelles précises. Cela en fait un modèle idéal pour développer une large gamme d’applications telles que des assistants virtuels, le support client, la génération de contenu, etc.
De plus, la formation complète du modèle lui permet de s'adapter et de bien fonctionner dans différentes conditions et contextes, élargissant ainsi ses cas d'utilisation potentiels.
Palmyre-avec-20b
Palmyra-Med est le modèle de Writer spécialement conçu pour répondre aux besoins du secteur de la santé, avec des instructions affinées en fonction des données médicales.
Palmyra-Med a obtenu le score le plus élevé lors des tests sur les principales questions biomédicales répondant à PubMedQA, avec un taux de précision de 81,1 %, surpassant le GPT-4 et les testeurs humains médicalement formés.
Il peut fournir des fonctions telles que la traduction de la terminologie médicale professionnelle, l'extraction d'un résumé des notes médicales, l'analyse de données médicales massives et la génération automatique d'informations médicales.
Palmyre Grand 20B
Palmyra-Large est un modèle de décodeur causal construit par Writer, amélioré par Palmyra-Index-Data et formé sur 800 milliards de données dans un corpus de haute qualité.
Palmyra Large utilise un objectif de modélisation du langage causal (CLM) lors de la pré-formation du modèle. Semblable à GPT-3, il est donc pré-entraîné dans le but de modéliser un langage causal auto-supervisé.
Ce modèle fonctionne très rapidement et consomme très peu de ressources. Il convient aux scénarios commerciaux tels que les soins médicaux, le marketing, l'informatique, la conception et les ressources humaines pour créer des assistants IA sur mesure.
Évaluation des performances
Palmyra a reçu le score le plus élevé au Stanford HELM, surpassant les modèles open source bien connus tels que Falcon 40B et LLaMA-30B. HELM est une plateforme de tests de référence très connue du Fundamental Model Research Center de l'Université de Stanford.
Palmyra s'est classée première dans plusieurs tests importants, avec un score de 60,9 % sur la compréhension massive du langage multi-tâches (MMLU), de 89,6 % sur BoolQ et de 79,0 % sur NaturalQuestions.
Palmyra s'est classée deuxième dans deux autres tests clés, avec un score de questions-réponses contextuelles de 49,7 % et un score TruthfulQA de 61,6 %. La performance globale est très bonne.
En bref, Palmyra est très intéressant pour les développeurs qui souhaitent commercialiser de grands modèles de langage pour étudier son architecture et ses fonctions de modèle et tirer les leçons de son expérience réussie.