Auteur｜Yao Qian "Directeur du Bureau de supervision technologique de la Commission chinoise de réglementation des valeurs mobilières"
Source｜ "China Finance" Numéro 13, 2023
Source de l'image : générée par l'IA illimitée
À l'aube de 2023, les applications d'intelligence artificielle axées sur la génération de contenu telles que ChatGPT, GPT4 et Midjourney ont déclenché des vagues d'innovation. Certaines personnes pensent même que le grand modèle évolue de manière itérative en unités de jours. En tant que nouveau facteur de production, le développement bénin et durable des données d'entraînement des grands modèles est crucial pour le développement des grandes industries du modèle et de l'intelligence artificielle. En tant que domaine important des applications de mégadonnées et d'intelligence artificielle, le secteur financier devrait porter une attention particulière aux derniers développements des technologies liées à la formation de grands modèles. Cet article analyse d'abord l'évolution et la voie de mise à niveau des grands modèles, puis discute des méthodes d'interaction possibles entre les grands modèles et les petits et moyens modèles, et expose l'écologie des données et la construction écologique des modèles des grands modèles. l'écologie fournit des idées pertinentes.
Analyse du chemin de mise à niveau et d'évolution des grands modèles
Dans une perspective à long terme, l'évolution des grands modèles comporte de nombreuses branches. Récemment, la vitesse d'itération des grands modèles s'est non seulement accélérée, mais aussi de plus en plus de participants, couvrant essentiellement toutes les grandes entreprises technologiques, et la diversité et la complexité de l'écologie ont d'abord émergé.
À l'heure actuelle, il n'y a pas de changement essentiel dans le cadre d'algorithme sous-jacent dans le processus itératif de mise à niveau du grand modèle. L'apport de puissance de calcul et l'abondance de données d'entraînement sont toujours la clé de son évolution rapide, mais le dernier GPT4 présente de nouvelles caractéristiques.
** La première est que l'algorithme est plus adapté à des tâches spécifiques en aval. **GPT3 et GPT3.5 sont de grands modèles avec 175 milliards de paramètres. GPT4 n'a pas annoncé de paramètres spécifiques pour le moment, mais certaines personnes pensent que ses paramètres atteindront des billions de niveaux. En même temps, il aura également une amélioration significative dans l'apprentissage par renforcement et la résolution de tâches spécifiques. Le terme le plus populaire est "alignement". . Si les modèles de la série GPT3 prouvent à tout le monde que l'intelligence artificielle peut effectuer plusieurs tâches dans un seul modèle, alors GPT4 a atteint ou même dépassé les niveaux humains dans de nombreuses tâches, les 10 % supérieurs environ.
** La seconde est d'avoir des capacités de gouvernance des données de formation plus standardisées et de prendre en charge la multimodalité. ** GPT4 a une capacité multimodale "comparable au cerveau humain", qui n'est pas très différente du mécanisme multimodal décrit dans de nombreux articles actuels, mais il peut combiner la capacité de traitement de quelques échantillons du modèle de texte avec la chaîne de pensée (Chain of Thought) , CoT) combinés. La gouvernance et la fourniture des données de formation GPT4 sont indissociables de l'étiquetage des données, de la gestion et de l'évaluation des données, de l'automatisation des données et de la synthèse des données.
Le troisième consiste à créer un cluster de puissance de calcul plus puissant pour répondre à davantage d'ensembles de données de formation et à des paramètres d'entrée plus importants. ** Par exemple, Microsoft a consacré plus de la moitié de ses ressources cloud à la formation de grands modèles et aux applications de contenu généré par l'intelligence artificielle (AIGC). Nvidia s'est même associé à TSMC, ASML et Synopsys pour créer une nouvelle plate-forme informatique et un GPU plus puissant.
Construire un écosystème où différents modèles sont interconnectés
Les grands modèles de type GPT sont puissants et deviendront l'une des infrastructures importantes dans de nombreux secteurs tels que l'Internet, la finance et les domaines médicaux à l'avenir. Par exemple, dans le domaine financier, après une formation avec des données professionnelles pertinentes, le grand modèle peut avoir la capacité de comprendre les connaissances commerciales financières et peut proposer des solutions pour des scénarios spécifiques, en aidant les institutions financières à réaliser l'automatisation du marketing, l'exploration de la relation client, l'intelligence identification des risques, service client intelligent, recherche d'investissement intelligente, etc.
Cependant, lors du processus de mise en œuvre d'applications spécifiques, les grands modèles de type GPT seront confrontés à une série de défis. L'un est de savoir comment assurer la quantité et la qualité des données de formation. De manière générale, le corpus de formation des grands modèles est un corpus à usage général dans plusieurs domaines, tandis que la collecte de corpus professionnels est généralement longue et laborieuse, et il y a aussi des problèmes de confidentialité.En conséquence, les grands modèles peuvent apparaître professionnels dans des domaines spécifiques. champs d'application individuels insuffisance sexuelle. La seconde est de savoir comment réduire les coûts d'exploitation et de maintenance des grands modèles. Les grands modèles nécessitent un énorme support de puissance de calcul et une gouvernance stricte des données.Il est souvent difficile pour les institutions ordinaires et les départements d'application de prendre en charge le fonctionnement et la mise à niveau itérative des grands modèles. À cette fin, il est nécessaire d'établir une écologie d'interaction saine et de co-évolution de divers modèles pour garantir que l'industrie de l'intelligence artificielle liée aux grands modèles puisse être mise en œuvre avec succès dans divers domaines d'application.
D'un point de vue technique, l'évolution des grands modèles s'appuie sur l'apprentissage par renforcement avec rétroaction humaine (Reinforcement Learning from Human Feedback, RLHF).L'étiquetage des données qu'il utilise est différent du simple travail d'étiquetage des données effectué avec une main-d'œuvre peu coûteuse dans le Des personnes très professionnelles écriront des entrées et donneront des réponses de haute qualité conformes à la logique et à l'expression humaines pour les questions et instructions correspondantes. Cependant, en raison de l'écart entre l'interaction humaine et machine, le mode idéal est de réaliser un apprentissage par renforcement par l'interaction entre modèles, c'est-à-dire un apprentissage par renforcement s'appuyant sur la rétroaction du modèle (Reinforcement Learning from Model Feedback, RLMF). Sur la base de l'interaction de divers modèles, les données et l'écologie du modèle de l'ensemble du grand modèle peuvent être unifiées dans un cadre.
Dans le passé, dans le cadre du modèle de développement de modèle décentralisé, plusieurs tâches dans un seul scénario d'application d'intelligence artificielle devaient être prises en charge par plusieurs modèles, et chaque construction de modèle devait passer par le processus de développement d'algorithmes, de traitement de données, de formation et de réglage de modèle. Le grand modèle pré-entraîné améliore la polyvalence et la généralisation de l'intelligence artificielle. Sur la base du grand modèle, un réglage fin avec zéro échantillon ou de petits échantillons peut obtenir de meilleurs résultats dans diverses tâches. Le grand modèle "pré-formation + ajustement" a apporté un nouveau paradigme standardisé à la recherche et au développement de l'intelligence artificielle, permettant aux modèles d'intelligence artificielle de réaliser une production à grande échelle de manière plus unifiée et concise. En se concentrant sur l'innovation technologique et la mise en œuvre d'applications, les données et l'écologie industrielle des grands modèles peuvent être divisées en infrastructure (y compris les corpus généraux et les plates-formes de puissance de calcul), les grands modèles de base et les services de grands modèles (y compris les données synthétiques, la fourniture de modèles et la prise d'application). -ins). Dans les applications en aval, les utilisateurs peuvent déployer leurs propres petits modèles pour améliorer les performances via divers services du grand modèle, et en même temps fournir des services de rétroaction correspondants au grand modèle en sens inverse pour aider à faire évoluer itérativement le grand modèle (voir Figure 1).
Le grand modèle de base est le moteur central de l'écologie industrielle des grands modèles. Ses avantages résident dans sa basicité et sa polyvalence. Il est orienté vers des tâches typiques telles que le traitement du langage naturel, la vision par ordinateur et les tâches intermodales. Il combine en outre les caractéristiques des tâches. , optimise les algorithmes du modèle et apprend les données et les connaissances associées, de sorte que les grands modèles peuvent afficher de meilleurs résultats et peuvent même être directement appliqués avec zéro échantillon.
Le petit modèle a les caractéristiques de petite taille (généralement au niveau de dizaines de milliards de paramètres), de formation et de maintenance faciles, il convient donc à divers domaines verticaux et au développement interne et à l'utilisation dans diverses industries. En général, les petits modèles sont moins coûteux à former, mais beaucoup moins performants que les grands modèles. Grâce à l'application interactive de grands et petits modèles, le petit modèle peut obtenir une partie des capacités du grand modèle ou réaliser certaines fonctions, de sorte que les performances du petit modèle peuvent être grandement améliorées sans augmenter les coûts d'exploitation et de maintenance, et répondre à des besoins spécifiques exigences de candidature. Les modes d'interaction des grands et des petits modèles peuvent être divisés en trois catégories : l'interaction des données, l'interaction des modèles et l'interaction des applications (voir la figure 2).
* Interaction des données
L'interaction des données signifie que les grands et les petits modèles ne participent pas directement au processus d'entraînement ou de raisonnement de l'autre, mais interagissent indirectement à travers les données générées les uns par les autres. La formation de grands modèles nécessite généralement un corpus à usage général à grande échelle.Par exemple, le corpus de formation de GPT3 atteint 753 Go, qui provient de plusieurs sources de données telles que Wikipedia. Le corpus à usage général fait référence à un corpus couvrant plusieurs domaines, et la couverture des connaissances dans certains domaines spécifiques peut être insuffisante. Une fois la formation du grand modèle terminée, certains corpus synthétiques spécifiques à un domaine peuvent être générés via des instructions, puis grâce à un déploiement localisé, le petit modèle peut être formé avec le corpus dédié du domaine ou le corpus privé de l'industrie. Le domaine du petit corpus de formation de modèles est relativement concentré, de sorte que les connaissances dans ce domaine peuvent être systématiquement maîtrisées, de sorte que la sortie du modèle est plus professionnelle, plus détaillée et plus précise. Le rôle du grand modèle dans ce processus est de générer un corpus synthétique de haute qualité à grande échelle, de sorte que la formation du petit modèle puisse être plus adéquate et d'éviter le surajustement du modèle en raison de la petite taille du corpus spécial. ou corpus privé. A l'inverse, le corpus professionnel généré par le petit modèle peut également être utilisé en complément du corpus de formation du grand modèle pour renforcer les capacités professionnelles du grand modèle dans différents domaines, afin que le grand modèle puisse continuer à évoluer de manière itérative.
Pour réaliser une interaction de données entre grands et petits modèles, en plus de s'appuyer sur l'organisation de gestion des sources de données, il est également nécessaire d'envisager la mise en place d'une organisation de conservation et d'échange de données, afin que les données d'entraînement des grands et petits modèles puissent être contrôlées. et s'est déroulée de manière ordonnée, et la répartition correspondante pour toutes les parties est raisonnable. droits et intérêts.
Interaction avec le modèle
En plus de l'interaction indirecte des données, les grands et les petits modèles peuvent également interagir au niveau du modèle. En participant au processus de formation de l'autre, les deux parties peuvent bénéficier l'une de l'autre et améliorer l'efficacité d'itération des grands modèles. D'une part, les grands modèles peuvent guider la formation des petits modèles, et la méthode couramment utilisée est la distillation des connaissances. En mode d'apprentissage par distillation, le grand modèle entraîné peut être utilisé comme modèle d'enseignant et le petit modèle à entraîner peut être utilisé comme modèle d'élève.Pour le même lot de données d'entraînement, en concevant une fonction de perte raisonnable, le soft les étiquettes générées par le grand modèle et les données d'entraînement elles-mêmes Les étiquettes dures guident conjointement l'entraînement des petits modèles. De même, le petit modèle peut également effectuer une distillation inverse sur le grand modèle et utiliser le petit modèle pour faire des jugements de valeur d'échantillon pour aider le grand modèle à accélérer la convergence - après avoir affiné davantage le petit modèle formé sur l'ensemble de données en aval, un échantillon modèle de jugement de valeur est obtenu.
Interaction avec l'application
Le moyen typique pour les grands et les petits modèles d'interagir au niveau de l'application est le mode plug-in, qui encapsule l'application créée par le modèle dans un service de plug-in que d'autres modèles peuvent appeler. Le mode plug-in présente deux avantages : l'un est pratique et efficace, et le modèle n'a pas besoin d'être recyclé ; l'autre est une bonne isolation, qui peut éviter la fuite des détails du modèle, protégeant ainsi mieux les droits et les intérêts des formateurs de modèles et utilisateurs.
D'une part, le grand modèle adopte essentiellement la méthode de pré-formation et les performances en temps réel ne sont pas élevées. En appelant le plug-in d'application de petit modèle, l'application de grand modèle peut non seulement améliorer les performances en temps réel des résultats de sortie, mais également étendre son manque de connaissances dans des domaines spécifiques. D'autre part, les applications construites avec de petits modèles peuvent également obtenir directement les puissantes capacités de génération et de raisonnement des grands modèles en appelant les plug-ins fournis par les grands modèles de type GPT. Cette méthode d'interaction applicative permet de sauver le petit modèle du processus d'apprentissage des connaissances générales, et de se concentrer sur la production de contenu de domaines spécifiques à moindre coût.Les utilisateurs peuvent également ressentir la réaction "chimique" produite par l'interconnexion de différents modèles.
Les nouveaux plug-ins ChatGPT récemment publiés par Open AI (Open AI) peuvent connecter ChatGPT et des applications tierces via des plug-ins d'application. Ces applications tierces peuvent être construites à partir de petits modèles d'un seul domaine. De cette manière, le petit modèle peut compléter une variété de fonctions étendues dans le grand modèle de la classe ChatGPT, telles que la récupération d'informations en temps réel ou d'informations de la base de connaissances, le remplacement des utilisateurs par une "ordonnancement intelligent" du monde réel, etc.
Standardisation et contrôle de la sécurité des données de formation de grands modèles et de la chaîne d'outils de modèle
Les performances d'un grand modèle dépendent de la qualité des données d'entraînement, mais les spécifications techniques sous-jacentes requises par le modèle dans différents scénarios d'atterrissage sont également différentes. Par conséquent, pour construire une bonne écologie industrielle avec un développement durable et une interaction saine des grands modèles, il est nécessaire de promouvoir la standardisation des données de formation des grands modèles et des technologies sous-jacentes, et d'accélérer l'itération et la mise en œuvre des modèles.
D'une part, l'ensemble de données de formation du grand modèle lui-même et l'interface de service de données (API) définie deviendront la norme de facto de l'industrie, et diverses applications qui accèdent au grand modèle doivent suivre cette norme. À l'heure actuelle, le modèle "pré-formation + ajustement" est devenu un processus et un paradigme standard unifié dans l'industrie. Sur cette base, combinée à des scénarios d'application spécifiques et à des données professionnelles, de petits modèles dans divers domaines et industries peuvent être davantage personnalisés et optimisés. Dans une certaine mesure, les normes d'interface des données de formation et des services de données des grands modèles deviendront l'un des noyaux de la prochaine génération de normes internationales.
D'autre part, la chaîne d'outils requise par la technologie sous-jacente pour le traitement des données de formation de grands modèles doit également être productisée et standardisée. Avec le support solide de services techniques standardisés, le grand modèle peut produire des solutions techniques telles que l'adaptation matérielle, la distillation et la compression de modèles, la formation et l'accélération distribuées de modèles, la base de données vectorielle, la base de données de graphes et l'interconnexion de modèles, fournissant le traitement du langage naturel, la vision par ordinateur, Diverses capacités telles que la multimodalité et les graphes de connaissances permettent à davantage d'entreprises et de développeurs d'appliquer de grands modèles à leurs propres activités et de construire des modèles verticaux industriels avec un seuil bas, favorisant ainsi la mise en œuvre généralisée de l'intelligence artificielle dans divers domaines.
Il convient de noter que bien que le développement et l'application de grands modèles apporteront d'énormes dividendes au développement industriel et économique, s'ils ne sont pas correctement contrôlés, ils entraîneront également des risques pour la sécurité nationale et industrielle. L'un est le risque de fuite de données. La formation et la mise en œuvre de grands modèles doivent être soutenues par des quantités massives de données, y compris des informations sensibles de l'industrie ou personnelles. S'il n'y a pas de mécanisme raisonnable de désensibilisation et de conservation des données, cela peut entraîner une fuite de données et entraîner des pertes pour l'industrie et les particuliers. Le second est le risque de sécurité du modèle. Par exemple, des plug-ins peuvent être implantés avec des contenus préjudiciables et devenir un outil de fraude et « d'empoisonnement » par des criminels, mettant en danger la sécurité sociale et industrielle.
## Suggestions associées
** En utilisant de grandes données de formation de modèles comme point de départ, la formulation standard et la gouvernance des données sont à deux volets. ** Promouvoir le développement standardisé de l'industrie en formulant des spécifications d'application modèles et en unifiant les normes d'interface. Il peut être envisagé d'héberger les données synthétiques du modèle pour renforcer la supervision et assurer la conformité du contenu des données, des droits et intérêts clairs, et une circulation fluide. Dans le même temps, améliorez les lois et les réglementations, optimisez les politiques et les systèmes, formez une force de réglementation conjointe de diverses manières et méthodes, et empêchez strictement la falsification malveillante des modèles et l'infiltration de données nuisibles.
** Construire un grand marché d'éléments de données de formation de modèles. ** Clarifier la chaîne industrielle entre la collecte et le traitement des données de formation, les services de données synthétiques, l'interconnexion entre grands et petits modèles et les API applicatives. Accélérer la construction du marché des éléments de données, fournir une tarification axée sur le marché pour les données de formation et faciliter la distribution et les incitations des droits et des intérêts.
**Construire une bonne écologie de développement symbiotique et de promotion mutuelle des grands et petits modèles. ** En général, il n'y a pas de différence intergénérationnelle dans le niveau d'algorithme des grands modèles traditionnels au pays et à l'étranger, mais il existe un écart dans la puissance de calcul et les données. Il est recommandé de soutenir vigoureusement les principales entreprises technologiques nationales pour développer des modèles nationaux à grande échelle indépendants et contrôlables dans le domaine général. En même temps, encourager tous les domaines verticaux à utiliser des outils open source pour construire des chaînes d'outils indépendantes standardisées et contrôlables sur la base de grands modèles, afin d'explorer le "grand et le fort". Elle développe également un modèle métier vertical "petit et beau", afin de construire une bonne écologie de symbiose interactive et d'évolution itérative entre le grand modèle de base et le petit modèle professionnel.
(Rédacteur en chef Zhang Lin)
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Yao Qian : quelques réflexions sur la construction écologique des modèles à grande échelle
Auteur｜Yao Qian "Directeur du Bureau de supervision technologique de la Commission chinoise de réglementation des valeurs mobilières"
Source｜ "China Finance" Numéro 13, 2023
À l'aube de 2023, les applications d'intelligence artificielle axées sur la génération de contenu telles que ChatGPT, GPT4 et Midjourney ont déclenché des vagues d'innovation. Certaines personnes pensent même que le grand modèle évolue de manière itérative en unités de jours. En tant que nouveau facteur de production, le développement bénin et durable des données d'entraînement des grands modèles est crucial pour le développement des grandes industries du modèle et de l'intelligence artificielle. En tant que domaine important des applications de mégadonnées et d'intelligence artificielle, le secteur financier devrait porter une attention particulière aux derniers développements des technologies liées à la formation de grands modèles. Cet article analyse d'abord l'évolution et la voie de mise à niveau des grands modèles, puis discute des méthodes d'interaction possibles entre les grands modèles et les petits et moyens modèles, et expose l'écologie des données et la construction écologique des modèles des grands modèles. l'écologie fournit des idées pertinentes.
Analyse du chemin de mise à niveau et d'évolution des grands modèles
Dans une perspective à long terme, l'évolution des grands modèles comporte de nombreuses branches. Récemment, la vitesse d'itération des grands modèles s'est non seulement accélérée, mais aussi de plus en plus de participants, couvrant essentiellement toutes les grandes entreprises technologiques, et la diversité et la complexité de l'écologie ont d'abord émergé.
À l'heure actuelle, il n'y a pas de changement essentiel dans le cadre d'algorithme sous-jacent dans le processus itératif de mise à niveau du grand modèle. L'apport de puissance de calcul et l'abondance de données d'entraînement sont toujours la clé de son évolution rapide, mais le dernier GPT4 présente de nouvelles caractéristiques.
** La première est que l'algorithme est plus adapté à des tâches spécifiques en aval. **GPT3 et GPT3.5 sont de grands modèles avec 175 milliards de paramètres. GPT4 n'a pas annoncé de paramètres spécifiques pour le moment, mais certaines personnes pensent que ses paramètres atteindront des billions de niveaux. En même temps, il aura également une amélioration significative dans l'apprentissage par renforcement et la résolution de tâches spécifiques. Le terme le plus populaire est "alignement". . Si les modèles de la série GPT3 prouvent à tout le monde que l'intelligence artificielle peut effectuer plusieurs tâches dans un seul modèle, alors GPT4 a atteint ou même dépassé les niveaux humains dans de nombreuses tâches, les 10 % supérieurs environ.
** La seconde est d'avoir des capacités de gouvernance des données de formation plus standardisées et de prendre en charge la multimodalité. ** GPT4 a une capacité multimodale "comparable au cerveau humain", qui n'est pas très différente du mécanisme multimodal décrit dans de nombreux articles actuels, mais il peut combiner la capacité de traitement de quelques échantillons du modèle de texte avec la chaîne de pensée (Chain of Thought) , CoT) combinés. La gouvernance et la fourniture des données de formation GPT4 sont indissociables de l'étiquetage des données, de la gestion et de l'évaluation des données, de l'automatisation des données et de la synthèse des données.
Le troisième consiste à créer un cluster de puissance de calcul plus puissant pour répondre à davantage d'ensembles de données de formation et à des paramètres d'entrée plus importants. ** Par exemple, Microsoft a consacré plus de la moitié de ses ressources cloud à la formation de grands modèles et aux applications de contenu généré par l'intelligence artificielle (AIGC). Nvidia s'est même associé à TSMC, ASML et Synopsys pour créer une nouvelle plate-forme informatique et un GPU plus puissant.
Construire un écosystème où différents modèles sont interconnectés
Les grands modèles de type GPT sont puissants et deviendront l'une des infrastructures importantes dans de nombreux secteurs tels que l'Internet, la finance et les domaines médicaux à l'avenir. Par exemple, dans le domaine financier, après une formation avec des données professionnelles pertinentes, le grand modèle peut avoir la capacité de comprendre les connaissances commerciales financières et peut proposer des solutions pour des scénarios spécifiques, en aidant les institutions financières à réaliser l'automatisation du marketing, l'exploration de la relation client, l'intelligence identification des risques, service client intelligent, recherche d'investissement intelligente, etc.
Cependant, lors du processus de mise en œuvre d'applications spécifiques, les grands modèles de type GPT seront confrontés à une série de défis. L'un est de savoir comment assurer la quantité et la qualité des données de formation. De manière générale, le corpus de formation des grands modèles est un corpus à usage général dans plusieurs domaines, tandis que la collecte de corpus professionnels est généralement longue et laborieuse, et il y a aussi des problèmes de confidentialité.En conséquence, les grands modèles peuvent apparaître professionnels dans des domaines spécifiques. champs d'application individuels insuffisance sexuelle. La seconde est de savoir comment réduire les coûts d'exploitation et de maintenance des grands modèles. Les grands modèles nécessitent un énorme support de puissance de calcul et une gouvernance stricte des données.Il est souvent difficile pour les institutions ordinaires et les départements d'application de prendre en charge le fonctionnement et la mise à niveau itérative des grands modèles. À cette fin, il est nécessaire d'établir une écologie d'interaction saine et de co-évolution de divers modèles pour garantir que l'industrie de l'intelligence artificielle liée aux grands modèles puisse être mise en œuvre avec succès dans divers domaines d'application.
D'un point de vue technique, l'évolution des grands modèles s'appuie sur l'apprentissage par renforcement avec rétroaction humaine (Reinforcement Learning from Human Feedback, RLHF).L'étiquetage des données qu'il utilise est différent du simple travail d'étiquetage des données effectué avec une main-d'œuvre peu coûteuse dans le Des personnes très professionnelles écriront des entrées et donneront des réponses de haute qualité conformes à la logique et à l'expression humaines pour les questions et instructions correspondantes. Cependant, en raison de l'écart entre l'interaction humaine et machine, le mode idéal est de réaliser un apprentissage par renforcement par l'interaction entre modèles, c'est-à-dire un apprentissage par renforcement s'appuyant sur la rétroaction du modèle (Reinforcement Learning from Model Feedback, RLMF). Sur la base de l'interaction de divers modèles, les données et l'écologie du modèle de l'ensemble du grand modèle peuvent être unifiées dans un cadre.
Dans le passé, dans le cadre du modèle de développement de modèle décentralisé, plusieurs tâches dans un seul scénario d'application d'intelligence artificielle devaient être prises en charge par plusieurs modèles, et chaque construction de modèle devait passer par le processus de développement d'algorithmes, de traitement de données, de formation et de réglage de modèle. Le grand modèle pré-entraîné améliore la polyvalence et la généralisation de l'intelligence artificielle. Sur la base du grand modèle, un réglage fin avec zéro échantillon ou de petits échantillons peut obtenir de meilleurs résultats dans diverses tâches. Le grand modèle "pré-formation + ajustement" a apporté un nouveau paradigme standardisé à la recherche et au développement de l'intelligence artificielle, permettant aux modèles d'intelligence artificielle de réaliser une production à grande échelle de manière plus unifiée et concise. En se concentrant sur l'innovation technologique et la mise en œuvre d'applications, les données et l'écologie industrielle des grands modèles peuvent être divisées en infrastructure (y compris les corpus généraux et les plates-formes de puissance de calcul), les grands modèles de base et les services de grands modèles (y compris les données synthétiques, la fourniture de modèles et la prise d'application). -ins). Dans les applications en aval, les utilisateurs peuvent déployer leurs propres petits modèles pour améliorer les performances via divers services du grand modèle, et en même temps fournir des services de rétroaction correspondants au grand modèle en sens inverse pour aider à faire évoluer itérativement le grand modèle (voir Figure 1).
Le petit modèle a les caractéristiques de petite taille (généralement au niveau de dizaines de milliards de paramètres), de formation et de maintenance faciles, il convient donc à divers domaines verticaux et au développement interne et à l'utilisation dans diverses industries. En général, les petits modèles sont moins coûteux à former, mais beaucoup moins performants que les grands modèles. Grâce à l'application interactive de grands et petits modèles, le petit modèle peut obtenir une partie des capacités du grand modèle ou réaliser certaines fonctions, de sorte que les performances du petit modèle peuvent être grandement améliorées sans augmenter les coûts d'exploitation et de maintenance, et répondre à des besoins spécifiques exigences de candidature. Les modes d'interaction des grands et des petits modèles peuvent être divisés en trois catégories : l'interaction des données, l'interaction des modèles et l'interaction des applications (voir la figure 2).
L'interaction des données signifie que les grands et les petits modèles ne participent pas directement au processus d'entraînement ou de raisonnement de l'autre, mais interagissent indirectement à travers les données générées les uns par les autres. La formation de grands modèles nécessite généralement un corpus à usage général à grande échelle.Par exemple, le corpus de formation de GPT3 atteint 753 Go, qui provient de plusieurs sources de données telles que Wikipedia. Le corpus à usage général fait référence à un corpus couvrant plusieurs domaines, et la couverture des connaissances dans certains domaines spécifiques peut être insuffisante. Une fois la formation du grand modèle terminée, certains corpus synthétiques spécifiques à un domaine peuvent être générés via des instructions, puis grâce à un déploiement localisé, le petit modèle peut être formé avec le corpus dédié du domaine ou le corpus privé de l'industrie. Le domaine du petit corpus de formation de modèles est relativement concentré, de sorte que les connaissances dans ce domaine peuvent être systématiquement maîtrisées, de sorte que la sortie du modèle est plus professionnelle, plus détaillée et plus précise. Le rôle du grand modèle dans ce processus est de générer un corpus synthétique de haute qualité à grande échelle, de sorte que la formation du petit modèle puisse être plus adéquate et d'éviter le surajustement du modèle en raison de la petite taille du corpus spécial. ou corpus privé. A l'inverse, le corpus professionnel généré par le petit modèle peut également être utilisé en complément du corpus de formation du grand modèle pour renforcer les capacités professionnelles du grand modèle dans différents domaines, afin que le grand modèle puisse continuer à évoluer de manière itérative.
Pour réaliser une interaction de données entre grands et petits modèles, en plus de s'appuyer sur l'organisation de gestion des sources de données, il est également nécessaire d'envisager la mise en place d'une organisation de conservation et d'échange de données, afin que les données d'entraînement des grands et petits modèles puissent être contrôlées. et s'est déroulée de manière ordonnée, et la répartition correspondante pour toutes les parties est raisonnable. droits et intérêts.
En plus de l'interaction indirecte des données, les grands et les petits modèles peuvent également interagir au niveau du modèle. En participant au processus de formation de l'autre, les deux parties peuvent bénéficier l'une de l'autre et améliorer l'efficacité d'itération des grands modèles. D'une part, les grands modèles peuvent guider la formation des petits modèles, et la méthode couramment utilisée est la distillation des connaissances. En mode d'apprentissage par distillation, le grand modèle entraîné peut être utilisé comme modèle d'enseignant et le petit modèle à entraîner peut être utilisé comme modèle d'élève.Pour le même lot de données d'entraînement, en concevant une fonction de perte raisonnable, le soft les étiquettes générées par le grand modèle et les données d'entraînement elles-mêmes Les étiquettes dures guident conjointement l'entraînement des petits modèles. De même, le petit modèle peut également effectuer une distillation inverse sur le grand modèle et utiliser le petit modèle pour faire des jugements de valeur d'échantillon pour aider le grand modèle à accélérer la convergence - après avoir affiné davantage le petit modèle formé sur l'ensemble de données en aval, un échantillon modèle de jugement de valeur est obtenu.
Le moyen typique pour les grands et les petits modèles d'interagir au niveau de l'application est le mode plug-in, qui encapsule l'application créée par le modèle dans un service de plug-in que d'autres modèles peuvent appeler. Le mode plug-in présente deux avantages : l'un est pratique et efficace, et le modèle n'a pas besoin d'être recyclé ; l'autre est une bonne isolation, qui peut éviter la fuite des détails du modèle, protégeant ainsi mieux les droits et les intérêts des formateurs de modèles et utilisateurs.
D'une part, le grand modèle adopte essentiellement la méthode de pré-formation et les performances en temps réel ne sont pas élevées. En appelant le plug-in d'application de petit modèle, l'application de grand modèle peut non seulement améliorer les performances en temps réel des résultats de sortie, mais également étendre son manque de connaissances dans des domaines spécifiques. D'autre part, les applications construites avec de petits modèles peuvent également obtenir directement les puissantes capacités de génération et de raisonnement des grands modèles en appelant les plug-ins fournis par les grands modèles de type GPT. Cette méthode d'interaction applicative permet de sauver le petit modèle du processus d'apprentissage des connaissances générales, et de se concentrer sur la production de contenu de domaines spécifiques à moindre coût.Les utilisateurs peuvent également ressentir la réaction "chimique" produite par l'interconnexion de différents modèles.
Les nouveaux plug-ins ChatGPT récemment publiés par Open AI (Open AI) peuvent connecter ChatGPT et des applications tierces via des plug-ins d'application. Ces applications tierces peuvent être construites à partir de petits modèles d'un seul domaine. De cette manière, le petit modèle peut compléter une variété de fonctions étendues dans le grand modèle de la classe ChatGPT, telles que la récupération d'informations en temps réel ou d'informations de la base de connaissances, le remplacement des utilisateurs par une "ordonnancement intelligent" du monde réel, etc.
Standardisation et contrôle de la sécurité des données de formation de grands modèles et de la chaîne d'outils de modèle
Les performances d'un grand modèle dépendent de la qualité des données d'entraînement, mais les spécifications techniques sous-jacentes requises par le modèle dans différents scénarios d'atterrissage sont également différentes. Par conséquent, pour construire une bonne écologie industrielle avec un développement durable et une interaction saine des grands modèles, il est nécessaire de promouvoir la standardisation des données de formation des grands modèles et des technologies sous-jacentes, et d'accélérer l'itération et la mise en œuvre des modèles.
D'une part, l'ensemble de données de formation du grand modèle lui-même et l'interface de service de données (API) définie deviendront la norme de facto de l'industrie, et diverses applications qui accèdent au grand modèle doivent suivre cette norme. À l'heure actuelle, le modèle "pré-formation + ajustement" est devenu un processus et un paradigme standard unifié dans l'industrie. Sur cette base, combinée à des scénarios d'application spécifiques et à des données professionnelles, de petits modèles dans divers domaines et industries peuvent être davantage personnalisés et optimisés. Dans une certaine mesure, les normes d'interface des données de formation et des services de données des grands modèles deviendront l'un des noyaux de la prochaine génération de normes internationales.
D'autre part, la chaîne d'outils requise par la technologie sous-jacente pour le traitement des données de formation de grands modèles doit également être productisée et standardisée. Avec le support solide de services techniques standardisés, le grand modèle peut produire des solutions techniques telles que l'adaptation matérielle, la distillation et la compression de modèles, la formation et l'accélération distribuées de modèles, la base de données vectorielle, la base de données de graphes et l'interconnexion de modèles, fournissant le traitement du langage naturel, la vision par ordinateur, Diverses capacités telles que la multimodalité et les graphes de connaissances permettent à davantage d'entreprises et de développeurs d'appliquer de grands modèles à leurs propres activités et de construire des modèles verticaux industriels avec un seuil bas, favorisant ainsi la mise en œuvre généralisée de l'intelligence artificielle dans divers domaines.
Il convient de noter que bien que le développement et l'application de grands modèles apporteront d'énormes dividendes au développement industriel et économique, s'ils ne sont pas correctement contrôlés, ils entraîneront également des risques pour la sécurité nationale et industrielle. L'un est le risque de fuite de données. La formation et la mise en œuvre de grands modèles doivent être soutenues par des quantités massives de données, y compris des informations sensibles de l'industrie ou personnelles. S'il n'y a pas de mécanisme raisonnable de désensibilisation et de conservation des données, cela peut entraîner une fuite de données et entraîner des pertes pour l'industrie et les particuliers. Le second est le risque de sécurité du modèle. Par exemple, des plug-ins peuvent être implantés avec des contenus préjudiciables et devenir un outil de fraude et « d'empoisonnement » par des criminels, mettant en danger la sécurité sociale et industrielle.
## Suggestions associées
** En utilisant de grandes données de formation de modèles comme point de départ, la formulation standard et la gouvernance des données sont à deux volets. ** Promouvoir le développement standardisé de l'industrie en formulant des spécifications d'application modèles et en unifiant les normes d'interface. Il peut être envisagé d'héberger les données synthétiques du modèle pour renforcer la supervision et assurer la conformité du contenu des données, des droits et intérêts clairs, et une circulation fluide. Dans le même temps, améliorez les lois et les réglementations, optimisez les politiques et les systèmes, formez une force de réglementation conjointe de diverses manières et méthodes, et empêchez strictement la falsification malveillante des modèles et l'infiltration de données nuisibles.
** Construire un grand marché d'éléments de données de formation de modèles. ** Clarifier la chaîne industrielle entre la collecte et le traitement des données de formation, les services de données synthétiques, l'interconnexion entre grands et petits modèles et les API applicatives. Accélérer la construction du marché des éléments de données, fournir une tarification axée sur le marché pour les données de formation et faciliter la distribution et les incitations des droits et des intérêts.
**Construire une bonne écologie de développement symbiotique et de promotion mutuelle des grands et petits modèles. ** En général, il n'y a pas de différence intergénérationnelle dans le niveau d'algorithme des grands modèles traditionnels au pays et à l'étranger, mais il existe un écart dans la puissance de calcul et les données. Il est recommandé de soutenir vigoureusement les principales entreprises technologiques nationales pour développer des modèles nationaux à grande échelle indépendants et contrôlables dans le domaine général. En même temps, encourager tous les domaines verticaux à utiliser des outils open source pour construire des chaînes d'outils indépendantes standardisées et contrôlables sur la base de grands modèles, afin d'explorer le "grand et le fort". Elle développe également un modèle métier vertical "petit et beau", afin de construire une bonne écologie de symbiose interactive et d'évolution itérative entre le grand modèle de base et le petit modèle professionnel.
(Rédacteur en chef Zhang Lin)