Huawei, dont on a toujours dit qu'il était à la traîne dans la compétition de modèles à grande échelle, est finalement venu avec ses gars cette fois.
Non, lors de la Huawei Developer Conference 2023 d'hier, Huawei s'est montré.
La conférence de presse de près de trois heures a encore hérité du style méli-mélo du passé de Huawei, ce qui a ébloui Shichao.
Cependant, le résumer met en évidence un thème : Pangu Large Model 3.0.
En fait, il y a quelques jours à peine, alors que d'autres grands modèles comparaient encore diverses cotes, Pangu est entré dans le champ de vision de chacun d'une manière unique en s'appuyant sur l'enseigne dorée certifiée par la plus grande revue mondiale Nature.
On dit qu'avec l'ajout du grand modèle Pangea, la vitesse de prévision météorologique a été multipliée par plus de 10 000 et les résultats peuvent être obtenus en quelques secondes.Où le typhon viendra, quand il viendra et quand il partira, il peut vous donner une prédiction claire.
Le plus important est que sa précision de prédiction dépasse même le système IFS du Centre météorologique européen, connu comme le plus puissant au monde.C'est le premier produit de prédiction d'IA à avoir remporté la prédiction numérique traditionnelle.
Vous savez, la plupart des prévisions météorologiques IA précédentes ont été développées sur la base de réseaux de neurones 2D, mais la météo est trop compliquée et la 2D est vraiment trop.
De plus, le modèle d'IA précédent continuera d'accumuler des erreurs d'itération pendant le processus de prédiction, ce qui affectera facilement la précision des résultats.
Par conséquent, les méthodes de prédiction de l'IA n'ont pas été populaires.
Le modèle météorologique à grande échelle de Pangu est génial. Ils ont utilisé un réseau neuronal tridimensionnel appelé 3DEST pour traiter les données météorologiques. Si la 2D ne peut pas le faire, ils peuvent utiliser la 3D.
Formation réseau et stratégie d'inférence de 3DEST
Visant le problème de l'erreur d'itération, le modèle utilise également une "stratégie d'agrégation hiérarchique dans le domaine temporel" pour réduire l'erreur d'itération et améliorer la précision des prévisions.
Bien que ce mot semble facile à tromper, il est en fait très facile à comprendre.
Par exemple, le précédent modèle de prévision météorologique AI FourCastNet, avant l'arrivée du typhon, fera une prévision 6 heures à l'avance, et pendant ces 6 heures, le modèle calculera à plusieurs reprises quand le typhon arrivera.
Il peut être calculé pendant 5 heures pendant un certain temps et 4 heures et demie pendant un certain temps, et l'erreur sera grande si ces résultats sont additionnés.
Mais le grand modèle météorologique de Pangu a pensé à un moyen de former 4 modèles avec des intervalles de prévision différents, une itération par 1 heure et une itération par 3 heures, 6 heures et 24 heures.
Ensuite, selon les exigences spécifiques des prévisions météorologiques, sélectionnez le modèle correspondant pour l'itération.
Par exemple, si nous voulons prédire la météo dans les 7 prochains jours, laissez le modèle de 24 heures itérer 7 fois ; prédire 20 heures signifie 3 itérations du modèle de 6 heures + 2 itérations du modèle de 1 heure.
**Moins il y a d'itérations, plus l'erreur est petite. **
Cette vague d'opérations a amené les prévisions météorologiques à un nouveau niveau.
Cependant, certains amis ont peut-être commencé à marmonner. Les grands modèles des gens sont tous des images et des textes générés. Comment Huawei est-il devenu un bulletin météo ?
Une chose à dire, ce modèle Pangu est en effet différent des ChatGPT et Midjourney avec lesquels nous sommes entrés en contact auparavant, ils font des affaires dans l'industrie.
Pour le comprendre simplement, cela signifie que nous n'utilisons pas personnellement le modèle de Pangu.
Ce n'est pas le "nemesis" ChatGPT que tout le monde attend, mais il s'adresse au marché To B qui n'est généralement pas accessible. **
Ne parlons pas de la difficulté ou non, au moins les ressources des clients d'entreprise que Huawei a accumulées au fil des ans sont vraiment faciles à encaisser.
De plus, la conférence de presse de Huawei cette fois n'a pas seulement apporté le rôle impitoyable du modèle de prévision météorologique.
Aucun nouvel antibiotique n'a été découvert depuis plus de 40 ans, et le médicament super antibactérien Drug X a été découvert dès l'arrivée du modèle moléculaire du médicament Pangea, et le cycle de développement du médicament a été raccourci de plusieurs années à plusieurs mois, et la recherche et le développement les coûts ont été réduits de 70 %.
Le grand modèle de la mine Pangu peut également approfondir plus de 1 000 processus d'extraction de charbon, et la sélection de charbon propre à elle seule peut augmenter le taux de récupération du charbon propre de 0,1 % à 0,2 %.
Vous savez, pour une usine de préparation du charbon avec une production annuelle de 10 millions de tonnes de charbon à coke, chaque augmentation de 0,1 % du taux de production de charbon propre peut augmenter le bénéfice annuel de 10 millions.
** C'est de l'argent blanc. . . **
En fait, en plus des prévisions météorologiques, du développement de médicaments et de la préparation du charbon mentionnés ci-dessus, le modèle Pangea a été utilisé dans de nombreuses industries.
Lors de la conférence de presse, Tian Qi, scientifique en chef de HUAWEI CLOUD AI, a déclaré que les projets HUAWEI CLOUD AI ont été appliqués à plus de 1 000 projets, dont 30 % sont utilisés dans le système de production principal du client, augmentant la rentabilité du client en moyenne de 18% % .
Huawei est capable de produire en masse ces grands modèles de diverses industries, grâce à l'architecture à trois couches 5+N+X de Huawei Pangu Model 3.0.
C'est cette structure qui permet à Pangu d'atterrir rapidement dans diverses industries.
Pourquoi dites vous cela?
Parce que l'IA débarque dans l'industrie, les données sont une difficulté majeure.
Zhang Pingan a déclaré lors de la conférence de presse : « En raison de la difficulté à obtenir des données de l'industrie et de la difficulté à combiner la technologie avec l'industrie, la mise en œuvre de grands modèles dans l'industrie a été lente.
**Pangu est très ingénieux, à travers la structure à trois niveaux de 5+N+X, divisez directement ce gros problème en 3 petits problèmes à résoudre. **
Tout d'abord, les cinq grands modèles de la couche L0 de Pangu ont appris des centaines de téraoctets de données textuelles telles que des connaissances encyclopédiques, des œuvres littéraires, des codes de programme et des milliards d'images Internet avec des étiquettes de texte.
Nous pouvons comprendre que laissons d'abord les grands modèles L0 de premier niveau (les cinq grands modèles de base du grand modèle de langage naturel, du grand modèle visuel, du grand modèle multimodal, du grand modèle de prédiction et du grand modèle de calcul scientifique) établir la reconnaissance de base. c'est un peu l'étape de l'éducation de qualité avant notre université.
Ensuite, le modèle dans la deuxième couche L1 est formé en apprenant les données de N industries liées à partir d'un certain grand modèle de base dans L0. C'est comme le premier cycle d'une université, où vous devez choisir une variété de majors à étudier.
Par exemple, l'inspection de l'image CT à l'hôpital et l'inspection de la qualité de l'image à l'usine utilisent de grands modèles visuels.
Mais après tout, l'un est un hôpital et l'autre une usine, et les scénarios d'utilisation sont complètement différents. Il ne fonctionnera certainement pas de s'appuyer uniquement sur le grand modèle de base, mais si les données de l'industrie sont ajoutées, il peut y avoir des surprises.
La dernière L2 est similaire aux étudiants diplômés et sera affinée à une certaine scène sur la base d'industries spécifiques. Par exemple, dans le secteur de l'entreposage et de la logistique, différents modèles de déploiement peuvent être nécessaires pour le transport, l'entreposage et la sortie des marchandises.
Dans le même temps, Huawei a également ajouté un lien de rétroaction, qui s'apparente un peu à un stage dans l'entreprise.
Selon eux, il fallait généralement 5 mois pour développer un modèle industriel à l'échelle GPT-3 dans le passé ; avec cet ensemble d'outils, le cycle de développement peut être raccourci à 1/5 de l'original.
Dans le même temps, les limitations des petits ensembles de données dans de nombreuses industries peuvent également être résolues. Par exemple, une industrie très détaillée telle que la fabrication de gros avions peut également avoir de grands modèles.
En plus de cet ensemble de gros modèles, Huawei a également proposé une chose très intéressante cette fois-ci la localisation de la puissance de calcul.
Comme nous le savons tous, nous sommes vraiment gênés en termes de puissance de calcul de l'IA.
Premièrement, nous ne pouvons pas acheter le H100/A100 de Nvidia, l'équipement de base de l'industrie de l'IA. Deuxièmement, même si Nvidia a "intimement" sorti un remplaçant pour le H800, nous avons toujours des réserves. Par exemple, le taux de transmission a été beaucoup réduit.
Dans le cadre d'un gros modèle qui demande plusieurs mois d'apprentissage, il est facile de se faire dépasser par des homologues étrangers à plus forte puissance de calcul.
Et cette fois, pour régler ce problème, Huawei a quand même sorti des vrais mecs.
Par exemple, en termes de performances sur le papier, le processeur Ascend 910 de Huawei est déjà meilleur que l'A100 de Nvidia.
Cependant, dans la pratique, il existe encore des lacunes. Et l'A100 n'est pas non plus l'arme ultime de Nvidia.
Cependant, Shengteng a été reconnu par de nombreux amis. Huawei a même directement déclaré lors de la conférence de presse que "la puissance de calcul de la moitié des grands modèles chinois est fournie par eux".
Bien sûr, les points positifs de Huawei en matière de puissance de calcul à l'heure actuelle sont plus susceptibles d'être provoqués par l'ensemble de l'écosystème logiciel.
Par exemple, selon la conférence de presse, comptez l'AI Ascend Cloud Computing Power Base et le framework informatique CANN. . . Dans d'autres aspects, l'efficacité de Huawei dans la formation de grands modèles est 1,1 fois supérieure à celle des GPU traditionnels de l'industrie.
En outre, ils ont développé un ensemble complet de packages d'applications pour les utilisateurs.
Par exemple, Meitu a migré 70 modèles vers l'écosystème Huawei en seulement 30 jours. Dans le même temps, Huawei a également déclaré que ** grâce aux efforts des deux parties, les performances de l'IA se sont améliorées de 30% par rapport à la solution d'origine. **
Toujours assez impressionnant.
De plus, Huawei a également déclaré qu'il comptait désormais près de millions de développeurs 4. Ce nombre est aligné sur l'écosystème NVIDIA CUDA.
Cette série d'actions peut être considérée comme compensant une partie des insuffisances. **
** De manière générale, après avoir regardé une conférence de presse de Huawei, ** les mauvais critiques estiment que la disposition de Huawei dans l'IA est très profonde, et ils ont déjà commencé à réfléchir à la question de "ce que l'IA peut vraiment nous apporter".
Au cours des six derniers mois, bien que l'industrie de l'IA ait reçu des applaudissements tonitruants, c'est quelque peu gênant quand elle tombe vraiment au niveau de l'industrie.
Et cette action de Huawei vient de confirmer ce que disait Ren Zhengfei :
** "À l'avenir, il y aura une augmentation des grands modèles d'IA, pas seulement Microsoft. La contribution directe des sociétés de plates-formes logicielles d'intelligence artificielle à la société humaine peut être inférieure à 2 %, et 98 % est la promotion de la société industrielle et société agricole." * *
Dans le domaine de l'IA, la vraie grande ère est encore à venir.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Le grand modèle de Huawei est enfin là, mon évaluation est : assez choquante
Source originale : Mauvaise critique
Huawei, dont on a toujours dit qu'il était à la traîne dans la compétition de modèles à grande échelle, est finalement venu avec ses gars cette fois.
Non, lors de la Huawei Developer Conference 2023 d'hier, Huawei s'est montré.
La conférence de presse de près de trois heures a encore hérité du style méli-mélo du passé de Huawei, ce qui a ébloui Shichao.
Cependant, le résumer met en évidence un thème : Pangu Large Model 3.0.
Le plus important est que sa précision de prédiction dépasse même le système IFS du Centre météorologique européen, connu comme le plus puissant au monde.C'est le premier produit de prédiction d'IA à avoir remporté la prédiction numérique traditionnelle.
De plus, le modèle d'IA précédent continuera d'accumuler des erreurs d'itération pendant le processus de prédiction, ce qui affectera facilement la précision des résultats.
Par conséquent, les méthodes de prédiction de l'IA n'ont pas été populaires.
Le modèle météorologique à grande échelle de Pangu est génial. Ils ont utilisé un réseau neuronal tridimensionnel appelé 3DEST pour traiter les données météorologiques. Si la 2D ne peut pas le faire, ils peuvent utiliser la 3D.
Formation réseau et stratégie d'inférence de 3DEST
Bien que ce mot semble facile à tromper, il est en fait très facile à comprendre.
Par exemple, le précédent modèle de prévision météorologique AI FourCastNet, avant l'arrivée du typhon, fera une prévision 6 heures à l'avance, et pendant ces 6 heures, le modèle calculera à plusieurs reprises quand le typhon arrivera.
Il peut être calculé pendant 5 heures pendant un certain temps et 4 heures et demie pendant un certain temps, et l'erreur sera grande si ces résultats sont additionnés.
Mais le grand modèle météorologique de Pangu a pensé à un moyen de former 4 modèles avec des intervalles de prévision différents, une itération par 1 heure et une itération par 3 heures, 6 heures et 24 heures.
Ensuite, selon les exigences spécifiques des prévisions météorologiques, sélectionnez le modèle correspondant pour l'itération.
**Moins il y a d'itérations, plus l'erreur est petite. **
Cette vague d'opérations a amené les prévisions météorologiques à un nouveau niveau.
Cependant, certains amis ont peut-être commencé à marmonner. Les grands modèles des gens sont tous des images et des textes générés. Comment Huawei est-il devenu un bulletin météo ?
Une chose à dire, ce modèle Pangu est en effet différent des ChatGPT et Midjourney avec lesquels nous sommes entrés en contact auparavant, ils font des affaires dans l'industrie.
Ce n'est pas le "nemesis" ChatGPT que tout le monde attend, mais il s'adresse au marché To B qui n'est généralement pas accessible. **
Ne parlons pas de la difficulté ou non, au moins les ressources des clients d'entreprise que Huawei a accumulées au fil des ans sont vraiment faciles à encaisser.
De plus, la conférence de presse de Huawei cette fois n'a pas seulement apporté le rôle impitoyable du modèle de prévision météorologique.
Aucun nouvel antibiotique n'a été découvert depuis plus de 40 ans, et le médicament super antibactérien Drug X a été découvert dès l'arrivée du modèle moléculaire du médicament Pangea, et le cycle de développement du médicament a été raccourci de plusieurs années à plusieurs mois, et la recherche et le développement les coûts ont été réduits de 70 %.
Vous savez, pour une usine de préparation du charbon avec une production annuelle de 10 millions de tonnes de charbon à coke, chaque augmentation de 0,1 % du taux de production de charbon propre peut augmenter le bénéfice annuel de 10 millions.
** C'est de l'argent blanc. . . **
En fait, en plus des prévisions météorologiques, du développement de médicaments et de la préparation du charbon mentionnés ci-dessus, le modèle Pangea a été utilisé dans de nombreuses industries.
Huawei est capable de produire en masse ces grands modèles de diverses industries, grâce à l'architecture à trois couches 5+N+X de Huawei Pangu Model 3.0.
Pourquoi dites vous cela?
Parce que l'IA débarque dans l'industrie, les données sont une difficulté majeure.
Zhang Pingan a déclaré lors de la conférence de presse : « En raison de la difficulté à obtenir des données de l'industrie et de la difficulté à combiner la technologie avec l'industrie, la mise en œuvre de grands modèles dans l'industrie a été lente.
**Pangu est très ingénieux, à travers la structure à trois niveaux de 5+N+X, divisez directement ce gros problème en 3 petits problèmes à résoudre. **
Tout d'abord, les cinq grands modèles de la couche L0 de Pangu ont appris des centaines de téraoctets de données textuelles telles que des connaissances encyclopédiques, des œuvres littéraires, des codes de programme et des milliards d'images Internet avec des étiquettes de texte.
Ensuite, le modèle dans la deuxième couche L1 est formé en apprenant les données de N industries liées à partir d'un certain grand modèle de base dans L0. C'est comme le premier cycle d'une université, où vous devez choisir une variété de majors à étudier.
Mais après tout, l'un est un hôpital et l'autre une usine, et les scénarios d'utilisation sont complètement différents. Il ne fonctionnera certainement pas de s'appuyer uniquement sur le grand modèle de base, mais si les données de l'industrie sont ajoutées, il peut y avoir des surprises.
Dans le même temps, Huawei a également ajouté un lien de rétroaction, qui s'apparente un peu à un stage dans l'entreprise.
Selon eux, il fallait généralement 5 mois pour développer un modèle industriel à l'échelle GPT-3 dans le passé ; avec cet ensemble d'outils, le cycle de développement peut être raccourci à 1/5 de l'original.
Dans le même temps, les limitations des petits ensembles de données dans de nombreuses industries peuvent également être résolues. Par exemple, une industrie très détaillée telle que la fabrication de gros avions peut également avoir de grands modèles.
Comme nous le savons tous, nous sommes vraiment gênés en termes de puissance de calcul de l'IA.
Premièrement, nous ne pouvons pas acheter le H100/A100 de Nvidia, l'équipement de base de l'industrie de l'IA. Deuxièmement, même si Nvidia a "intimement" sorti un remplaçant pour le H800, nous avons toujours des réserves. Par exemple, le taux de transmission a été beaucoup réduit.
Dans le cadre d'un gros modèle qui demande plusieurs mois d'apprentissage, il est facile de se faire dépasser par des homologues étrangers à plus forte puissance de calcul.
Et cette fois, pour régler ce problème, Huawei a quand même sorti des vrais mecs.
Cependant, dans la pratique, il existe encore des lacunes. Et l'A100 n'est pas non plus l'arme ultime de Nvidia.
Par exemple, selon la conférence de presse, comptez l'AI Ascend Cloud Computing Power Base et le framework informatique CANN. . . Dans d'autres aspects, l'efficacité de Huawei dans la formation de grands modèles est 1,1 fois supérieure à celle des GPU traditionnels de l'industrie.
Toujours assez impressionnant.
De plus, Huawei a également déclaré qu'il comptait désormais près de millions de développeurs 4. Ce nombre est aligné sur l'écosystème NVIDIA CUDA.
** De manière générale, après avoir regardé une conférence de presse de Huawei, ** les mauvais critiques estiment que la disposition de Huawei dans l'IA est très profonde, et ils ont déjà commencé à réfléchir à la question de "ce que l'IA peut vraiment nous apporter".
Au cours des six derniers mois, bien que l'industrie de l'IA ait reçu des applaudissements tonitruants, c'est quelque peu gênant quand elle tombe vraiment au niveau de l'industrie.
Et cette action de Huawei vient de confirmer ce que disait Ren Zhengfei :
** "À l'avenir, il y aura une augmentation des grands modèles d'IA, pas seulement Microsoft. La contribution directe des sociétés de plates-formes logicielles d'intelligence artificielle à la société humaine peut être inférieure à 2 %, et 98 % est la promotion de la société industrielle et société agricole." * *
Dans le domaine de l'IA, la vraie grande ère est encore à venir.