Детальне пояснення моделі Pangu із 6000 слів: чи може вона підтримувати інший полюс світового ШІ?

Huawei показала свої «м'язи» на ниві великих моделей.

7 липня відкрилася Конференція розробників Huawei 2023 (HDC 2023). Під час основної промови, яка тривала понад дві години пополудні, HUAWEI CLOUD вперше детально розкрив прогрес великої моделі Pangu.Він не лише випустив орієнтовану на галузь велику модель Pangu 3.0, але й детально представив основну технічні можливості Huawei для розробки великих моделей.

Велика модель Pangu 3.0 включає трирівневу структуру «5+N+X». Три рівні відносяться до п’яти основних великих моделей рівня L0, N галузевих великих моделей рівня L1 і рівня L2 що дозволяє користувачам самостійно тренувати більше Уточнення моделі сцени. У ньому використовується повна багаторівнева розв’язка, і корпоративні користувачі можуть вибрати відповідну масштабну розробку моделі, оновити або налаштувати на основі власних бізнес-потреб, щоб адаптуватися до мінливих потреб тисяч галузей.

Ху Хоукунь, черговий голова Huawei, сказав на нещодавній конференції WAIC, що основою моделі розвитку Huawei є зосередження на обчислювальних потужностях і програмах**. З одного боку, це поглиблення обчислювальної потужності та створення потужної бази обчислювальної потужності для підтримки розвитку індустрії штучного інтелекту Китаю. З іншого боку, це поєднання великомасштабних моделей, від широкомасштабних моделей загального призначення до широкомасштабних досліджень та інновацій у масштабах усієї галузі, щоб справді зробити так, щоб штучний інтелект добре обслуговував тисячі галузей промисловості та наукових досліджень.

Huawei є одним із перших постачальників хмарних послуг у Китаї, який розгорнув масштабні моделі, і випустив масштабну модель Pangu ще у 2021 році. На шляху до розробки великомасштабних моделей Huawei створила потужну хмарну платформу штучного інтелекту на основі Kunpeng і Ascend з нижнього рівня, а також технічні можливості, такі як гетерогенна обчислювальна архітектура CANN, повний сценарій AI framework MindSpore, і виробнича лінія розробки AI ModelArts.

Окрім великої моделі та бази обчислювальної потужності, під час зустрічі HUAWEI CLOUD також висвітлив типові випадки поєднання великої моделі Pangu та окремих галузей, зокрема урядових справ, метеорології, залізниць, виробництва та фінансів, а також а також численні оновлення та зміни форми Huawei.Приклади застосування хмарних програмних продуктів і сервісів.

Незалежно від того, чи йдеться про базові технічні можливості, систему обслуговування хмарних продуктів AI**+ або прикладні приклади в конкретних галузях, HUAWEI CLOUD продемонстрував надзвичайно зрілі та систематичні бізнес-можливості, які справді вражають індустрію. Робіть сюрпризи. **Поки всі досі сперечаються про те, хто є китайським OpenAI, HUAWEI CLOUD відкрив досить зрілий шлях розвитку для великомасштабних моделей.

Huawei використовує власну практику, щоб довести, що великомасштабні моделі важливі, але, що важливіше, це використовувати великомасштабні моделі для вирішення проблемних точок галузей і продуктів, для створення продуктів і послуг, які можуть змусити підприємства та користувачів платити і справді створювати цінності для тисяч галузей.

01 Pangu Large Model 3.0: Багаторівнева архітектура роз’єднання

Відокремлення — це ключове слово моделі Pangu 3.0, випущеної сьогодні. Це також поширене звернення промислових клієнтів, які фактично використовували великі моделі протягом останніх кількох місяців.

Провідний постачальник SaaS сказав під час випуску власної великомасштабної програми для оновлення моделі: «Ми не розробляємо великомасштабні моделі самі, але в різних бізнес-сценаріях, яка великомасштабна модель у чому хороша, ми беремо ту модель». Щоб мати можливість перемикатися між різними великими моделями, «наша власна архітектура продукту має бути незалежною від основної великої моделі або слабко пов’язаною».

«Дизайн відокремлення великої моделі Pangu призначений для індустрії.» На конференції розробників Huawei Чжан Пінган, виконавчий директор Huawei та генеральний директор Huawei Cloud, представив диференційований маршрут великої моделі Pangu. Її суть полягає в тому, щоб роз’єднати різні рівні та можливості моделі Pangu, дозволяючи галузевим користувачам розвиватися відповідно до власних потреб.

Зокрема, Pangu Large-scale Model 3.0 — це серія великомасштабних моделей, орієнтована на галузь, що включає трирівневу структуру «5+N+X»:

«5» представляє п’ять основних великих моделей рівня L0: включаючи природну мову, бачення, мультимодальні моделі, великі моделі прогнозування та наукових обчислень, які забезпечують і задовольняють потреби різних навичок у галузевих сценаріях.

Pangu 3.0 надає клієнтам серіалізовані базові великі моделі з 10 мільярдами параметрів, 38 мільярдами параметрів, 71 мільярдом параметрів і 100 мільярдами параметрів, що відповідають різноманітним потребам клієнтів у різних сценаріях, різних затримках і різних швидкостях відповіді. У той же час він надає новий набір можливостей, у тому числі відповіді на питання знань, створення копій і кодів для великих моделей NLP, а також створення зображень і розуміння зображень для мультимодальних великих моделей. Ці навички можна використовувати безпосередньо клієнтами та компаніями-партнерами. Незалежно від розміру великої моделі Pangu забезпечує послідовний набір можливостей.

«N» у трирівневій структурі «5+N+X» представляє N великих промислових моделей на рівні L1. Існує два способи надання великих галузевих моделей: з одного боку, HUAWEI CLOUD може надавати загальні галузеві великі моделі, навчені з використанням загальнодоступних галузевих даних, зокрема державних справ, фінансів, виробництва, видобутку корисних копалин, погоди та інших великих моделей; з іншого боку, він може базуватися на галузевих замовниках Маючи власні дані на рівнях L0 і L1 великої моделі Pangea, він навчає свою власну велику модель для клієнтів.

Чжан Пінган сказав: «Pangu був народжений, щоб служити індустрії, і він надає різноманітні широкомасштабні моделі розгортання, розробки та форм міркування. Він може створити власну великомасштабну галузеву модель, як і великомасштабна модель Pangu від Huawei. , і потребує лише введення власних особистих даних.» Крім того, навчальні дані також відокремлені від великої моделі.

X у «5+N+X» означає, що рівень L2 надає клієнтам більш детальні моделі сцени, зосереджуючись більше на гарячих лініях з питань державних справ, мережевих помічниках, провідному скринінгу наркотиків, виявленні сторонніх предметів на конвеєрах і тайфуні. paths Надайте клієнтам готові модельні послуги для конкретних галузевих застосувань або конкретних бізнес-сценаріїв, таких як прогнозування.

Завдяки трирівневій великій моделі «**5+N+X» HUAWEI CLOUD створив власну велику базу моделей.

На вчорашній Всесвітній конференції зі штучного інтелекту Ху Хоукунь, черговий голова правління Huawei, жваво пояснив: «Найосновніший рівень порівняльного аналізу — це загальна широкомасштабна модель, яку ми називаємо базовою великомасштабною моделлю. Наш образ на цьому рівні називається читанням. тисячі книг, що означає добре працювати. Вивчається велика кількість базових знань. На цьому рівні також створюються промислові моделі та моделі сцен, які називаються подорожами за тисячі миль. Є ще багато проблем, які потрібно подолати, читаючи тисячі книг Долати тисячі миль. Ключовим моментом є те, що Huawei працює з партнерами з різних галузей, щоб повністю поєднувати та інтегрувати знання з різних галузей у великі моделі».

**Крім того, інновація великої моделі є не лише інновацією самої моделі, а й залежить від інновацій різних кореневих технологій ШІ. На зустрічі Яо Цзюнь, директор лабораторії Ноєвого ковчега Huawei, представив технічну базу моделі Pangu.

Huawei створила потужну хмарну платформу штучного інтелекту на основі Kunpeng і Ascend на нижньому рівні, а також гетерогенну обчислювальну архітектуру CANN, повноцінний фреймворк штучного інтелекту MindSpore та виробничу лінію розробки штучного інтелекту ModelArts тощо, щоб надає розподілені рішення для розробки та експлуатації великих моделей Ключові можливості, такі як паралельне прискорення, оптимізація операторів і компіляції, а також оптимізація зв’язку на рівні кластера. Завдяки кореневій технології штучного інтелекту Huawei продуктивність навчання великої моделі може бути налаштована в 1,1 раза вище, ніж серед основних графічних процесорів у галузі.

Обчислювальна потужність є основою для навчання великих моделей. На цій конференції Чжан Пінань оголосив, що хмарний сервіс Ascend AI з обчислювальною потужністю одного кластера 2000P Flops буде запущено одночасно в центрах обчислювальної потужності Huawei Cloud Ulanqab і Gui'an AI. На додаток до підтримки фреймворку штучного інтелекту Huawei для всіх сценаріїв Shengsi MindSpore, Shengteng AI Cloud Service також підтримує основні фреймворки штучного інтелекту, такі як Pytorch і Tensorflow.

У той же час 90% операторів у цих фреймворках можна плавно перенести на платформу Ascend за допомогою інструменту наскрізної міграції Huawei. Наприклад, Meitu перенесла 70 моделей на Ascend лише за 30 днів. У той же час HUAWEI CLOUD і команда Meitu спільно оптимізували понад 30 операторів і паралельно прискорили процес. У порівнянні з оригінальним рішенням, продуктивність AI була вище. покращився на 30%.

Крім того, під час навчання великої моделі часто виникають збої GPU, і розробникам доводиться часто перезапускати навчання, що займає багато часу та коштує багато. Хмарний сервіс Ascend AI може забезпечувати більш стабільну обчислювальну послугу AI.Показник довгострокової стабільності 30-денного тренування кілокалорій досягає 90%, а час відновлення контрольної точки не перевищує 10 хвилин.

02 Розширення можливостей тисяч галузей

Рень Чженфей раніше сказав: «Прямий внесок компаній, що розробляють програмні платформи штучного інтелекту, у людське суспільство може становити менше 2%, а 98% — це просування індустріального та сільськогосподарського суспільства. Але платформа додатків — це не наш вибір, ми будемо нижній рівень потужної платформи AI Computing».

Випуск великих моделей у тисячі галузей промисловості став центром розробки великих моделей Huawei. На зустрічі HUAWEI CLOUD представив приклади застосування великої моделі Pangu у семи сферах, включаючи державні справи, залізниці, метеорологію та фінанси.

Державні справи

У сфері урядових справ HUAWEI CLOUD і Shenzhen Futian District Government Service Data Management Bureau запустили Xiaofu, розумного помічника Futian для державних справ на основі моделі Pangu Government Affairs, який може точно розуміти наміри людей щодо консультацій і змінювати традиційне єдине обслуговування. модель. Тонко налаштовуючи понад 200 000 даних про державні справи, включаючи 12345 гарячих ліній, політичні документи, енциклопедії з державних справ тощо, помічники з урядових справ оволоділи величезною кількістю галузевих знань, таких як закони та правила, а також процедури обробки.

За словами Huawei Cloud, серцевиною великої моделі державних справ Pangu є когнітивні здібності. Дозвольте міській громадській системі побачити та зрозуміти, і завершіть замкнутий цикл від сприйняття до пізнання та утилізації. І відповідно до різних сценаріїв він надає різні можливості, такі як відповіді на запитання, створення копій, сприйняття відео та мультимодальне розуміння.

HUAWEI CLOUD представив два типові сценарії: перший – це консультаційний сценарій, коли корпоративні користувачі консультуються з державними помічниками щодо відповідної політики підтримки інвестицій, і державні помічники можуть представити відповідні правила та політику та надати відповідні пропозиції консультантам; другий сценарій, Як показано на малюнку вище це сцена обробки державних справ на основі діалогу та мультимодальних можливостей.Персонал може розумно аналізувати порушення на зображеннях на основі знімків, зроблених камерою.

залізниця

На залізниці компанія Huawei продемонструвала приклад застосування асистента виявлення вантажівок.

Традиційним інспекторам поїздів доводиться щодня перевіряти мільйони фотографій поїздів, щоб визначити, чи є несправності у вантажних вагонах, що курсують по залізничній мережі. Після представлення великої моделі Pangu вона може точно ідентифікувати 67 видів вантажівок, що працюють у мережі, і понад 430 видів несправностей, а рівень перевірки недефектних зображень досягає 95%. Іншими словами, інспекторам поїздів потрібно виявити лише 1/20 зображень поїздів у минулому, що еквівалентно 20-кратному збільшенню ефективності роботи.

вугільна шахта

У сфері вугільних шахт великомасштабна модель Pangu Mine використовувалася на 8 шахтах по всій країні. Велика модель може охоплювати понад 1000 підрозділених сценаріїв у бізнес-процесах, таких як видобуток корисних копалин, розкопки, обладнання, транспортування, транспортування, і промивання вугільних шахт, дозволяючи більшій кількості шахтарів працювати на землі, що не тільки робить робоче середовище шахтарів більш комфортним, але й значно знижує кількість нещасних випадків.

метеорологічний

Метеорологічна сфера була в центрі уваги прес-конференції Huawei Cloud Буквально кілька днів тому результати дослідження великої метеорологічної моделі Pangu були опубліковані в провідному іноземному журналі «Nature», і рецензенти прокоментували: «Давайте переглянемо майбутнє прогнозування погоди.

Спочатку, щоб передбачити шлях тайфуну протягом наступних 10 днів, було потрібно 5 годин для моделювання на високопродуктивному комп’ютерному кластері з 3000 серверів. Тепер на основі попередньо підготовленої великої метеорологічної моделі Пангеї, завдяки міркуванню ШІ, дослідникам потрібно лише налаштувати одну картку на одному сервері, щоб отримати точніші результати прогнозу протягом 10 секунд.

Наразі велика метеорологічна модель Пангеї може бути використана для прогнозування погоди, як-от хвилі, високі температури, тайфуни та холодні хвилі. У порівнянні з традиційним прогнозом погоди це швидше та точніше. Раніше Pangu співпрацював з метеорологічним бюро, щоб передбачити шлях "Mawa" на 10 днів наперед. Крім того, Пангу також передбачив прихід хвилі холоду до Фінляндії на два дні наперед, порівняно з прогнозом Європейського метеорологічного агентства. Прогноз Pangu також ближчий до реальної температури,

фінанси

У сфері фінансів Pangu Large Model співпрацювала з ICBC для створення серії дослідницьких програм.

Одним із типових сценаріїв є підвищення ефективності роботи банківських кас. ICBC має десятки тисяч торгових точок по всій країні та 200 000 торгових точок. Їм потрібно перемикатися між різними службами, що втрачає багато часу.

Велика фінансова модель Pangu проводить попереднє навчання різноманітним банківським операціям, політикам і документам справи, а також може автоматично генерувати процедури та оперативні вказівки для персоналу каси відповідно до проблем клієнтів, скорочуючи середню операцію, яка спочатку вимагала 5 операцій, до 1. Час вузла скорочено на більше 5 хвилин.

І це лише найпростіша програма. Huawei спільно з фінансовою індустрією вивчає можливості застосування великої моделі для більшої кількості фінансових сценаріїв, наприклад кредитного аналізу в майбутньому.

виробництво

Сама Huawei також є виробничою компанією. Апаратні продукти, які вона виробляє, включають базові станції зв’язку, мобільні телефони, автомобілі, чіпи та інші галузі. Спираючись на досвід, накопичений у минулому, Huawei представила велику модель Pangu у сфері виробництва та виробництва.

У минулому часто потрібно було більше 3 годин, щоб скласти одноденний виробничий план для однієї виробничої лінії, щоб скласти план розміщення пристроїв. Вивчивши різноманітні дані пристрою, бізнес-процеси та правила виробничої лінії Huawei, велика модель виробництва Pangu може точно зрозуміти потреби бізнесу та викликати плагін Tianchou AI Solver, щоб зробити наступні 3 дні за одну хвилину.План виробництва.

Відкриття ліків

У сфері дослідження та розробки ліків оригінальне дослідження та розробка нового препарату займає в середньому 10 років і коштує 1 мільярд доларів США. Велика молекулярна модель ліків Pangu допомогла групі професора Лю Бінга з Першої афілійованої лікарні Сіаньського університету Цзяотун відкрити першу в світі нову мішень і новий клас антибіотиків за 40 років, а також скоротити цикл розробки провідних ліків до одного місяця. і знизити вартість розробки на 70%.

03 Велика модель інтегрована в систему продуктів Huawei Cloud

На додаток до практики в тисячах галузей, модель HUAWEI CLOUD Pangu також була глибоко інтегрована в продуктові послуги HUAWEI CLOUD для реструктуризації інноваційної продукції.

Велика модель Pangu + хмарна служба Huawei

Завдяки моделі Pangu було оновлено та реконструйовано ряд продуктів і сервісів B-end Huawei Cloud. На зустрічі HUAWEI CLOUD представив деталі чотирьох оновлень сервісу: служби даних, хмарного обслуговування клієнтів, BI та хмарного пошуку.

* У службі даних за допомогою технології копірайтингу та генерації коду великої моделі Pangu ефективність запису даних і написання зовнішнього коду може бути покращена, а цикл запуску нового продукту може бути значно скорочений.

• У хмарному обслуговуванні клієнтів через діалог «Питання та відповіді», вбудований у галузеву базу знань, і здатність аналізу намірів реалізується весь процес пріоритетних відповідей ШІ, а ефективність обслуговування клієнтів покращується на 30%.
• У BI за допомогою інтелектуальної маршрутизації NL2SQL і AutoGraph реалізовано автоматичні рекомендації від SQL до візуальних діаграм, а завдяки численним раундам взаємодії природної мови кожен може легко отримати уявлення про бізнес-деталі з даних.
• У хмарному пошуку за допомогою мультимодального вбудовування та технології NL2API він реалізує пошук відео, тексту, карти та інших різноманітних сцен. Завдяки потужним семантичним розумінням і можливостям узагальнення рівень точності пошуку підвищується на 15%.

Велика модель Pangu + інструмент коду CodeArts

HUAWEI CLOUD поєднує інструменти дослідження та розробки CodeArts із великою моделлю Pangu та офіційно випущеним CodeArts Snap, інтелектуальним помічником із програмування для розробників.

Інструмент навчив 76 мільярдів рядків вибраних кодів і 13 мільйонів технічних документів. Він має три основні функції: інтелектуальне генерування, інтелектуальне запитання й відповідь і інтелектуальна співпраця. Він може реалізувати генерацію коду одним реченням діалогу, автоматичну анотацію та генерацію тестові приклади в один клік Одна команда може бути інтелектуально розгорнута, так що кожен розробник програмного забезпечення має власного помічника з програмування.

Велика модель Pangu + Digital Man

HUAWEI CLOUD розширює можливості лінії виробництва цифрового контенту MetaStudio за допомогою базової великої моделі Pangu та створює модель Pangu Digital Human Congress, яка надає дві основні послуги: створення моделі та керування моделлю, і використовує 200 000 годин аудіо- та відеоданих для попереднього навчання.

Завдяки цим двом основним службам розробники можуть швидко генерувати та запускати цифрові людські моделі, розширюючи можливості онлайн-освіти, розважальних прямих трансляцій, корпоративних конференцій та інших галузевих програм, щоб кожен працівник підприємства міг реалізувати «цифрову людську свободу». Наприклад, користувачам потрібно лише завантажити 20-секундне особисте відео на сторінку сервісу HUAWEI CLOUD MetaStudio, щоб швидко створити персоналізоване цифрове відео з людським поясненням.Робота, виконана трьома дослідниками за три дні в минулому, тепер може бути завершена в лише три хвилини.

Велика модель Pangu + втілений інтелект

На зустрічі Huawei Cloud також згадала про застосування моделі Pangu у сфері робототехніки та продемонструвала відео.

У минулому, щоб надавати командам роботам, розробники вимагали програмування, але завдяки здатності розуміння природної мови моделі Pangu роботи можуть розпізнавати природну мову, виконувати команди та мати автономний інтелект, керований глобальним сприйняттям. Під час зустрічі Huawei продемонструвала відео, у якому користувачам не потрібно вводити програмні команди, а лише віддавати накази роботу природною мовою, і робот може виконувати такі команди, як збирання предметів, і робитиме автономні судження на основі на навколишнє середовище в процесі (наприклад, переміщення Відкрийте різне, що блокує цільовий об’єкт), щоб виконати завдання.

За словами Huawei, наведена вище демонстрація не є концептуальним відео, а реальним продуктом, який був виставлений на місці проведення конференції HDC.

**04 Підсумок і міркування: чи може Huawei стати іншим полюсом ШІ? **

Чжан Пінган сказав: «Щоб допомогти глобальним клієнтам, партнерам і розробникам навчати та використовувати великі моделі, ми прагнемо створити світ для глобальних клієнтів AI **Інший полюс, надаючи нових розробників AI s Вибір». **

Ще раніше, ще в березні цього року, Ren Zhengfei висловив подібне значення в компанії. Він сказав, що буде сплеск моделей ШІ, не тільки Microsoft. Причиною Реня Чженфея є напрямок зусиль Huawei Cloud сьогодні, тобто безпосередній внесок компаній, що розробляють програмні платформи штучного інтелекту, у людське суспільство може становити менше 2%, а 98% – це сприяння індустріальному суспільству та сільськогосподарському суспільству.

Наприклад, заводи в Китаї та Німеччині сприяють просуванню штучного інтелекту в галузь, щоб реалізувати безпілотне виробництво; наприклад, причал у порту Тяньцзінь також спробував безпілотне завантаження та розвантаження вантажів. Після введення коду контейнер буде автоматично вилучено з корабля. Перенесіть його, а потім відвезіть на машині; наприклад, у вугільній шахті в Шаньсі після впровадження під землею штучного інтелекту 5G+ кількість персоналу скоротилася на 60-70%, і більшість людей працюють у костюмах у диспетчерській на землі.

Це приклади масштабного застосування штучного інтелекту в промисловості за останні кілька років. Спільним для цих галузей є те, що вони мають величезний масштаб і продуктивність, і невелике підвищення ефективності може принести величезні переваги.

**Поява великих моделей, по суті, забезпечує більш ефективні інструменти продуктивності. **З одного боку, для галузей, які вже використовують ШІ, це означає вищу ефективність і швидший процес трансформації; а вища ефективність також означає, що більшій кількості галузей легше розраховувати «економічний рахунок». ШІ має потенціал трансформуватися з кількох так званих великих галузей до трансформації тисяч галузей.

Це причина, чому Huawei рішуче входить у галузь.Насправді, такі великі вітчизняні компанії хмарних сервісів, як Alibaba Cloud, Tencent Cloud, Volcano Cloud і Baidu Cloud, мають подібні ідеї. У випадку однакового напрямку та близької початкової точки, хто може бігти найшвидше в цьому змаганні, це весь ланцюжок можливостей від обчислювальної потужності, великої бази моделей, платформи, продуктів до конкретних рішень.

Через загальновідомі причини Huawei не може отримати найдосконаліший у світі обчислювальний чіп, який на даний момент визнаний, і, здається, він за своєю суттю недостатній у цій конкуренції. Але, судячи з сьогоднішньої прес-конференції, Huawei не бачить, що вона відстає через обмеження верхньої частини. У брелоку великої моделі вона придумала зрілі продукти та чохли, а також відокремлений Pangu великий Архітектура моделі ще більше привертає увагу. **Насправді, враховуючи потреби локалізації сьогодні, Huawei, яка не відстає за обчислювальною потужністю, швидше за все, стане незалежною та контрольованою перевагою. **

Великі моделі стали новою можливістю для Huawei, і, схоже, це стає реальністю.