Görsel kaynağı: Unbounded AI tarafından oluşturuldu
Büyük ölçekli model rekabetinde hep geride kaldığı söylenen Huawei, nihayet bu kez adamlarıyla birlikte geldi.
Hayır, dünkü Huawei Geliştirici Konferansı 2023'te Huawei kendini gösterdi.
Yaklaşık üç saatlik basın toplantısı, Huawei'nin Shichao'nun gözlerini kamaştırmasına neden olan eski hodgepodge stilini miras aldı.
Ancak, özetlemek aslında bir temayı vurgular: Pangu Büyük Model 3.0.
Aslında, daha birkaç gün önce, diğer büyük modeller hala çeşitli derecelendirmeleri karşılaştırırken, Pangu dünyanın en iyi dergisi Nature tarafından onaylanan altın tabelaya güvenerek benzersiz bir şekilde herkesin görüş alanına girdi.
Pangu büyük modelinin eklenmesiyle birlikte hava tahmin hızının 10.000 kattan fazla arttığı ve sonuçların birkaç saniye içinde alınabileceği söyleniyor.Tayfun nereden, ne zaman gelecek ve ne zaman gelecek? gidecek, size net bir tahmin verebilir.
En önemlisi ise tahmin doğruluğunun dünyanın en güçlüsü olarak bilinen Avrupa Meteoroloji Merkezi'nin IFS sistemini bile geride bırakması, geleneksel sayısal tahmini kazanan ilk yapay zeka tahmin ürünüdür.
Biliyorsunuz, önceki AI hava durumu tahminlerinin çoğu 2B sinir ağlarına dayalı olarak geliştirildi, ancak hava çok karmaşık ve 2B gerçekten çok fazla.
Ayrıca, önceki AI modeli, tahmin süreci sırasında yineleme hatalarını biriktirmeye devam edecek ve bu da sonuçların doğruluğunu kolayca etkileyecektir.
Bu nedenle, AI tahmin yöntemleri popüler olmamıştır.
Pangu meteorolojik büyük ölçekli modeli harika. Meteorolojik verileri işlemek için 3DEST adlı üç boyutlu bir sinir ağı kullandılar. 2D bunu yapamıyorsa, 3D'yi kullanabilirler.
3DEST'in Ağ Eğitimi ve Çıkarım Stratejisi
Yineleme hatası sorununu hedefleyen model, yineleme hatasını azaltmak ve tahmin doğruluğunu iyileştirmek için "hiyerarşik zaman alanı toplama stratejisi" de kullanır.
Bu kelime kandırılması kolay gibi görünse de aslında anlaşılması çok kolaydır.
Örneğin, bir önceki AI hava tahmin modeli FourCastNet, tayfun gelmeden 6 saat önce bir tahmin yapacak ve bu 6 saat boyunca model, tayfunun ne zaman geleceğini tekrar tekrar hesaplayacaktır.
Bir süre için 5 saat, bir süre için 4 buçuk saat olarak hesaplanabilir ve bu sonuçlar toplanırsa hata büyük olur.
Ancak Pangu Meteorolojik Büyük Modeli, 1 saatte bir yineleme ve 3 saat, 6 saat ve 24 saatte bir yineleme olmak üzere farklı tahmin aralıklarıyla 4 modeli eğitmenin bir yolunu düşündü.
Ardından, belirli hava tahmini gereksinimlerine göre yineleme için ilgili modeli seçin.
Örneğin, önümüzdeki 7 günün hava durumunu tahmin etmek istiyorsak, 24 saatlik modeli 7 kez yineleyelim; 20 saati tahmin etmek, 6 saatlik modelin 3 yinelemesi + 1 saatlik modelin 2 yinelemesi anlamına gelir.
**Ne kadar az yineleme olursa, hata o kadar küçük olur. **
Bu operasyon dalgası, hava tahminini yeni bir seviyeye getirdi.
Ancak bazı arkadaşlar mırıldanmaya başlamış olabilir.İnsanların büyük modellerinin hepsi üretilmiş resimler ve yazılardır.Huawei nasıl bir hava durumu tahmini oldu?
Söylenecek tek şey, bu Pangu modeli, daha önce temas kurduğumuz ChatGPT ve Midjourney'den gerçekten farklı, sektörde iş yapıyorlar.
Basitçe anlamak, kişisel olarak Pangu modelini kullanmadığımız anlamına gelir.
Herkesin beklediği ChatGPT "düşmanı" değildir, ancak genellikle erişilemeyen To B pazarını hedeflemektedir. **
Zorluktan bahsetmeyelim, en azından Huawei'nin yıllar boyunca biriktirdiği kurumsal müşteri kaynaklarını nakde çevirmek gerçekten çok kolay.
Üstelik Huawei'nin bu kez düzenlediği basın toplantısı sadece hava tahmin modelinin acımasız rolünü gündeme getirmekle kalmadı.
40 yılı aşkın bir süredir yeni bir antibiyotik keşfedilmedi ve süper antibakteriyel ilaç Drug X, Pangea ilaç moleküler modeli gelir gelmez bulundu ve ilaç geliştirme döngüsü birkaç yıldan birkaç aya kısaldı ve araştırma ve geliştirme maliyetler %70 oranında düşürülmüştür.
Pangu Madeninin büyük modeli, 1.000'den fazla kömür madenciliği sürecini de derinlemesine inceleyebilir ve tek başına temiz kömür seçimi, temiz kömürün geri kazanım oranını %0,1 ila %0,2 oranında artırabilir.
Biliyorsunuz, yıllık 10 milyon ton koklaşabilir taş kömürü üreten bir kömür hazırlama tesisi için, temiz kömür üretim oranındaki her %0,1'lik artış, yıllık karı 10 milyon artırabiliyor.
**Bu tamamen beyaz paradır. . . **
Aslında, yukarıda bahsedilen hava tahmini, ilaç geliştirme ve kömür hazırlamaya ek olarak, Pangea modeli birçok endüstride kullanılmıştır.
HUAWEI CLOUD AI Baş Bilim İnsanı Tian Qi basın toplantısında, HUAWEI CLOUD AI projelerinin 1.000'den fazla projeye uygulandığını ve bunların %30'unun müşterinin ana üretim sisteminde kullanıldığını ve müşteri karlılığını ortalama olarak artırdığını söyledi. % 18. % .
Huawei, Huawei Pangu Model 3.0'ın 5+N+X üç katmanlı mimarisi sayesinde çeşitli sektörlerin bu büyük modellerini toplu olarak üretebilmektedir.
Pangu'nun çeşitli endüstrilere hızla inmesini sağlayan bu yapıdır.
Neden öyle diyorsun?
Yapay zeka sektöre girdiği için veriler büyük bir zorluk teşkil ediyor.
Zhang Pingan basın toplantısında, "Endüstri verilerini elde etmenin zorluğu ve teknolojiyi endüstri ile birleştirmenin zorluğu nedeniyle, endüstride büyük modellerin uygulanması yavaş olmuştur" dedi.
**Pangu çok ustaca, 5+N+X'in üç katmanlı yapısı aracılığıyla bu büyük sorunu çözmek için doğrudan 3 küçük soruna böldü. **
Her şeyden önce, Pangu'nun L0 katmanının beş büyük modeli, ansiklopedi bilgisi, edebi eserler, program kodları ve metin etiketli milyarlarca İnternet görüntüsü gibi yüzlerce terabaytlık metin verisini öğrendi.
Öncelikle birinci düzey L0 büyük modellerinin (doğal dil büyük modeli, görsel büyük modeli, multimodal büyük modeli, tahmin büyük modeli ve bilimsel hesaplama büyük modelinin beş temel büyük modeli) temel tanıma oluşturmasına izin verdiğini anlayabiliriz. üniversitemizden önceki kaliteli eğitim aşaması gibi bir şey.
Daha sonra, L0'daki belirli bir temel büyük modelden N ilgili endüstrinin verileri öğrenilerek ikinci katman L1'deki model oluşturulur. Bu, okumak için çeşitli ana dallar seçmeniz gereken bir üniversitenin lisans aşaması gibidir.
Örneğin, hastanedeki CT görüntü incelemesi ve fabrikadaki görüntü kalitesi denetimi büyük görsel modeller kullanır.
Ama sonuçta biri hastane diğeri fabrika ve kullanım senaryoları tamamen farklı.Tek başına temel büyük modele güvenmek kesinlikle işe yaramayacaktır ama sektör verileri de eklenirse sürprizler olabilir.
Son L2, lisansüstü öğrencilerine benzer ve belirli endüstriler temelinde belirli bir sahneye göre rafine edilecektir. Örneğin, depolama ve lojistik sektöründe, malların nakliyesi, depolanması ve çıkışı için farklı dağıtım modelleri gerekebilir.
Aynı zamanda Huawei, bir nevi şirkette staj yapmaya benzeyen bir geri bildirim bağlantısı da ekledi.
Onlara göre geçmişte GPT-3 ölçekli bir endüstri modeli geliştirmek genellikle 5 ay sürüyordu; bu araç seti ile geliştirme döngüsü orijinalin 1/5'i kadar kısaltılabilir.
Aynı zamanda birçok sektördeki küçük veri setlerinin sınırlamaları da çözülebilir. Örneğin büyük uçak imalatı gibi çok detaylı bir endüstrinin de büyük modelleri olabilir.
Bu büyük model grubuna ek olarak, Huawei ayrıca bu çok ilginç bir şey önerdi - bilgi işlem gücünün zamana göre yerelleştirilmesi.
Hepimizin bildiği gibi, AI bilgi işlem gücü açısından gerçekten utanıyoruz.
Birincisi, AI endüstrisinin temel ekipmanı olan Nvidia'nın H100/A100'ünü satın alamıyoruz, ikincisi, Nvidia H800'ün yerine "yakından" bir yedek çıkarsa bile, hala çekincelerimiz var. Örneğin, iletim hızı çok kesildi.
Eğitilmesi birkaç ay süren büyük bir model bağlamında, daha güçlü bilgi işlem gücüne sahip yabancı emsalleri tarafından geçilmesi kolaydır.
Ve bu sefer, bu sorunu çözmek için Huawei yine de bazı gerçek adamları çıkardı.
Örneğin, kağıt üzerindeki performans açısından Huawei'nin Ascend 910 işlemcisi, Nvidia'nın A100 işlemcisinden zaten daha iyi.
Ancak uygulamada hala bazı boşluklar var. A100 de Nvidia'nın nihai silahı değil.
Ancak, Shengteng birçok arkadaş tarafından tanındı. Hatta Huawei, basın toplantısında doğrudan "Çin'in büyük modellerinin yarısının bilgi işlem gücünü onlar sağlıyor" ifadesini kullandı.
Tabii ki, Huawei'nin şu anda bilgi işlem gücündeki parlak noktalarının tüm yazılım ekosisteminden kaynaklanması daha muhtemel.
Örneğin, basın toplantısına göre AI Ascend Cloud Computing Power Base ve bilgi işlem çerçevesi CANN'i sayın. . . Diğer yönlerden, Huawei'nin büyük modelleri eğitmedeki verimliliği, sektördeki ana akım GPU'ların 1,1 katıdır.
Ayrıca, kullanıcılar için eksiksiz bir uygulama paketi seti geliştirdiler.
Örneğin Meitu, 70 modeli yalnızca 30 günde Huawei Ekosistemine taşıdı. Aynı zamanda Huawei,** her iki tarafın da çabalarıyla AI performansının orijinal çözüme göre %30 oranında iyileştiğini de belirtti. **
Yine de oldukça etkileyici.
Üstelik şu anda yaklaşık 4 milyon geliştiriciye sahip olduklarını da söyleyen Huawei, bu sayının NVIDIA CUDA ekosistemi ile uyumlu olduğunu belirtiyor.
Bu eylemler dizisi, eksikliklerin bir kısmını telafi ediyor olarak kabul edilebilir. **
Genel olarak, bir Huawei basın toplantısını izledikten sonra, kötü yorumcular Huawei'nin yapay zeka düzeninin çok derin olduğunu düşünüyorlar ve şimdiden "Yapay zekanın bize gerçekten ne getirebileceği" sorusunu düşünmeye başladılar.
Son altı ayda yapay zeka sektörü gök gürültülü alkışlar alsa da gerçekten sektör seviyesine düşmesi biraz utanç verici.
Ve Huawei'nin bu eylemi, Ren Zhengfei'nin söylediklerini doğruladı:
*" Gelecekte, yalnızca Microsoft'ta değil, AI büyük modellerinde bir artış olacak. Yapay zeka yazılım platformu şirketlerinin insan toplumuna doğrudan katkısı %2'den az olabilir ve %98, endüstriyel toplumun ve tarım toplumu." *
AI alanında, gerçek büyük çağ henüz gelmedi.
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Huawei'nin büyük modeli sonunda geldi, benim değerlendirmem şu: oldukça şok edici
Orijinal kaynak: Kötü inceleme
Büyük ölçekli model rekabetinde hep geride kaldığı söylenen Huawei, nihayet bu kez adamlarıyla birlikte geldi.
Hayır, dünkü Huawei Geliştirici Konferansı 2023'te Huawei kendini gösterdi.
Yaklaşık üç saatlik basın toplantısı, Huawei'nin Shichao'nun gözlerini kamaştırmasına neden olan eski hodgepodge stilini miras aldı.
Ancak, özetlemek aslında bir temayı vurgular: Pangu Büyük Model 3.0.
En önemlisi ise tahmin doğruluğunun dünyanın en güçlüsü olarak bilinen Avrupa Meteoroloji Merkezi'nin IFS sistemini bile geride bırakması, geleneksel sayısal tahmini kazanan ilk yapay zeka tahmin ürünüdür.
Ayrıca, önceki AI modeli, tahmin süreci sırasında yineleme hatalarını biriktirmeye devam edecek ve bu da sonuçların doğruluğunu kolayca etkileyecektir.
Bu nedenle, AI tahmin yöntemleri popüler olmamıştır.
Pangu meteorolojik büyük ölçekli modeli harika. Meteorolojik verileri işlemek için 3DEST adlı üç boyutlu bir sinir ağı kullandılar. 2D bunu yapamıyorsa, 3D'yi kullanabilirler.
3DEST'in Ağ Eğitimi ve Çıkarım Stratejisi
Bu kelime kandırılması kolay gibi görünse de aslında anlaşılması çok kolaydır.
Örneğin, bir önceki AI hava tahmin modeli FourCastNet, tayfun gelmeden 6 saat önce bir tahmin yapacak ve bu 6 saat boyunca model, tayfunun ne zaman geleceğini tekrar tekrar hesaplayacaktır.
Bir süre için 5 saat, bir süre için 4 buçuk saat olarak hesaplanabilir ve bu sonuçlar toplanırsa hata büyük olur.
Ancak Pangu Meteorolojik Büyük Modeli, 1 saatte bir yineleme ve 3 saat, 6 saat ve 24 saatte bir yineleme olmak üzere farklı tahmin aralıklarıyla 4 modeli eğitmenin bir yolunu düşündü.
Ardından, belirli hava tahmini gereksinimlerine göre yineleme için ilgili modeli seçin.
**Ne kadar az yineleme olursa, hata o kadar küçük olur. **
Bu operasyon dalgası, hava tahminini yeni bir seviyeye getirdi.
Ancak bazı arkadaşlar mırıldanmaya başlamış olabilir.İnsanların büyük modellerinin hepsi üretilmiş resimler ve yazılardır.Huawei nasıl bir hava durumu tahmini oldu?
Söylenecek tek şey, bu Pangu modeli, daha önce temas kurduğumuz ChatGPT ve Midjourney'den gerçekten farklı, sektörde iş yapıyorlar.
Herkesin beklediği ChatGPT "düşmanı" değildir, ancak genellikle erişilemeyen To B pazarını hedeflemektedir. **
Zorluktan bahsetmeyelim, en azından Huawei'nin yıllar boyunca biriktirdiği kurumsal müşteri kaynaklarını nakde çevirmek gerçekten çok kolay.
Üstelik Huawei'nin bu kez düzenlediği basın toplantısı sadece hava tahmin modelinin acımasız rolünü gündeme getirmekle kalmadı.
40 yılı aşkın bir süredir yeni bir antibiyotik keşfedilmedi ve süper antibakteriyel ilaç Drug X, Pangea ilaç moleküler modeli gelir gelmez bulundu ve ilaç geliştirme döngüsü birkaç yıldan birkaç aya kısaldı ve araştırma ve geliştirme maliyetler %70 oranında düşürülmüştür.
Biliyorsunuz, yıllık 10 milyon ton koklaşabilir taş kömürü üreten bir kömür hazırlama tesisi için, temiz kömür üretim oranındaki her %0,1'lik artış, yıllık karı 10 milyon artırabiliyor.
**Bu tamamen beyaz paradır. . . **
Aslında, yukarıda bahsedilen hava tahmini, ilaç geliştirme ve kömür hazırlamaya ek olarak, Pangea modeli birçok endüstride kullanılmıştır.
Huawei, Huawei Pangu Model 3.0'ın 5+N+X üç katmanlı mimarisi sayesinde çeşitli sektörlerin bu büyük modellerini toplu olarak üretebilmektedir.
Neden öyle diyorsun?
Yapay zeka sektöre girdiği için veriler büyük bir zorluk teşkil ediyor.
Zhang Pingan basın toplantısında, "Endüstri verilerini elde etmenin zorluğu ve teknolojiyi endüstri ile birleştirmenin zorluğu nedeniyle, endüstride büyük modellerin uygulanması yavaş olmuştur" dedi.
**Pangu çok ustaca, 5+N+X'in üç katmanlı yapısı aracılığıyla bu büyük sorunu çözmek için doğrudan 3 küçük soruna böldü. **
Her şeyden önce, Pangu'nun L0 katmanının beş büyük modeli, ansiklopedi bilgisi, edebi eserler, program kodları ve metin etiketli milyarlarca İnternet görüntüsü gibi yüzlerce terabaytlık metin verisini öğrendi.
Daha sonra, L0'daki belirli bir temel büyük modelden N ilgili endüstrinin verileri öğrenilerek ikinci katman L1'deki model oluşturulur. Bu, okumak için çeşitli ana dallar seçmeniz gereken bir üniversitenin lisans aşaması gibidir.
Ama sonuçta biri hastane diğeri fabrika ve kullanım senaryoları tamamen farklı.Tek başına temel büyük modele güvenmek kesinlikle işe yaramayacaktır ama sektör verileri de eklenirse sürprizler olabilir.
Aynı zamanda Huawei, bir nevi şirkette staj yapmaya benzeyen bir geri bildirim bağlantısı da ekledi.
Onlara göre geçmişte GPT-3 ölçekli bir endüstri modeli geliştirmek genellikle 5 ay sürüyordu; bu araç seti ile geliştirme döngüsü orijinalin 1/5'i kadar kısaltılabilir.
Aynı zamanda birçok sektördeki küçük veri setlerinin sınırlamaları da çözülebilir. Örneğin büyük uçak imalatı gibi çok detaylı bir endüstrinin de büyük modelleri olabilir.
Hepimizin bildiği gibi, AI bilgi işlem gücü açısından gerçekten utanıyoruz.
Birincisi, AI endüstrisinin temel ekipmanı olan Nvidia'nın H100/A100'ünü satın alamıyoruz, ikincisi, Nvidia H800'ün yerine "yakından" bir yedek çıkarsa bile, hala çekincelerimiz var. Örneğin, iletim hızı çok kesildi.
Eğitilmesi birkaç ay süren büyük bir model bağlamında, daha güçlü bilgi işlem gücüne sahip yabancı emsalleri tarafından geçilmesi kolaydır.
Ve bu sefer, bu sorunu çözmek için Huawei yine de bazı gerçek adamları çıkardı.
Ancak uygulamada hala bazı boşluklar var. A100 de Nvidia'nın nihai silahı değil.
Örneğin, basın toplantısına göre AI Ascend Cloud Computing Power Base ve bilgi işlem çerçevesi CANN'i sayın. . . Diğer yönlerden, Huawei'nin büyük modelleri eğitmedeki verimliliği, sektördeki ana akım GPU'ların 1,1 katıdır.
Yine de oldukça etkileyici.
Üstelik şu anda yaklaşık 4 milyon geliştiriciye sahip olduklarını da söyleyen Huawei, bu sayının NVIDIA CUDA ekosistemi ile uyumlu olduğunu belirtiyor.
Genel olarak, bir Huawei basın toplantısını izledikten sonra, kötü yorumcular Huawei'nin yapay zeka düzeninin çok derin olduğunu düşünüyorlar ve şimdiden "Yapay zekanın bize gerçekten ne getirebileceği" sorusunu düşünmeye başladılar.
Son altı ayda yapay zeka sektörü gök gürültülü alkışlar alsa da gerçekten sektör seviyesine düşmesi biraz utanç verici.
Ve Huawei'nin bu eylemi, Ren Zhengfei'nin söylediklerini doğruladı:
*" Gelecekte, yalnızca Microsoft'ta değil, AI büyük modellerinde bir artış olacak. Yapay zeka yazılım platformu şirketlerinin insan toplumuna doğrudan katkısı %2'den az olabilir ve %98, endüstriyel toplumun ve tarım toplumu." *
AI alanında, gerçek büyük çağ henüz gelmedi.