في أبريل ، أعلن وانغ شياو تشوان نهايته وأنشأ شركة نموذجية واسعة النطاق "Baichuan Smart".
في يونيو ، أصدرت شركة Baichuan Intelligent نموذجًا كبيرًا مفتوح المصدر يبلغ 7 مليارات متغير ، وهو Baichuan-7B.
في يوليو ، أصدرت شركة Baichuan Intelligent نموذجًا كبيرًا مفتوح المصدر بحجم 13 مليار معامل ، Baichuan-13B.
لقد كان أداء كلا النموذجين جيدًا في العديد من التقييمات ، كما تم التعرف عليهما من قبل عدد كبير من المستخدمين في الداخل والخارج.
"المصدر المفتوح بسيط للغاية ، يمكن للجميع استخدامه لاستخدامهم الخاص ، وهذا ليس شيئًا تتباهى به بنفسك."
يتحرك بسرعة ، أسرع مما يعتقده معظم الناس. حتى هو نفسه فوجئ: سيكون التقدم أسرع بكثير مما كان متوقعًا بعد البدء في القيام بذلك.
في مؤتمر AGI Playground ، كشف Wang Xiaochuan أن قدرات نموذج المصدر المفتوح لـ BCI ستتفوق بالتأكيد على Llama 2. وفقًا للخطة ، ستطلق شركة Baichuan Intelligent عشرات المليارات ومئات المليارات من النماذج الكبيرة مغلقة المصدر في المستقبل.
قبل بضعة أشهر ، أراد وانغ شياو تشوان أن يكون "أوبن إيه آي للصين" في عناوين وسائل الإعلام المختلفة.
هذا شعار يحب الجمهور سماعه ، لكنه قد لا يكون وصفاً دقيقاً.
ما الذي يريده وانغ شياوتشوان بالضبط؟ ماذا سيفعل؟ بعد ثلاثة أشهر من الممارسة وتحقيق النتائج الأولية ، ما هو فهمه المباشر لريادة الأعمال في عصر النماذج الكبيرة؟
المحتوى التالي مأخوذ من مقابلة بين Zhang Peng ، مؤسس ورئيس Geek Park ، و Wang Xiaochuan ، المؤسس والرئيس التنفيذي لشركة Baichuan Smart ، في مؤتمر AGI Playground ، الذي حرره Founder Park.
المصدر المفتوح ، ما لم تفعله OpenAI
** تشانغ بينغ: **
ما قد يثير اهتمامك أكثر هو أنك تحركت بسرعة كبيرة بعد بدء عملك ، وأصدرت نموذجين: أحدهما 7B والآخر 13B ، وكانت التعليقات جيدة جدًا.
الجميع فضوليون للغاية ، لأنهم اعتقدوا في البداية أنك ستصبح OpenAI صيني ، لكن رؤية أنك صنعت أشياء مفتوحة المصدر ، هل المصدر المفتوح مرحلة تكنولوجية ، أم أنه في حد ذاته نموذج جديد لتفكيرك في المستقبل؟
** وانغ شياوتشوان: **
المصدر المفتوح ، نعتقد أنها مرحلة فنية ، في الواقع ، كونك OpenAI الصيني لا يعني نسخ مسارها الكامل. عند الاتصال بـ OpenAI في Silicon Valley ، فقد قطعوا شوطاً طويلاً بشكل مثالي. على سبيل المثال ، عندما يقومون بإجراء GPT-4 الآن ، يحتاجون إلى أكثر من 20000 بطاقة لإجراء العمليات الحسابية ، ولم يسبق لهم أن رأوا مثل هذا النطاق الواسع في الصين.
إنهم فخورون بالقول إنهم يصممون نموذجًا للحوسبة يربط 10 ملايين وحدة معالجة رسومات معًا.
ما هو مفهوم العشرة ملايين بطاقة؟ يبلغ إنتاج Nvidia السنوي 1 مليون. 10 ملايين نسخة هي خطة يمكن أن تذهب إلى القمر (طلقة القمر).
بالإضافة إلى ذلك ، فيما يتعلق بكيفية إنشاء التطبيقات والمنتجات وحتى بعض التقنيات الأوسع نطاقًا ، فقد يكون هذا أحد أوجه القصور في OpenAI ، أو قد يكون شيئًا لا يهتمون به بشكل خاص الآن.
لذا فإن عمل OpenAI في الصين سيكون مختلفًا تمامًا عن البيئة البيئية في الولايات المتحدة.
بعد الإصدار الأخير من Llama 2 مفتوح المصدر ، تسبب في حالة من الجنون في الصين.شعر الجميع أنه سيغير المشهد مرة أخرى ، وهو ما فشل OpenAI في فعله. إنه لأمر مؤسف أن هذا لم يتم بواسطة Google ، ولكن بواسطة Facebook (Meta) ، ولا يزال Google غائبًا. لكن في الصين ، رأينا هذا الأمر مسبقًا ، ونعتقد أن المصدر المفتوح والمصدر المغلق سيكون لهما حالة موازية في المستقبل.
** تشانغ بينغ: **
سيكون المصدر المفتوح والمصدر المغلق في حالة متوازية.
** وانغ شياوتشوان: **
التوازي يشبه إلى حد ما نظام Apple الحالي ونظام Android. حتى عندما ترغب المزيد من الشركات في المشاركة ، لا يكفي استخدام استدعاءات API مغلقة المصدر. يحتاج هذا النموذج مفتوح المصدر أيضًا إلى توفير 80٪ من الخدمات ، وأخيرًا الاعتماد على خدمات المصدر المغلق لتقديم الخدمات للجميع ، وسيتطلب الـ 20٪ المتبقية الكثير من الطلب مفتوح المصدر. لم يكن لدى الولايات المتحدة من قبل ، ولم يكن لدى الصين نموذج مماثل. لذلك ، بمجرد الإعلان عن اللاما ، ستكون صدمة كبيرة للولايات المتحدة ، ولكن هناك أيضًا طفرة في الصين. في الواقع ، تشمل التقييمات الفنية الجادة العديد من التقييمات السائدة مثل SuperClue ، بالإضافة إلى المقارنات بين بعض الشركات المصنعة والشركات الكبرى.إذا قورنت Llama مع Baichuan ، فمن الواضح أن جودتنا في المجال الصيني أعلى بكثير من جودة Llama.
في مجال النماذج مفتوحة المصدر في الصين ، تمامًا مثل صناعة الهواتف المحمولة لدينا ، تم استخدام الولايات المتحدة في البداية ، ثم تم التقاطها بنفسها لاحقًا.
** تشانغ بينغ: **
هل تعتقد أن Llama 2 أصبحت ساخنة جدًا مؤخرًا ، فإن Baichuan ستفعل أفضل منها؟
** وانغ شياوتشوان: **
اللاما هي اللاما 1 و 2.
بادئ ذي بدء ، أصدرنا أول نموذج معلمة 7B في يونيو من هذا العام ، وأصدرنا نموذج المعلمة 13B في يوليو. من بين المؤشرات باللغة الإنجليزية ، المؤشر الأكثر أهمية هو MMLU (فهم لغة متعدد المهام الشامل) ، هذا المؤشر الرئيسي ، نموذجان لدينا أفضل من Llama (1) ، ويتقدمان بشكل كبير في اللغة الصينية.
نحن نعلم أن معالجة اللاما الصينية غير كافية في الواقع. وبالمقارنة مع اللاما (1) ، يمكن للغة الإنجليزية في Baichuan أن تتطابق جزئيًا مع المعيار ، ويتم تجاوز المؤشرات الرئيسية ، ومن الواضح أن اللغة الصينية أفضل. يقوم العديد من الأشخاص بتحويل اللاما إلى الصينية ، لكنها لا تزال غير سهلة الاستخدام مثل Baichuan المحلي.
بعد إصدار Llama 2 ، يمكننا أيضًا الاطلاع على التقرير الفني ، والذي يحتوي على حوالي 9 نقاط ابتكار تقني ، تم تحقيق 6 منها في النموذج الذي نقوم بتطويره.
بالمقارنة مع النماذج المحلية الأخرى ، فإن تفكيرنا هنا هو الأقرب في الوقت الحالي. لقد قمنا بالفعل بـ 6 نقاط ، ثم لم نتوقع نقطتين ، ولدينا نقطة غير صالحة. لذلك ، عند المقارنة مع Llama2 ، فإننا لا نسرق ببساطة في التفكير التقني ، ولكن لدينا تفكيرنا الخاص. نعتقد أنه ستكون هناك فرصنا في المستقبل في هذا الطريق.
اليوم أناشد الجميع في الصين ألا يفكروا فقط في أن الدول الأجنبية جيدة عندما يستخدمونها. إن OpenAI في الواقع أبعد من ذلك الآن. سوف يستغرق الأمر وقتًا للوصول إلى GPT-3.5 أو قريبًا من المستوى بحلول نهاية العام ، لكننا بالفعل قريبون جدًا من نموذج المصدر المفتوح.
** تشانغ بينغ: **
إذن ، نموذجك المفتوح المصدر التالي ، هل تعتقد أنه سيكون أفضل من Llama 2؟
** وانغ شياوتشوان: **
على الأقل باللغة الصينية. في مجال اللغة الصينية ، تم تجاوزها الآن. تتمثل الخطوة التالية في جعل الصين صوتًا في مجال المصادر المفتوحة في السوق العالمية.
** تشانغ بينغ: **
يجب أن تكون اللغتان الإنجليزية والصينية أفضل من Llama2 ، فهذا أمر مرئي ويمكن تحقيقه بالنسبة لك.
** وانغ شياوتشوان: **
أعتقد أن هناك فرصة لحدوث ذلك في المستقبل المنظور.
** تشانغ بينغ: **
لذا فإن وجهة نظرك هي: اليوم لا يمكننا أن نقول ببساطة أن نموذجنا الكبير المستقبلي هو التحرك نحو OpenAI - نموذج مركزي مغلق المصدر. المصدر المفتوح في الواقع لديه إمكانيات كبيرة. لذا ، فهذا يعني أنه من ناحية ، فإن الأمر يتعلق بممارسة التكنولوجيا وإظهار القدرات التقنية ، ولكنها قد تحتوي بالفعل على نماذج وقيم أعمال.
في الوقت نفسه ، على أساس المصدر المفتوح ، لا يزال هناك شيء يمكن للناس أن يتطلعوا إليه في الصين لصنع أفضل نموذج صيني في العالم.
** وانغ شياوتشوان: **
هذا يلخص الأمر بدقة.
هل تجربة البحث عبارة عن خمول سيئ أم ميزة جيدة؟
** تشانغ بينغ: **
في الماضي ، اعتقد العديد من المستثمرين أن استخدام تجربة البحث لبناء نموذج واسع النطاق لن ينجح بالتأكيد. بعد هذه الأشهر من الممارسة ، هل تحققت من حكمك الأصلي الذي كان مختلفًا عن حكمهم؟ كيف يساهم تراكم وقدرات البحث في النماذج الأكبر؟
** وانغ شياوتشوان: **
نظرًا لأن شركة OpenAI حققت إنجازًا اليوم (AI) ، ولكن لم تفعل Google ذلك ، فإن أول ما يفكر فيه المستثمرون هو أن هذه التقنية الجديدة هي عكس البحث تمامًا. من الصعب عليهم التمييز ما إذا كان السبب هو التكنولوجيا أو الإدارة التنظيمية.
السبب في هذا النوع من الصوت هو أن المرء لا يفهم العلاقة بين تقنية البحث والذكاء الاصطناعي ، والثاني هو أن معرفة خلفية البحث سيؤدي إلى تأثيرات سلبية.
نظرًا لأن شركات البحث هي أساسًا Baidu و Google ، فهي لا تحتاج إلى تمويل خارجي ، ولا تخبر المستثمرين عن ماهية البحث. على وجه الخصوص ، جاءت الموجة الأخيرة من طفرة الذكاء الاصطناعي في الغالب من خلال الصور ، والجميع ليسوا على دراية بالدلالات التقنية مثل البرمجة اللغوية العصبية في البحث.
من حيث النتائج ، أطلقنا النموذج الأول في يونيو. قال أحد المنافسين للمستثمرين في أقرب وقت ممكن أن إنتاج النموذج الأول سوف يستغرق نصف عام ، وفي الواقع ، أخذنا ثلث الوقت فقط لإكماله ، ثم أطلقنا النموذج الثاني. وفي المستقبل القريب ، سنقوم بإصدار نموذج مغلق المصدر.
تم تطوير Baichuan ذاتيًا منذ اليوم الأول ، والبداية الباردة سريعة جدًا جدًا. ما هو السبب وراء ذلك؟
نحن نعلم اليوم أن البيانات عالية الجودة هي أساس النماذج الكبيرة ، فما الشركة التي لديها فهم واسع لبيانات اللغة؟ في الواقع ، تعمل شركات البحث منذ 20 عامًا ، وتفكر في كيفية العثور على مثل هذه البيانات عالية الجودة كل يوم. على سبيل المثال ، ابحث أولاً عن 100 موقع ويب عالي الجودة من 1 تريليون صفحة ويب ، ثم قم بتحليل الصفحة ، بما في ذلك استخراج المعلومات ، وإزالة البيانات المكررة ، ومكافحة البريد العشوائي ، وحتى استخراج المحتوى حسب مستوى الفقرة.
يقوم كل من Sogou و Baidu و Google بهذا النوع من العمل لفترة طويلة.
النقطة الثانية هي أنه من حيث تجمع المواهب ، من الضروري أن يكون لديك قدرات خوارزمية وقدرات هندسية مركزة على قدرات البحث. تستخدم ByteDance الآن فريق البحث لصنع النماذج ، كما أن تقدم Baidu سريع جدًا ، بما في ذلك النموذج الذي يصنعه Shen Xiangyang أيضًا من قبل نائب رئيس Bing في الماضي.
شيء آخر لعمل نموذج كبير هو التقييم. تقييم ما إذا كان النموذج الكبير جيدًا أم لا هو في الواقع مشكلة مؤلمة ، بما في ذلك مشكلة التفكير ، والسؤال الدقيق والإجابة ، والإبداع ... بعضها يصبح أفضل والبعض الآخر يصبح أسوأ. كيف تقيم؟ لذلك ، يعد نظام التقييم هذا أيضًا قدرة تراكمت لدى شركات البحث لفترة طويلة ، وذلك باستخدام التقييم لدفع تكرار الخوارزميات اللاحقة.
بالإضافة إلى ذلك ، فإن الكفاءة التنظيمية للشركات الناشئة أعلى بكثير من تلك الخاصة بالمصانع الكبيرة ، مع وجود نظام اتخاذ قرار مرن للغاية ، سيتم تعظيم جميع الكفاءات.
** تشانغ بينغ: **
فهل تحدثت إلى المستثمر الذي اعتقد أن البحث لم يكن جيدًا بما يكفي للعارضين الكبار؟
** وانغ شياوتشوان: **
تم تمييز الاسم بصليب وإزالته ، ولا أعرف من هو. المستثمرون الذين ينظرون إلى الأعمال فقط وليس التكنولوجيا ، وأولئك الذين يحبون اللحوم الطازجة الصغيرة بشكل خاص الذين يعودون من الولايات المتحدة لبدء عمل تجاري ، هؤلاء المستثمرون يستخلصونها ولا يتحدثون عنها.
أولد وانغ محق ، "الابتكار الصغير يعتمد على المصانع الكبيرة والابتكار الكبير يعتمد على المصانع الصغيرة"
** تشانغ بينغ: **
هل تعتقد أن رواد الأعمال سيكون لديهم فرص كافية في هذه الموجة من التغيير التكنولوجي في المستقبل؟ أم أن الجسد الرئيسي لا يزال يسيطر عليه العمالقة؟ كيف يمكن لرواد الأعمال اغتنام فرصهم الخاصة؟
** وانغ شياوتشوان: **
على الرغم من أن Wang Huiwen لا يعرف الكثير عن التكنولوجيا ، أعتقد أنه قال شيئًا صحيحًا جدًا: الابتكار الصغير يعتمد على المصانع الصغيرة ، والابتكار الكبير يعتمد على المصانع الكبيرة.
على الرغم من أن المصنع الكبير يتمتع بالعديد من المزايا من حيث الأشخاص والمال والموارد ، إلا أنه ستكون هناك العديد من المشكلات الداخلية بعد نمو المنظمة ، وستكون الكفاءة التنظيمية مقيدة بشدة.
إذا كنا نعتقد اعتقادًا راسخًا أن وصول الذكاء الاصطناعي العام سيحدث انفجار هائل في الأنواع الجديدة. هذه الأشياء لديها فرص ضخمة للشركات الناشئة للعمل. يمكن إثبات ذلك من الاستنتاج التاريخي ، طالما أنه يوجد الذكاء الاصطناعي العام ، ستكون هناك فرص جديدة في المستقبل.
أين الصعوبة في الوسط؟
OpenAI هي شركة موجهة نحو البحث تنفذ منتجات في العالم الحقيقي. أنت تتابعها ، ويمكن أن يكون لمجال البحث إنجازات رائعة للغاية. ولكن كيفية التقديم اليوم ، لا OpenAI ولا الشركات التي تعتمد على التكنولوجيا في Silicon Valley جيدة جدًا في هذا الأمر. أنا واثق من أن الصين أفضل بكثير من الولايات المتحدة من حيث تطبيق التطبيق.
لقد وصل العالم كله إلى نقطة تحول ، والآن بعد أن أصبحت التكنولوجيا في مكانها الصحيح ، فهذه هي الصعوبة الأولى. التطبيق والمتطلبات هي الصعوبة الثانية ، والتي تسمى خدمة النموذج (خدمة النموذج). لذا التحدي الآن ، رقم واحد ، هل لديك النموذج؟ ثانيًا ، هل وجود نموذج يعني وجود خدمة؟
** تشانغ بينغ: **
هل بيع API خدمة؟
** وانغ شياوتشوان: **
أنا لا أعتقد ذلك.
يبدو الأمر كما لو كان لديك تقنية ذاتية القيادة ، ولكن هل يمكنك حقًا بناء سيارة؟ من الواضح أنه لا. كما يتطلب اندماج العديد من التقنيات.
الآن الولايات المتحدة مرتبكة نسبيًا بشأن طبقة التطبيقات ، والمشكلة الحالية للصين هي الافتقار إلى قدرات النموذج. اليوم ، تقصر العديد من الشركات الناشئة التي تصنع النماذج أيضًا منظورها على النماذج الكبيرة ، ولا تعرف الكثير عن مجموعات التكنولوجيا الأخرى.
دعني أعطيك أبسط مثال: عندما تصنع نموذجًا ، ستواجه بالتأكيد الهلوسة وحسن التوقيت. يمكن حل كل من الهلوسة وحسن التوقيت من خلال النموذج الكبير نفسه. يحل بعض الأشخاص الوهم عن طريق توسيع المعلمات إلى تريليونات وعشرات التريليونات ؛ أو استخدام التعلم المعزز. ولكن في الواقع ، فإن الطريقة الأكثر مباشرة هي إدخال البحث واسترجاع المعلومات فيه. يمكن أن يشكل الجمع بين النماذج الكبيرة وهذه مجموعة تقنية أكثر اكتمالاً.
بعد أن تم اقتراح هذه التقنية ، فقد كانت بالفعل علامة. على سبيل المثال ، هناك شيء يسمى قاعدة بيانات المتجه ، وهو في الواقع بحث مرن ويستخدم بشكل أساسي في toB.
فيما يتعلق بالبحث ، بعد إدخال تقنية Transformer في عام 2018 ، أصبح لديها بالفعل القدرة على البحث الدلالي. ربما سمعت عن الفهرس المقلوب ، وهو فهرسة هذه الشبكة الرمزية.
بعد عام 2018 ، سواء كنا نحن أو Baidu أو متجهات البايت قد تحولت إلى البحث الدلالي ، وراء هذه التكنولوجيا ثلاث قواعد بيانات متجهية ضخمة. يمكن أن يؤدي الجمع بين هذه المداخن التكنولوجية والنموذج الكبير إلى تطوير النموذج الكبير بشكل أكبر. كما ترى ، فإن تجربة فريق البحث لها مزايا لصنع النماذج.
الجانب الثاني هو أن تقنية النماذج واسعة النطاق أصبحت عملية تدريجياً. ثم في ما يسمى بحوسبة المعرفة ، يجب إضافة قواعد بيانات المتجهات وعمليات البحث لتشكيل تقنيات ومنتجات أكثر اكتمالا. حول هذه المسألة ، يتشكل توافق الجميع بشكل تدريجي.
عند الحديث عن حركة المرور في ChatGPT اليوم ، بدأ الجميع في القلق بشأن ما إذا كان يمكن أن يستمر في الانفجار.
لذلك ما زلنا بحاجة إلى مزيد من الاستكشاف.
نعتقد أنه في صناعة الترفيه ، فإن لعب الأدوار له آفاق واسعة ، لكن هذا الأمر يتطلب دخول الشركات الصينية للقيام بعمل أفضل.
شيء آخر هو كيفية الجمع بين النماذج الكبيرة والبحث. الحيرة تعمل منظمة العفو الدولية بشكل جيد للغاية الآن ، لكننا في وضع سلبي. إذا كانت الولايات المتحدة لديها فرص ، فسيقوم المستثمرون بالبحث عن شركات المقارنة الصينية.
إذا لم يكن لدى هذه الشركة نموذج كبير ، فهي تستدعي API فقط ؛ وثانيًا ، ليس لديها تقنية بحث ويمكنها الاعتماد فقط على تقنيات شركات مثل Google و Bing ، وهذا ليس مثاليًا.
** تشانغ بينغ: **
لقد قلت الآن أن عدد المستخدمين مثل ChatGPT آخذ في الانخفاض ، مما يجعل الجميع يشعرون أن النموذج الجديد قد لا يتمكن من اختراقه دفعة واحدة. هل هذا تحد كبير لرجال الأعمال لتقديم الطلبات؟
لأنه وفقًا لما قلته للتو ، في بيئة ذات تكنولوجيا غير ناضجة ، فإن تكلفة استكشاف ريادة الأعمال مرتفعة للغاية. وإذا استخدم رائد الأعمال واجهة برمجة التطبيقات الخاصة بشخص آخر فقط كتغيير في نموذج التطبيق ، فلن يكون ذلك ملفتًا للنظر بشكل خاص.
** وانغ شياوتشوان: **
قبل يومين ، قامت OpenAI للتو بترقية مترجم الشفرة ، ثم قامت بترقية التعليمات المخصصة. بالنسبة للشركات المبتدئة ، كان هناك ضغط هائل.
يشعر المستثمرون الأمريكيون بالقلق أيضًا بشأن ما إذا كانت لا تزال هناك فرصة للشركات الناشئة لتجاوز الشركات العملاقة وسط القلق ، وما إذا كان سيتم استبدالها بشركات كبيرة بعد نصف عملها.
في الصين ، لا أعتقد أن هناك شركة كبرى مثل أوبن إيه آي تأخذ مسار النماذج واسعة النطاق. وهي لا تزال في مرحلة حرب المائة عارض. اليوم ، ما إذا كانت الشركات التي تصنع نماذج كبيرة الحجم لديها القدرة على تقديم التطبيقات هي مسألة يتعين على الصين مراقبتها كثيرًا في الولايات المتحدة.
اللحاق بـ GPT-4؟ إنه لأمر خطير أن نتابع بشكل أعمى نموذج التحسين المتوارث بين الأجيال
** تشانغ بينغ: **
يثير هذا أيضًا التساؤل حول من في الصين سيلحق بـ GPT-3.5 ، أو حتى GPT-4
هناك أيضًا صوت آخر يقول إن GPT-3 يكفي للمؤسسات لحل بعض مشاكل المشهد الرأسي.
أشعر أن Xiaochuan وأنت ما زلت ملتزمين بمطاردة GPT-3.5 و GPT-4. هل هذه المطاردة صعبة؟ لماذا تقول أنه يجب عليك اللحاق بمستوى GPT-4؟
** وانغ شياوتشوان: **
أعتقد أنهما شيئان.
الأول هو التقدم التكنولوجي بين الأجيال ، والذي قد يكون له تأثير ساحق على بيئة المنتجات اللاحقة. بغض النظر من وجهة النظر المثالية ، تخيل مستقبلًا بعيد المنال ، مثل ثلاثة أو أربعة أو خمسة أجيال من الطائرات المقاتلة ، حيث قد يلعب كل جيل دورًا مهمًا. لذلك في هذا الوقت ، يجب على الجميع السعي للحصول على ميزة في مجال تنافسي للغاية.
ومع ذلك ، في عملية التنافس على المزايا ، قد يواجه الجميع ارتباكًا جديدًا: في أي جيل يمكننا حقًا تحقيق تطبيقات فائقة؟ لم تقم GPT-3.5 بعد بتشكيل تطبيق فائق في الولايات المتحدة ، ويستغرق التدريب حوالي 50 مليون يوان مرة واحدة ، وهو ما لا يشمل تكلفة الاستعدادات والتجارب الأولية. قد يكلف تدريب GPT-4 500 مليون يوان صيني مرة واحدة. من خلال جيل GPT-4.5 ، يمكن أن تصل التكلفة إلى 500 مليون دولار.
لذلك ، إذا لم يكن هناك تطبيق ممتاز ، فمن الخطير جدًا متابعة التحسين التكنولوجي. لذلك ، نحتاج إلى متابعة تحسين القدرات التقنية للجيل الرابع والجيل الخامس في هذا المجال في نفس الوقت ، وفي نفس الوقت لدينا تطبيقات فائقة. خلاف ذلك ، قد نواجه فجأة ضغوطًا للترقية على جبهتين ، وكلاهما يحتاج إلى الترقية في نفس الوقت ليكون ناجحًا.
** تشانغ بينغ: **
لذلك ، يجب أن يكون كل نوع من أنواع التكنولوجيا قادرًا على إنتاج تطبيقات قيمة.
** وانغ شياوتشوان: **
ما قلته للتو صحيح تماما.
يتوفر GPT-3 بشكل أساسي على الجانب B ، لكنني أعتقد أن سبب عدم توفره على الجانب C هو أن الوقت قصير جدًا.
بالإضافة إلى ذلك ، يركز الجميع كثيرًا على OpenAI ، فهي ليست شركة منتجات ولا شركة يمكنها إنشاء تطبيقات فائقة.
القدرة على القيام بتطبيقات فائقة لا تتطلب فقط اللحاق بالركب التقني ، ولكن أيضًا فهمًا كافيًا للمنتج. أعتقد أن نهاية العام ستظهر الحقيقة.
"Xiaochuan مناسب لصنع النماذج الكبيرة" "بعد 20 عامًا من البحث ، لم يقل أحد أنني مناسب لإجراء البحث"
** تشانغ بينغ: **
هل يمكن للجميع المبالغة في تقدير شركة OpenAI؟ بعبارة أخرى ، نعتقد أنه من الصعب تجاوز OpenAI لأنه يحتوي على دولاب موازنة للبيانات. كيف تفهم هذا؟ هل حذافة البيانات موجودة بالفعل؟
** وانغ شياوتشوان: **
في بداية هذا العام ، كنت أتحدث عن دولاب الموازنة ، وكنت مذعورًا جدًا في ذلك الوقت. يتم تقديم طلب المستخدم إليه ، فهو يعرف ما يريده المستخدم ، ومن ثم يمكنه ترقية النموذج بشكل أفضل.
حتى الآن ، هذه المشكلة ليست خطيرة.
على سبيل المثال ، بعد إطلاق Llama 2 ، رأى الجميع أنه في مرحلة الضبط الدقيق ، يجب تنقيح البيانات وتقليلها بدلاً من صقلها وأكثر من ذلك.الآن ، شكل الجميع إجماعًا تدريجيًا على أن سر التكنولوجيا ليس في دولاب الموازنة ، ولكن تراكم التكنولوجيا بمرور الوقت.
كما ارتفعت القوة التقنية لشركة Anthropic ، وهي شركة مثل Claude ، بسرعة ، ولدى OpenAI عدد مستخدمين أكثر بكثير مما هو عليه ، مما يثبت أيضًا أن مفهوم دولاب الموازنة للبيانات قد تم تزويره.
** تشانغ بينغ: **
أو ربما تنعكس البيانات القيمة حقًا في مهارات التحدث مع الناس ، أتذكر أنه في أقرب وقت ، كانت طريقته في الحديث "غبية" تمامًا ، لكنها الآن تبدو أكثر إنسانية.
** وانغ شياوتشوان: **
لا يبدو هذا الشيء كثيرًا ، ويكمن المزيد في مجموعة البيانات الخاصة به. بغض النظر عن مرحلة ما قبل التدريب أو في مرحلة الضبط الدقيق ، كيف تحصل على بيانات عالية الجودة؟ كيفية التطابق وما إلى ذلك ، هذه هي قدرتها الأساسية. على وجه الخصوص ، سمعتهم يتحدثون أنه من ناحية ، يقوم GPT-4 بتدريب GPT-3.5 لجعل 3.5 تعمل بشكل أكثر كفاءة ، وفي الوقت نفسه ، يتم استخدام GPT-4 لإنتاج جزء من البيانات المطلوبة بواسطة GPT-5 ، وتعمل على تحسين العملية التكرارية. إن تكرارها داخليًا هو تحسين الخدمات عبر الإنترنت ، وفي نفس الوقت إنشاء بعض البيانات في المستقبل. أعتقد أن هذا هو الحدافة الداخلية.
** تشانغ بينغ: **
لذلك إذا نظرت إليها من منظور اللاما ، فمن الممكن أيضًا تقديم نموذج يعمل باستمرار على تحسين المستوى التقني من خلال المصدر المفتوح. ولكن من منظور OpenAI ، قد يكون هناك عدد كافٍ من المستخدمين والبيانات في مرحلة معينة.
** وانغ شياوتشوان: **
المصدر المفتوح ، والمصدر المغلق ، والتطبيقات ، في الواقع ، لا يزال الجميع يفعل ذلك اليوم ، ولا يزال في مرحلة التوسع تمامًا مثل غرب الولايات المتحدة.
** تشانغ بينغ: **
لذلك اليوم ، بالنسبة لشركة ناشئة مثل Baichuan ، ليس من السهل القول إنني أتعاون فقط مع اتجاه معين ، سواء كنت أرغب في إبقاء الاستراتيجية غامضة ، أو أسميها غنية بالاحتمالات ، فقد أراهن على هذه الأبعاد.
** وانغ شياوتشوان: **
يمين. ريادة الأعمال الخاصة بي هذه المرة مثيرة للاهتمام للغاية.يقول الكثير من الناس أن Xiao Chuan مناسب بشكل خاص لصنع نماذج كبيرة الحجم.أنا أقوم بالبحث منذ 20 عامًا ، ولم يقل أحد من قبل أن Xiao Chuan مناسب بشكل خاص لإجراء البحث.
البحث في الصين يأتي بعد بايدو بثلاث سنوات ، وهذا النوع من اللحاق بالركب صعب للغاية. يتم النظر إلى تراكم وخبرات اليوم ولا أحد أمامها. كان من الصعب التفكير ، وتأخرت عدة سنوات ، ولكن يبدو لي اليوم أن هناك فرصًا في كل مكان. لذلك ، طالما لدينا قدرات كافية ، يمكننا إجراء مقابلات هنا في كل مكان ، ومعرفة ما إذا كان بإمكاننا تغيير انطباعك الأصلي عن Sogou اليوم.
لا تتعبد بشكل أعمى ، سيكون لدى الصين والولايات المتحدة قصص مختلفة عن الذكاء الاصطناعي
** تشانغ بينغ: **
لقد تأثرت تمامًا بما قاله أوغاوا. أنت تقف أخيرًا في منطقة حرام.
فيما يتعلق بالنموذج الكبير ، قد يشعر الكثير من الناس أنهم بحاجة إلى التعلم واللحاق ببرنامج OpenAI. ولكن عندما تفعل هذا حقًا ، ستجد المسافة والمسار حقًا.
** وانغ شياوتشوان: **
نعم ، لا تكن شديد العبادة.
أتذكر أنه بعد AlphaGo في عام 2016 ، ذكرت نقطتين في ذلك الوقت: أولاً ، إذا كان بإمكان (AI) التنبؤ بالإطار التالي للفيديو ، فهو وصول AGI.
لكن الأمر انتهى بعد أن تنتهي من التحدث ، وليس لديك القدرة على القيام بذلك. ليس لديك الدافع أو القدرة أو الظروف. لاحقًا ، قيل إنه إذا أتقنت الآلة اللغة ، فسيأتي أيضًا ذكاء اصطناعي قوي. الآن بدأ التحقق بالفعل.
لذلك أعتقد أن لدينا الكثير من الأفكار بأنفسنا ، ولسنا متأخرين. كل ما في الأمر أن التوقيت والظروف ليست ناضجة. إنه مثل ، قال مدير مدرسة أنه يمكن حل هذه المسألة ، أنت مدير المدرسة ، لا تقصد نسخ الواجبات المنزلية لك ، أليس كذلك؟
يخبرك الآخرون أنه يمكن حلها ، أو حتى يعطيك فكرة كبيرة. أعتقد أنه يمكننا القيام بذلك بأنفسنا ، ولسنا بحاجة إلى التحديق في واجبات الآخرين المنزلية وتقليدها.
** تشانغ بينغ: **
لذا فإن متعتك الحقيقية هنا ليست إدراك الآخرين وإعادة إنتاجهم ، ولكن استكشاف بعض الأشياء التي لم يلتقطها الجميع في هذه الأرض الحرام.
** وانغ شياوتشوان: **
نعم ، أعتقد أن لدي الفرصة هذه المرة للقيادة في بعض المجالات.
** تشانغ بينغ: **
هناك مثل هذا الاحتمال ، لذلك الصين والولايات المتحدة ، Baichuan و OpenAI ، ربما ليست نفس القصة.
** وانغ شياوتشوان: **
سيكون حقا مختلفا. الصين والولايات المتحدة ليسا نظامًا أو نظامًا أو ثقافة ، لذا فإن ما ينشأ في النهاية ، سواء كانت مشكلة فنية أو مشكلة تطبيق ، سيكون مختلفًا.
العمل الرئيسي: الدردشة مع الزملاء ، اخترقت Baichuan Intelligent 100 شخص
** تشانغ بينغ: **
كيف ترتب عملك المعتاد؟ كيف تخصص وقتك؟ يقول الكثير من الناس أن قوة الحوسبة مهمة وأن المواهب مهمة ، لكني أعتقد فقط أولئك الذين بدأوا عملًا تجاريًا بالفعل يعرفون ما هو الأكثر أهمية. لذلك أريد فقط أن أسأل أين تقضي معظم الوقت؟
** وانغ شياوتشوان: **
ما أقضي معظم وقتي الآن هو الدردشة مع زملائنا.
** تشانغ بينغ: **
محادثة؟
** وانغ شياوتشوان: **
نعم ، أثناء عملية الدردشة ، إنها في الواقع عملية تكوين إجماع مستمر ، وهو جمع الإدراك والتغذية والمعلومات الخارجية للجميع حتى يتمكن الجميع من تكوين نفس الدماغ.
لأننا نعلم أن من أعلى إلى أسفل قد يضل. على سبيل المثال ، لماذا لم يصنعها Google؟ عندما تم الانتهاء من أول مقر لشركة Google ، كان يعاني من الجمود. لا يمكن الحصول على البيانات ، وستزداد التكلفة بعد الاتصال بالإنترنت ، ولن تكون هناك مزايا محددة للمستخدم ، لذلك هناك معضلة لبدء عمل تجاري.
في حالة Google Brain ، يكون Button-Up. باحثوها أحرار للغاية ويمكنهم فعل ما يريدون ، أو توحيد الجهود ، وقد شاهد الكثير منهم النموذج الكبير بالفعل ، لكن لا يمكنهم التركيز على القيام بذلك ، لأن القوى مبعثرة. ثم Deepmind هو من أعلى إلى أسفل ، ما تطلبه الشركة ، وما يفعله الجميع. لقد قامت بعمل AlphaGo و AlphaZero و AlphaFold ، والآن تتجه نحو طاقة الهيدروجين والاندماج النووي والحوسبة الكمومية ، لكنها بعيدة كل البعد عن معظمها.
في الواقع ، يُطلق على "أعلى لأسفل" و "زر لأعلى" اليوم "أعلى وأسفل بنفس الرغبة" ، بحيث يمكن للجميع التوافق تمامًا من هذا النموذج المثالي إلى التكنولوجيا والإدراك ، وأن يصبحوا شيئًا واحدًا. لذلك أعتقد أن المزيد من التواصل اليومي معك سيجعلك عقلًا ، وهو أهم عمل بالنسبة لي.
** تشانغ بينغ: **
حسنًا ، ممتع. لذلك ، إذا بذل فريق صغير أعظم طاقته ، فيمكن للجميع مشاركة نفس الأفراح والأحزان ، ونفس الرغبات والرغبات.
** وانغ شياوتشوان: **
هذا مهم جدا ، لن نتحدث عن التنظيم والإدارة اليوم ، لكننا سنصبح مثل شخص واحد. تضم Baichuan الآن 100 شخص ، ووصل عددهم بالأمس إلى 100 شخص.
التغييرات في الثقة ، تقدم Baichuan أسرع من المتوقع
** تشانغ بينغ: **
في الأشهر القليلة الماضية ، كرست نفسك للنمذجة واسعة النطاق. لم يتغير حماسك ، ولكن هل تغيرت ثقتك بنفسك؟ هل الأمر أصعب مما توقعته في البداية؟ هل مازلت تتماشى مع توقعاتك؟
** وانغ شياوتشوان: **
إذا كنت صادقًا ، من صميم قلبي ، أعتقد أنه أسهل مما كنت أعتقد.
من المتوقع أن تعرف الكثير (الصعوبات) في البداية ، وسنوات التراكم في الخارج ، وقوة الحوسبة ، والخوادم ... ولكن عندما تعمل مع زملائك ، وعندما يشارك الجميع في الإنشاء ، فإن تقدمنا الفعلي ووتيرتنا تكون أسرع من المتوقع.
اتضح أننا توقعنا إصدار 50 مليار نموذج في الربع الثالث ، ثم إطلاق طراز 175 مليار في الربع الرابع.
ولكن في الواقع ، لن تتغير هذه الأشياء ، ولكن في هذه العملية ، تكون سرعة تقدم التطبيق وسرعة نماذج المصدر المفتوح أسرع بكثير مما كان متوقعًا.
وأيضًا بشكل أسرع ، يمكننا اليوم أن نبدأ بالقول ، ليس فقط أن نكون الأفضل في المنزل ، ولكن أيضًا مصدر مفتوح على المسرح الدولي.
المصدر المفتوح بسيط للغاية ، يمكن للجميع استخدامه لاستخدامهم الخاص ، وهذا ليس شيئًا تتفاخر به. بعد الافتتاح ، نحن على ثقة من أنه يمكننا الحصول على مكانة جيدة للغاية على الساحة الدولية.
** تشانغ بينغ: **
لذلك قبل القفز في الماء ، كنت قلقًا بشأن عدم معرفة العمق ، لكن عندما قفزت حقًا ، وجدت أنه يمكنني بالفعل أن أخطو عليه إلى القاع ، لذلك شعرت براحة أكبر؟ هل هو حقا بهذه البساطة؟
** وانغ شياوتشوان: **
قسّم الناس.
أنا شخص حذر نسبيًا ، وكنت ما زلت أشاهد ، ثم ركلني Lianchuang وقال لي ابدأ في فعل ذلك. ثم قلت حسنًا ، وأعلنت النهاية وبدأت العمل. خلاف ذلك ، قد يستغرق الأمر وقتًا متأخرًا قبل أن تشعر بالاستعداد. ولكن بمجرد خروجك من الملعب ، ستجد أنك ستجري أسرع مما كنت تعتقد.
بعد الهيجان والتطورات التكنولوجية الحديثة المثيرة للقلق
** تشانغ بينغ: **
هل تولي اهتماما للتقدم التقني للموديلات الكبيرة مؤخرا؟ ما الأوراق التي تثيرك؟
** وانغ شياوتشوان: **
أولاً ، مجرد قراءة الأوراق ليس مهمًا في الواقع اليوم. لا يمكنك الانتهاء منه.
الأساسيات هي تلك الأشياء. واليوم توقف OpenAI عن إرسال أوراق جيدة. الأوراق المرسلة كلها أوراق تحتوي على قدر ضئيل من المعلومات ، والحصاد محدود.
في الوقت نفسه ، نظرًا لأن الجميع دخلوا في حالة جنون (حالة) من قبل ، فإننا نسميها "عيش اليوم مثل العام" ، ويبدو أنه عام من (التقدم التكنولوجي) كل يوم.
** تشانغ بينغ: **
الأيام تبدو وكأنها سنوات لأنها تعمل بسرعة.
** وانغ شياوتشوان: **
نعم ، ليس مملا. هناك الكثير من الأشياء الجديدة كل يوم. لقد تم تحفيز أعصاب الجميع إلى درجة عالية ، وهم ضعيفون بعض الشيء.
بعد قولي هذا ، كان هناك العديد من التطورات التكنولوجية مؤخرًا ، والتي أعتقد أنها قوية جدًا.
إحداها أنه ، منذ حوالي أسبوع ، أطلقت شركة OpenAI مترجم الشفرة ، وهو إنجاز كبير ، لكن يبدو أنه لا توجد جولة جديدة من الهيجان الإعلامي في الصين.
لقد استمتع الجميع بالجنون من قبل ، لكن هذه المرة ، التقدم ، مترجم الشفرات ، أعتقد أن وسائل الإعلام لم تولي اهتمامًا كافيًا لها وأبلغت عنها.
وترقية صغيرة بالأمس ، قم بتخصيص التعليمات الخاصة بك.
إنه يمثل أنه يبدأ من نموذج LLM إلى الوكلاء.
سيصف "من أنا وما هي خصائصي؟" ما هو نوع الدور الذي سيلعبه نموذجك الكبير وما هي خصائصه؟ يعتمد تكوين مثل هذه العلاقة على ما إذا كان النموذج وكيلًا (من وجهة النظر).
هذان المجالان ليسا كافيين للجميع للاهتمام والتقرير اليوم.
انتظر قرار بدء عمل تجاري أخيرًا حتى تصبح المنطقة الحرام "مناسبة لشياوتشوان"
** تشانغ بينغ: **
السؤال الأخير ، لقد ذكرت للتو أنك "دفعت" إلى هذا الوضع الريادي. أعلم أيضًا أنك كنت متعصبًا للذكاء الاصطناعي منذ زمن AlphaGo.
في النهاية ، قررت أن تصبح رائد أعمال في مجال الذكاء الاصطناعي العام والنماذج واسعة النطاق ، سواء أكان ذلك لاو وانغ (هويوين) أو الموجة في الصين ، كيف أثروا على اتخاذك للقرار؟ بعد المرور بهذه العملية ، ما نوع التغييرات التي حدثت في قلبك؟
** وانغ شياوتشوان: **
إن الرحلة الذهنية طويلة جدًا في الواقع.
في زمن سوجو ، إلى المرحلة اللاحقة. أولاً ، فاتنا محرك التوصية وأقمنا تحالفًا استراتيجيًا مع Tencent ، وفي هذه الحالة ، بدون اختراقات تكنولوجية جديدة ، يكون التطوير محدودًا للغاية. عندما تم دمج Sogou مع Tencent ، كنت أتحدى شيئًا أكثر إثارة للاهتمام ، وهو تحويل الحياة إلى نموذج رياضي. كما قلنا ، كان نيوتن يحول الفيزياء إلى نموذج رياضي.
على منصة Geek Park من قبل ، كنت أتحدث عن التعلم من الحياة.
ما هي الحياة هذا شيء كنت أفكر فيه منذ 20 عامًا.
كيف تحول الحياة إلى نموذج رياضي؟ هذا ما يهمني. حتى في دراسة الطب الصيني ، وجدت كيفية تحويل الحياة إلى نموذج رياضي (لاحقًا) أن هذا الطريق قد لا يكون سلسًا.
أنا مهتم بشكل خاص بكيفية تحقيق اختراقات جديدة في الطب ضمن النموذج العلمي. قرأت أوراقًا طبية أكثر بكثير مما قرأت أوراق الكمبيوتر ، قرأت آلاف الأوراق الطبية.
ماذا حدث في 21 سنة؟ خلال 21 عامًا ، بدأ النموذج الكبير يحظى ببعض الفرص. في ذلك الوقت ، صنعنا نموذجًا بعشرات المليارات لحل مشكلة تغيير البحث إلى سؤال وجواب.
في الواقع ، قبل القيام بأسلوب الإدخال ، كنت منخرطًا بالفعل في "التنبؤ بما تريد الكلمة التالية قوله" ، ثم كيفية إعادة كتابته ، وتحول البحث إلى سؤال وجواب. في الواقع ، تم لمس الباب ، لكن لم يكن هناك اختراق في التكنولوجيا في ذلك الوقت.
أنت تعلم أنني مهتم جدًا بتحويل الحياة إلى نموذج رياضي ، لذلك بعد وصول النموذج الكبير ، كان أول ما فكرت به هو عدم إنشاء نموذج كبير.أود أن أسأل ، هل من الممكن بناء Health ChatGPT في مجال الحياة اليوم؟ GPT صحية ، طبيب رقمي؟
** تشانغ بينغ: **
أنت تفكر من منظور تطبيقي لحل المشكلات.
** وانغ شياوتشوان: **
نعم ، أفكر في ذلك. ثم فكرت ، إذا قمت بعمل نموذج رأسي اليوم ، فقد يتم قتله بواسطة النموذج الكبير. المخابرات العامة تقتل المخابرات المتخصصة ، أليس كذلك؟
لكن في هذه الحالة ، وجدنا أنه لا يكفي عمل نوع واحد فقط من HealthGPT ، أو مجرد طبيب رقمي.
في النهاية ، لا يزال من الضروري عمل نموذج كبير.
(قرار صنع نموذج واسع النطاق في المرحلة التالية) جاء من هذه الدائرة ، ليس لأنني اعتقدت أنني تراكمت من قبل.
ولكن عندما نصنع نموذجًا كبيرًا ، نجد أن (التراكم السابق) وثيق الصلة تمامًا ، مثل المعالجة المتعلقة باللغة.
حتى إلى أقصى الحدود ، يعد ChatGPT ثالث تطبيق يجعل نموذج اللغة تطبيقًا فائقًا. أول اثنين ، بحث واحد وطريقة إدخال واحدة.
** تشانغ بينغ: **
أشعر أنك لم تفعل هذا أيضًا ، آسف على الاثنين اللذين فعلتهما من قبل.
** وانغ شياوتشوان: **
نعم ، لذلك وجدت أن التراكم السابق مفيد حقًا اليوم ، وهو ما لم أتوقعه من قبل.
لذلك أنا عاطفي جدًا ، والله لطيف جدًا معك وأعطاك فرصة. في نهاية البحث ، هناك فرصة أخرى لاستخدام التجربة السابقة للقيام بشيء لم يكن من الممكن القيام به من قبل.
الآن ، لم يقل أحد أن "Xiaochuan مناسب للبحث" ، لكن الجميع قال "Baichuan مناسب للنماذج الكبيرة". بالنسبة لي ، إنه شيء محظوظ جدًا.
** تشانغ بينغ: **
هذا هو السبب في أنك قررت القيام بذلك في المقام الأول.
بعد بضعة أشهر حتى الآن ، قد يجد الجميع صعوبة في ذلك ، فلم تصبح شركة أوبن أيه آي شركة مربحة للغاية بعد ، وقد شكك الكثير من الناس في وادي السيليكون في نموذج أعمالها. لذا فإن النموذج الكبير سيضغط على رواد الأعمال في هذا الجانب ، هل شعرت بهذا الضغط؟
** وانغ شياوتشوان: **
أنا مفرط.
لأنني كنت أعمل في ظل بايدو ، والآن هي أرض حرام.بالنسبة لي ، هذا بالضبط ما أريد أن أفعله ، بدلاً من القول إن هناك قائدًا أمامي ، ثم تتبع. بالنسبة لي ، هذا ما أحبه ، استكشاف جديد.
** تشانغ بينغ: **
شكر خاص لـ Xiaochuan لمشاركتك معنا اليوم ، وتهنئة على دخولك أخيرًا إلى أرضك الخالية. أتمنى أن أرى مشهدًا أكثر جمالًا هنا. التصفيق مكرس لشياوتشوان ، هيا!
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
Baichuan Intelligent Wang Xiaochuan: بعد 100 يوم من بدء عمل تجاري بنموذج كبير ، أكدت أنني وجدت "أرضي الحرام"
** المصدر: ** FounderPark
في أبريل ، أعلن وانغ شياو تشوان نهايته وأنشأ شركة نموذجية واسعة النطاق "Baichuan Smart".
في يونيو ، أصدرت شركة Baichuan Intelligent نموذجًا كبيرًا مفتوح المصدر يبلغ 7 مليارات متغير ، وهو Baichuan-7B.
في يوليو ، أصدرت شركة Baichuan Intelligent نموذجًا كبيرًا مفتوح المصدر بحجم 13 مليار معامل ، Baichuan-13B.
لقد كان أداء كلا النموذجين جيدًا في العديد من التقييمات ، كما تم التعرف عليهما من قبل عدد كبير من المستخدمين في الداخل والخارج.
"المصدر المفتوح بسيط للغاية ، يمكن للجميع استخدامه لاستخدامهم الخاص ، وهذا ليس شيئًا تتباهى به بنفسك."
يتحرك بسرعة ، أسرع مما يعتقده معظم الناس. حتى هو نفسه فوجئ: سيكون التقدم أسرع بكثير مما كان متوقعًا بعد البدء في القيام بذلك.
في مؤتمر AGI Playground ، كشف Wang Xiaochuan أن قدرات نموذج المصدر المفتوح لـ BCI ستتفوق بالتأكيد على Llama 2. وفقًا للخطة ، ستطلق شركة Baichuan Intelligent عشرات المليارات ومئات المليارات من النماذج الكبيرة مغلقة المصدر في المستقبل.
قبل بضعة أشهر ، أراد وانغ شياو تشوان أن يكون "أوبن إيه آي للصين" في عناوين وسائل الإعلام المختلفة.
هذا شعار يحب الجمهور سماعه ، لكنه قد لا يكون وصفاً دقيقاً.
ما الذي يريده وانغ شياوتشوان بالضبط؟ ماذا سيفعل؟ بعد ثلاثة أشهر من الممارسة وتحقيق النتائج الأولية ، ما هو فهمه المباشر لريادة الأعمال في عصر النماذج الكبيرة؟
المصدر المفتوح ، ما لم تفعله OpenAI
** تشانغ بينغ: **
ما قد يثير اهتمامك أكثر هو أنك تحركت بسرعة كبيرة بعد بدء عملك ، وأصدرت نموذجين: أحدهما 7B والآخر 13B ، وكانت التعليقات جيدة جدًا.
الجميع فضوليون للغاية ، لأنهم اعتقدوا في البداية أنك ستصبح OpenAI صيني ، لكن رؤية أنك صنعت أشياء مفتوحة المصدر ، هل المصدر المفتوح مرحلة تكنولوجية ، أم أنه في حد ذاته نموذج جديد لتفكيرك في المستقبل؟
** وانغ شياوتشوان: **
المصدر المفتوح ، نعتقد أنها مرحلة فنية ، في الواقع ، كونك OpenAI الصيني لا يعني نسخ مسارها الكامل. عند الاتصال بـ OpenAI في Silicon Valley ، فقد قطعوا شوطاً طويلاً بشكل مثالي. على سبيل المثال ، عندما يقومون بإجراء GPT-4 الآن ، يحتاجون إلى أكثر من 20000 بطاقة لإجراء العمليات الحسابية ، ولم يسبق لهم أن رأوا مثل هذا النطاق الواسع في الصين.
إنهم فخورون بالقول إنهم يصممون نموذجًا للحوسبة يربط 10 ملايين وحدة معالجة رسومات معًا.
ما هو مفهوم العشرة ملايين بطاقة؟ يبلغ إنتاج Nvidia السنوي 1 مليون. 10 ملايين نسخة هي خطة يمكن أن تذهب إلى القمر (طلقة القمر).
بالإضافة إلى ذلك ، فيما يتعلق بكيفية إنشاء التطبيقات والمنتجات وحتى بعض التقنيات الأوسع نطاقًا ، فقد يكون هذا أحد أوجه القصور في OpenAI ، أو قد يكون شيئًا لا يهتمون به بشكل خاص الآن.
لذا فإن عمل OpenAI في الصين سيكون مختلفًا تمامًا عن البيئة البيئية في الولايات المتحدة.
بعد الإصدار الأخير من Llama 2 مفتوح المصدر ، تسبب في حالة من الجنون في الصين.شعر الجميع أنه سيغير المشهد مرة أخرى ، وهو ما فشل OpenAI في فعله. إنه لأمر مؤسف أن هذا لم يتم بواسطة Google ، ولكن بواسطة Facebook (Meta) ، ولا يزال Google غائبًا. لكن في الصين ، رأينا هذا الأمر مسبقًا ، ونعتقد أن المصدر المفتوح والمصدر المغلق سيكون لهما حالة موازية في المستقبل.
** تشانغ بينغ: **
سيكون المصدر المفتوح والمصدر المغلق في حالة متوازية.
** وانغ شياوتشوان: **
التوازي يشبه إلى حد ما نظام Apple الحالي ونظام Android. حتى عندما ترغب المزيد من الشركات في المشاركة ، لا يكفي استخدام استدعاءات API مغلقة المصدر. يحتاج هذا النموذج مفتوح المصدر أيضًا إلى توفير 80٪ من الخدمات ، وأخيرًا الاعتماد على خدمات المصدر المغلق لتقديم الخدمات للجميع ، وسيتطلب الـ 20٪ المتبقية الكثير من الطلب مفتوح المصدر. لم يكن لدى الولايات المتحدة من قبل ، ولم يكن لدى الصين نموذج مماثل. لذلك ، بمجرد الإعلان عن اللاما ، ستكون صدمة كبيرة للولايات المتحدة ، ولكن هناك أيضًا طفرة في الصين. في الواقع ، تشمل التقييمات الفنية الجادة العديد من التقييمات السائدة مثل SuperClue ، بالإضافة إلى المقارنات بين بعض الشركات المصنعة والشركات الكبرى.إذا قورنت Llama مع Baichuan ، فمن الواضح أن جودتنا في المجال الصيني أعلى بكثير من جودة Llama.
في مجال النماذج مفتوحة المصدر في الصين ، تمامًا مثل صناعة الهواتف المحمولة لدينا ، تم استخدام الولايات المتحدة في البداية ، ثم تم التقاطها بنفسها لاحقًا.
** تشانغ بينغ: **
هل تعتقد أن Llama 2 أصبحت ساخنة جدًا مؤخرًا ، فإن Baichuan ستفعل أفضل منها؟
** وانغ شياوتشوان: **
اللاما هي اللاما 1 و 2.
بادئ ذي بدء ، أصدرنا أول نموذج معلمة 7B في يونيو من هذا العام ، وأصدرنا نموذج المعلمة 13B في يوليو. من بين المؤشرات باللغة الإنجليزية ، المؤشر الأكثر أهمية هو MMLU (فهم لغة متعدد المهام الشامل) ، هذا المؤشر الرئيسي ، نموذجان لدينا أفضل من Llama (1) ، ويتقدمان بشكل كبير في اللغة الصينية.
نحن نعلم أن معالجة اللاما الصينية غير كافية في الواقع. وبالمقارنة مع اللاما (1) ، يمكن للغة الإنجليزية في Baichuan أن تتطابق جزئيًا مع المعيار ، ويتم تجاوز المؤشرات الرئيسية ، ومن الواضح أن اللغة الصينية أفضل. يقوم العديد من الأشخاص بتحويل اللاما إلى الصينية ، لكنها لا تزال غير سهلة الاستخدام مثل Baichuan المحلي.
بعد إصدار Llama 2 ، يمكننا أيضًا الاطلاع على التقرير الفني ، والذي يحتوي على حوالي 9 نقاط ابتكار تقني ، تم تحقيق 6 منها في النموذج الذي نقوم بتطويره.
بالمقارنة مع النماذج المحلية الأخرى ، فإن تفكيرنا هنا هو الأقرب في الوقت الحالي. لقد قمنا بالفعل بـ 6 نقاط ، ثم لم نتوقع نقطتين ، ولدينا نقطة غير صالحة. لذلك ، عند المقارنة مع Llama2 ، فإننا لا نسرق ببساطة في التفكير التقني ، ولكن لدينا تفكيرنا الخاص. نعتقد أنه ستكون هناك فرصنا في المستقبل في هذا الطريق.
اليوم أناشد الجميع في الصين ألا يفكروا فقط في أن الدول الأجنبية جيدة عندما يستخدمونها. إن OpenAI في الواقع أبعد من ذلك الآن. سوف يستغرق الأمر وقتًا للوصول إلى GPT-3.5 أو قريبًا من المستوى بحلول نهاية العام ، لكننا بالفعل قريبون جدًا من نموذج المصدر المفتوح.
إذن ، نموذجك المفتوح المصدر التالي ، هل تعتقد أنه سيكون أفضل من Llama 2؟
** وانغ شياوتشوان: **
على الأقل باللغة الصينية. في مجال اللغة الصينية ، تم تجاوزها الآن. تتمثل الخطوة التالية في جعل الصين صوتًا في مجال المصادر المفتوحة في السوق العالمية.
** تشانغ بينغ: **
يجب أن تكون اللغتان الإنجليزية والصينية أفضل من Llama2 ، فهذا أمر مرئي ويمكن تحقيقه بالنسبة لك.
** وانغ شياوتشوان: **
أعتقد أن هناك فرصة لحدوث ذلك في المستقبل المنظور.
** تشانغ بينغ: **
لذا فإن وجهة نظرك هي: اليوم لا يمكننا أن نقول ببساطة أن نموذجنا الكبير المستقبلي هو التحرك نحو OpenAI - نموذج مركزي مغلق المصدر. المصدر المفتوح في الواقع لديه إمكانيات كبيرة. لذا ، فهذا يعني أنه من ناحية ، فإن الأمر يتعلق بممارسة التكنولوجيا وإظهار القدرات التقنية ، ولكنها قد تحتوي بالفعل على نماذج وقيم أعمال.
في الوقت نفسه ، على أساس المصدر المفتوح ، لا يزال هناك شيء يمكن للناس أن يتطلعوا إليه في الصين لصنع أفضل نموذج صيني في العالم.
** وانغ شياوتشوان: **
هذا يلخص الأمر بدقة.
هل تجربة البحث عبارة عن خمول سيئ أم ميزة جيدة؟
** تشانغ بينغ: **
في الماضي ، اعتقد العديد من المستثمرين أن استخدام تجربة البحث لبناء نموذج واسع النطاق لن ينجح بالتأكيد. بعد هذه الأشهر من الممارسة ، هل تحققت من حكمك الأصلي الذي كان مختلفًا عن حكمهم؟ كيف يساهم تراكم وقدرات البحث في النماذج الأكبر؟
** وانغ شياوتشوان: **
نظرًا لأن شركة OpenAI حققت إنجازًا اليوم (AI) ، ولكن لم تفعل Google ذلك ، فإن أول ما يفكر فيه المستثمرون هو أن هذه التقنية الجديدة هي عكس البحث تمامًا. من الصعب عليهم التمييز ما إذا كان السبب هو التكنولوجيا أو الإدارة التنظيمية.
السبب في هذا النوع من الصوت هو أن المرء لا يفهم العلاقة بين تقنية البحث والذكاء الاصطناعي ، والثاني هو أن معرفة خلفية البحث سيؤدي إلى تأثيرات سلبية.
نظرًا لأن شركات البحث هي أساسًا Baidu و Google ، فهي لا تحتاج إلى تمويل خارجي ، ولا تخبر المستثمرين عن ماهية البحث. على وجه الخصوص ، جاءت الموجة الأخيرة من طفرة الذكاء الاصطناعي في الغالب من خلال الصور ، والجميع ليسوا على دراية بالدلالات التقنية مثل البرمجة اللغوية العصبية في البحث.
من حيث النتائج ، أطلقنا النموذج الأول في يونيو. قال أحد المنافسين للمستثمرين في أقرب وقت ممكن أن إنتاج النموذج الأول سوف يستغرق نصف عام ، وفي الواقع ، أخذنا ثلث الوقت فقط لإكماله ، ثم أطلقنا النموذج الثاني. وفي المستقبل القريب ، سنقوم بإصدار نموذج مغلق المصدر.
تم تطوير Baichuan ذاتيًا منذ اليوم الأول ، والبداية الباردة سريعة جدًا جدًا. ما هو السبب وراء ذلك؟
نحن نعلم اليوم أن البيانات عالية الجودة هي أساس النماذج الكبيرة ، فما الشركة التي لديها فهم واسع لبيانات اللغة؟ في الواقع ، تعمل شركات البحث منذ 20 عامًا ، وتفكر في كيفية العثور على مثل هذه البيانات عالية الجودة كل يوم. على سبيل المثال ، ابحث أولاً عن 100 موقع ويب عالي الجودة من 1 تريليون صفحة ويب ، ثم قم بتحليل الصفحة ، بما في ذلك استخراج المعلومات ، وإزالة البيانات المكررة ، ومكافحة البريد العشوائي ، وحتى استخراج المحتوى حسب مستوى الفقرة.
يقوم كل من Sogou و Baidu و Google بهذا النوع من العمل لفترة طويلة.
النقطة الثانية هي أنه من حيث تجمع المواهب ، من الضروري أن يكون لديك قدرات خوارزمية وقدرات هندسية مركزة على قدرات البحث. تستخدم ByteDance الآن فريق البحث لصنع النماذج ، كما أن تقدم Baidu سريع جدًا ، بما في ذلك النموذج الذي يصنعه Shen Xiangyang أيضًا من قبل نائب رئيس Bing في الماضي.
شيء آخر لعمل نموذج كبير هو التقييم. تقييم ما إذا كان النموذج الكبير جيدًا أم لا هو في الواقع مشكلة مؤلمة ، بما في ذلك مشكلة التفكير ، والسؤال الدقيق والإجابة ، والإبداع ... بعضها يصبح أفضل والبعض الآخر يصبح أسوأ. كيف تقيم؟ لذلك ، يعد نظام التقييم هذا أيضًا قدرة تراكمت لدى شركات البحث لفترة طويلة ، وذلك باستخدام التقييم لدفع تكرار الخوارزميات اللاحقة.
بالإضافة إلى ذلك ، فإن الكفاءة التنظيمية للشركات الناشئة أعلى بكثير من تلك الخاصة بالمصانع الكبيرة ، مع وجود نظام اتخاذ قرار مرن للغاية ، سيتم تعظيم جميع الكفاءات.
** تشانغ بينغ: **
فهل تحدثت إلى المستثمر الذي اعتقد أن البحث لم يكن جيدًا بما يكفي للعارضين الكبار؟
** وانغ شياوتشوان: **
تم تمييز الاسم بصليب وإزالته ، ولا أعرف من هو. المستثمرون الذين ينظرون إلى الأعمال فقط وليس التكنولوجيا ، وأولئك الذين يحبون اللحوم الطازجة الصغيرة بشكل خاص الذين يعودون من الولايات المتحدة لبدء عمل تجاري ، هؤلاء المستثمرون يستخلصونها ولا يتحدثون عنها.
أولد وانغ محق ، "الابتكار الصغير يعتمد على المصانع الكبيرة والابتكار الكبير يعتمد على المصانع الصغيرة"
** تشانغ بينغ: **
هل تعتقد أن رواد الأعمال سيكون لديهم فرص كافية في هذه الموجة من التغيير التكنولوجي في المستقبل؟ أم أن الجسد الرئيسي لا يزال يسيطر عليه العمالقة؟ كيف يمكن لرواد الأعمال اغتنام فرصهم الخاصة؟
** وانغ شياوتشوان: **
على الرغم من أن Wang Huiwen لا يعرف الكثير عن التكنولوجيا ، أعتقد أنه قال شيئًا صحيحًا جدًا: الابتكار الصغير يعتمد على المصانع الصغيرة ، والابتكار الكبير يعتمد على المصانع الكبيرة.
على الرغم من أن المصنع الكبير يتمتع بالعديد من المزايا من حيث الأشخاص والمال والموارد ، إلا أنه ستكون هناك العديد من المشكلات الداخلية بعد نمو المنظمة ، وستكون الكفاءة التنظيمية مقيدة بشدة.
إذا كنا نعتقد اعتقادًا راسخًا أن وصول الذكاء الاصطناعي العام سيحدث انفجار هائل في الأنواع الجديدة. هذه الأشياء لديها فرص ضخمة للشركات الناشئة للعمل. يمكن إثبات ذلك من الاستنتاج التاريخي ، طالما أنه يوجد الذكاء الاصطناعي العام ، ستكون هناك فرص جديدة في المستقبل.
أين الصعوبة في الوسط؟
OpenAI هي شركة موجهة نحو البحث تنفذ منتجات في العالم الحقيقي. أنت تتابعها ، ويمكن أن يكون لمجال البحث إنجازات رائعة للغاية. ولكن كيفية التقديم اليوم ، لا OpenAI ولا الشركات التي تعتمد على التكنولوجيا في Silicon Valley جيدة جدًا في هذا الأمر. أنا واثق من أن الصين أفضل بكثير من الولايات المتحدة من حيث تطبيق التطبيق.
لقد وصل العالم كله إلى نقطة تحول ، والآن بعد أن أصبحت التكنولوجيا في مكانها الصحيح ، فهذه هي الصعوبة الأولى. التطبيق والمتطلبات هي الصعوبة الثانية ، والتي تسمى خدمة النموذج (خدمة النموذج). لذا التحدي الآن ، رقم واحد ، هل لديك النموذج؟ ثانيًا ، هل وجود نموذج يعني وجود خدمة؟
** تشانغ بينغ: **
هل بيع API خدمة؟
** وانغ شياوتشوان: **
أنا لا أعتقد ذلك.
يبدو الأمر كما لو كان لديك تقنية ذاتية القيادة ، ولكن هل يمكنك حقًا بناء سيارة؟ من الواضح أنه لا. كما يتطلب اندماج العديد من التقنيات.
الآن الولايات المتحدة مرتبكة نسبيًا بشأن طبقة التطبيقات ، والمشكلة الحالية للصين هي الافتقار إلى قدرات النموذج. اليوم ، تقصر العديد من الشركات الناشئة التي تصنع النماذج أيضًا منظورها على النماذج الكبيرة ، ولا تعرف الكثير عن مجموعات التكنولوجيا الأخرى.
دعني أعطيك أبسط مثال: عندما تصنع نموذجًا ، ستواجه بالتأكيد الهلوسة وحسن التوقيت. يمكن حل كل من الهلوسة وحسن التوقيت من خلال النموذج الكبير نفسه. يحل بعض الأشخاص الوهم عن طريق توسيع المعلمات إلى تريليونات وعشرات التريليونات ؛ أو استخدام التعلم المعزز. ولكن في الواقع ، فإن الطريقة الأكثر مباشرة هي إدخال البحث واسترجاع المعلومات فيه. يمكن أن يشكل الجمع بين النماذج الكبيرة وهذه مجموعة تقنية أكثر اكتمالاً.
بعد أن تم اقتراح هذه التقنية ، فقد كانت بالفعل علامة. على سبيل المثال ، هناك شيء يسمى قاعدة بيانات المتجه ، وهو في الواقع بحث مرن ويستخدم بشكل أساسي في toB.
فيما يتعلق بالبحث ، بعد إدخال تقنية Transformer في عام 2018 ، أصبح لديها بالفعل القدرة على البحث الدلالي. ربما سمعت عن الفهرس المقلوب ، وهو فهرسة هذه الشبكة الرمزية.
بعد عام 2018 ، سواء كنا نحن أو Baidu أو متجهات البايت قد تحولت إلى البحث الدلالي ، وراء هذه التكنولوجيا ثلاث قواعد بيانات متجهية ضخمة. يمكن أن يؤدي الجمع بين هذه المداخن التكنولوجية والنموذج الكبير إلى تطوير النموذج الكبير بشكل أكبر. كما ترى ، فإن تجربة فريق البحث لها مزايا لصنع النماذج.
الجانب الثاني هو أن تقنية النماذج واسعة النطاق أصبحت عملية تدريجياً. ثم في ما يسمى بحوسبة المعرفة ، يجب إضافة قواعد بيانات المتجهات وعمليات البحث لتشكيل تقنيات ومنتجات أكثر اكتمالا. حول هذه المسألة ، يتشكل توافق الجميع بشكل تدريجي.
عند الحديث عن حركة المرور في ChatGPT اليوم ، بدأ الجميع في القلق بشأن ما إذا كان يمكن أن يستمر في الانفجار.
لذلك ما زلنا بحاجة إلى مزيد من الاستكشاف.
نعتقد أنه في صناعة الترفيه ، فإن لعب الأدوار له آفاق واسعة ، لكن هذا الأمر يتطلب دخول الشركات الصينية للقيام بعمل أفضل.
شيء آخر هو كيفية الجمع بين النماذج الكبيرة والبحث. الحيرة تعمل منظمة العفو الدولية بشكل جيد للغاية الآن ، لكننا في وضع سلبي. إذا كانت الولايات المتحدة لديها فرص ، فسيقوم المستثمرون بالبحث عن شركات المقارنة الصينية.
إذا لم يكن لدى هذه الشركة نموذج كبير ، فهي تستدعي API فقط ؛ وثانيًا ، ليس لديها تقنية بحث ويمكنها الاعتماد فقط على تقنيات شركات مثل Google و Bing ، وهذا ليس مثاليًا.
** تشانغ بينغ: **
لقد قلت الآن أن عدد المستخدمين مثل ChatGPT آخذ في الانخفاض ، مما يجعل الجميع يشعرون أن النموذج الجديد قد لا يتمكن من اختراقه دفعة واحدة. هل هذا تحد كبير لرجال الأعمال لتقديم الطلبات؟
لأنه وفقًا لما قلته للتو ، في بيئة ذات تكنولوجيا غير ناضجة ، فإن تكلفة استكشاف ريادة الأعمال مرتفعة للغاية. وإذا استخدم رائد الأعمال واجهة برمجة التطبيقات الخاصة بشخص آخر فقط كتغيير في نموذج التطبيق ، فلن يكون ذلك ملفتًا للنظر بشكل خاص.
** وانغ شياوتشوان: **
قبل يومين ، قامت OpenAI للتو بترقية مترجم الشفرة ، ثم قامت بترقية التعليمات المخصصة. بالنسبة للشركات المبتدئة ، كان هناك ضغط هائل.
يشعر المستثمرون الأمريكيون بالقلق أيضًا بشأن ما إذا كانت لا تزال هناك فرصة للشركات الناشئة لتجاوز الشركات العملاقة وسط القلق ، وما إذا كان سيتم استبدالها بشركات كبيرة بعد نصف عملها.
في الصين ، لا أعتقد أن هناك شركة كبرى مثل أوبن إيه آي تأخذ مسار النماذج واسعة النطاق. وهي لا تزال في مرحلة حرب المائة عارض. اليوم ، ما إذا كانت الشركات التي تصنع نماذج كبيرة الحجم لديها القدرة على تقديم التطبيقات هي مسألة يتعين على الصين مراقبتها كثيرًا في الولايات المتحدة.
اللحاق بـ GPT-4؟ إنه لأمر خطير أن نتابع بشكل أعمى نموذج التحسين المتوارث بين الأجيال
** تشانغ بينغ: **
يثير هذا أيضًا التساؤل حول من في الصين سيلحق بـ GPT-3.5 ، أو حتى GPT-4
هناك أيضًا صوت آخر يقول إن GPT-3 يكفي للمؤسسات لحل بعض مشاكل المشهد الرأسي.
أشعر أن Xiaochuan وأنت ما زلت ملتزمين بمطاردة GPT-3.5 و GPT-4. هل هذه المطاردة صعبة؟ لماذا تقول أنه يجب عليك اللحاق بمستوى GPT-4؟
** وانغ شياوتشوان: **
أعتقد أنهما شيئان.
الأول هو التقدم التكنولوجي بين الأجيال ، والذي قد يكون له تأثير ساحق على بيئة المنتجات اللاحقة. بغض النظر من وجهة النظر المثالية ، تخيل مستقبلًا بعيد المنال ، مثل ثلاثة أو أربعة أو خمسة أجيال من الطائرات المقاتلة ، حيث قد يلعب كل جيل دورًا مهمًا. لذلك في هذا الوقت ، يجب على الجميع السعي للحصول على ميزة في مجال تنافسي للغاية.
ومع ذلك ، في عملية التنافس على المزايا ، قد يواجه الجميع ارتباكًا جديدًا: في أي جيل يمكننا حقًا تحقيق تطبيقات فائقة؟ لم تقم GPT-3.5 بعد بتشكيل تطبيق فائق في الولايات المتحدة ، ويستغرق التدريب حوالي 50 مليون يوان مرة واحدة ، وهو ما لا يشمل تكلفة الاستعدادات والتجارب الأولية. قد يكلف تدريب GPT-4 500 مليون يوان صيني مرة واحدة. من خلال جيل GPT-4.5 ، يمكن أن تصل التكلفة إلى 500 مليون دولار.
لذلك ، إذا لم يكن هناك تطبيق ممتاز ، فمن الخطير جدًا متابعة التحسين التكنولوجي. لذلك ، نحتاج إلى متابعة تحسين القدرات التقنية للجيل الرابع والجيل الخامس في هذا المجال في نفس الوقت ، وفي نفس الوقت لدينا تطبيقات فائقة. خلاف ذلك ، قد نواجه فجأة ضغوطًا للترقية على جبهتين ، وكلاهما يحتاج إلى الترقية في نفس الوقت ليكون ناجحًا.
** تشانغ بينغ: **
لذلك ، يجب أن يكون كل نوع من أنواع التكنولوجيا قادرًا على إنتاج تطبيقات قيمة.
** وانغ شياوتشوان: **
ما قلته للتو صحيح تماما.
يتوفر GPT-3 بشكل أساسي على الجانب B ، لكنني أعتقد أن سبب عدم توفره على الجانب C هو أن الوقت قصير جدًا.
بالإضافة إلى ذلك ، يركز الجميع كثيرًا على OpenAI ، فهي ليست شركة منتجات ولا شركة يمكنها إنشاء تطبيقات فائقة.
القدرة على القيام بتطبيقات فائقة لا تتطلب فقط اللحاق بالركب التقني ، ولكن أيضًا فهمًا كافيًا للمنتج. أعتقد أن نهاية العام ستظهر الحقيقة.
"Xiaochuan مناسب لصنع النماذج الكبيرة" "بعد 20 عامًا من البحث ، لم يقل أحد أنني مناسب لإجراء البحث"
** تشانغ بينغ: **
هل يمكن للجميع المبالغة في تقدير شركة OpenAI؟ بعبارة أخرى ، نعتقد أنه من الصعب تجاوز OpenAI لأنه يحتوي على دولاب موازنة للبيانات. كيف تفهم هذا؟ هل حذافة البيانات موجودة بالفعل؟
** وانغ شياوتشوان: **
في بداية هذا العام ، كنت أتحدث عن دولاب الموازنة ، وكنت مذعورًا جدًا في ذلك الوقت. يتم تقديم طلب المستخدم إليه ، فهو يعرف ما يريده المستخدم ، ومن ثم يمكنه ترقية النموذج بشكل أفضل.
حتى الآن ، هذه المشكلة ليست خطيرة.
على سبيل المثال ، بعد إطلاق Llama 2 ، رأى الجميع أنه في مرحلة الضبط الدقيق ، يجب تنقيح البيانات وتقليلها بدلاً من صقلها وأكثر من ذلك.الآن ، شكل الجميع إجماعًا تدريجيًا على أن سر التكنولوجيا ليس في دولاب الموازنة ، ولكن تراكم التكنولوجيا بمرور الوقت.
كما ارتفعت القوة التقنية لشركة Anthropic ، وهي شركة مثل Claude ، بسرعة ، ولدى OpenAI عدد مستخدمين أكثر بكثير مما هو عليه ، مما يثبت أيضًا أن مفهوم دولاب الموازنة للبيانات قد تم تزويره.
** تشانغ بينغ: **
أو ربما تنعكس البيانات القيمة حقًا في مهارات التحدث مع الناس ، أتذكر أنه في أقرب وقت ، كانت طريقته في الحديث "غبية" تمامًا ، لكنها الآن تبدو أكثر إنسانية.
** وانغ شياوتشوان: **
لا يبدو هذا الشيء كثيرًا ، ويكمن المزيد في مجموعة البيانات الخاصة به. بغض النظر عن مرحلة ما قبل التدريب أو في مرحلة الضبط الدقيق ، كيف تحصل على بيانات عالية الجودة؟ كيفية التطابق وما إلى ذلك ، هذه هي قدرتها الأساسية. على وجه الخصوص ، سمعتهم يتحدثون أنه من ناحية ، يقوم GPT-4 بتدريب GPT-3.5 لجعل 3.5 تعمل بشكل أكثر كفاءة ، وفي الوقت نفسه ، يتم استخدام GPT-4 لإنتاج جزء من البيانات المطلوبة بواسطة GPT-5 ، وتعمل على تحسين العملية التكرارية. إن تكرارها داخليًا هو تحسين الخدمات عبر الإنترنت ، وفي نفس الوقت إنشاء بعض البيانات في المستقبل. أعتقد أن هذا هو الحدافة الداخلية.
** تشانغ بينغ: **
لذلك إذا نظرت إليها من منظور اللاما ، فمن الممكن أيضًا تقديم نموذج يعمل باستمرار على تحسين المستوى التقني من خلال المصدر المفتوح. ولكن من منظور OpenAI ، قد يكون هناك عدد كافٍ من المستخدمين والبيانات في مرحلة معينة.
** وانغ شياوتشوان: **
المصدر المفتوح ، والمصدر المغلق ، والتطبيقات ، في الواقع ، لا يزال الجميع يفعل ذلك اليوم ، ولا يزال في مرحلة التوسع تمامًا مثل غرب الولايات المتحدة.
** تشانغ بينغ: **
لذلك اليوم ، بالنسبة لشركة ناشئة مثل Baichuan ، ليس من السهل القول إنني أتعاون فقط مع اتجاه معين ، سواء كنت أرغب في إبقاء الاستراتيجية غامضة ، أو أسميها غنية بالاحتمالات ، فقد أراهن على هذه الأبعاد.
** وانغ شياوتشوان: **
يمين. ريادة الأعمال الخاصة بي هذه المرة مثيرة للاهتمام للغاية.يقول الكثير من الناس أن Xiao Chuan مناسب بشكل خاص لصنع نماذج كبيرة الحجم.أنا أقوم بالبحث منذ 20 عامًا ، ولم يقل أحد من قبل أن Xiao Chuan مناسب بشكل خاص لإجراء البحث.
البحث في الصين يأتي بعد بايدو بثلاث سنوات ، وهذا النوع من اللحاق بالركب صعب للغاية. يتم النظر إلى تراكم وخبرات اليوم ولا أحد أمامها. كان من الصعب التفكير ، وتأخرت عدة سنوات ، ولكن يبدو لي اليوم أن هناك فرصًا في كل مكان. لذلك ، طالما لدينا قدرات كافية ، يمكننا إجراء مقابلات هنا في كل مكان ، ومعرفة ما إذا كان بإمكاننا تغيير انطباعك الأصلي عن Sogou اليوم.
لا تتعبد بشكل أعمى ، سيكون لدى الصين والولايات المتحدة قصص مختلفة عن الذكاء الاصطناعي
** تشانغ بينغ: **
لقد تأثرت تمامًا بما قاله أوغاوا. أنت تقف أخيرًا في منطقة حرام.
فيما يتعلق بالنموذج الكبير ، قد يشعر الكثير من الناس أنهم بحاجة إلى التعلم واللحاق ببرنامج OpenAI. ولكن عندما تفعل هذا حقًا ، ستجد المسافة والمسار حقًا.
** وانغ شياوتشوان: **
نعم ، لا تكن شديد العبادة.
أتذكر أنه بعد AlphaGo في عام 2016 ، ذكرت نقطتين في ذلك الوقت: أولاً ، إذا كان بإمكان (AI) التنبؤ بالإطار التالي للفيديو ، فهو وصول AGI.
لكن الأمر انتهى بعد أن تنتهي من التحدث ، وليس لديك القدرة على القيام بذلك. ليس لديك الدافع أو القدرة أو الظروف. لاحقًا ، قيل إنه إذا أتقنت الآلة اللغة ، فسيأتي أيضًا ذكاء اصطناعي قوي. الآن بدأ التحقق بالفعل.
لذلك أعتقد أن لدينا الكثير من الأفكار بأنفسنا ، ولسنا متأخرين. كل ما في الأمر أن التوقيت والظروف ليست ناضجة. إنه مثل ، قال مدير مدرسة أنه يمكن حل هذه المسألة ، أنت مدير المدرسة ، لا تقصد نسخ الواجبات المنزلية لك ، أليس كذلك؟
يخبرك الآخرون أنه يمكن حلها ، أو حتى يعطيك فكرة كبيرة. أعتقد أنه يمكننا القيام بذلك بأنفسنا ، ولسنا بحاجة إلى التحديق في واجبات الآخرين المنزلية وتقليدها.
** تشانغ بينغ: **
لذا فإن متعتك الحقيقية هنا ليست إدراك الآخرين وإعادة إنتاجهم ، ولكن استكشاف بعض الأشياء التي لم يلتقطها الجميع في هذه الأرض الحرام.
** وانغ شياوتشوان: **
نعم ، أعتقد أن لدي الفرصة هذه المرة للقيادة في بعض المجالات.
** تشانغ بينغ: **
هناك مثل هذا الاحتمال ، لذلك الصين والولايات المتحدة ، Baichuan و OpenAI ، ربما ليست نفس القصة.
** وانغ شياوتشوان: **
سيكون حقا مختلفا. الصين والولايات المتحدة ليسا نظامًا أو نظامًا أو ثقافة ، لذا فإن ما ينشأ في النهاية ، سواء كانت مشكلة فنية أو مشكلة تطبيق ، سيكون مختلفًا.
العمل الرئيسي: الدردشة مع الزملاء ، اخترقت Baichuan Intelligent 100 شخص
** تشانغ بينغ: **
كيف ترتب عملك المعتاد؟ كيف تخصص وقتك؟ يقول الكثير من الناس أن قوة الحوسبة مهمة وأن المواهب مهمة ، لكني أعتقد فقط أولئك الذين بدأوا عملًا تجاريًا بالفعل يعرفون ما هو الأكثر أهمية. لذلك أريد فقط أن أسأل أين تقضي معظم الوقت؟
** وانغ شياوتشوان: **
ما أقضي معظم وقتي الآن هو الدردشة مع زملائنا.
** تشانغ بينغ: **
محادثة؟
** وانغ شياوتشوان: **
نعم ، أثناء عملية الدردشة ، إنها في الواقع عملية تكوين إجماع مستمر ، وهو جمع الإدراك والتغذية والمعلومات الخارجية للجميع حتى يتمكن الجميع من تكوين نفس الدماغ.
لأننا نعلم أن من أعلى إلى أسفل قد يضل. على سبيل المثال ، لماذا لم يصنعها Google؟ عندما تم الانتهاء من أول مقر لشركة Google ، كان يعاني من الجمود. لا يمكن الحصول على البيانات ، وستزداد التكلفة بعد الاتصال بالإنترنت ، ولن تكون هناك مزايا محددة للمستخدم ، لذلك هناك معضلة لبدء عمل تجاري.
في حالة Google Brain ، يكون Button-Up. باحثوها أحرار للغاية ويمكنهم فعل ما يريدون ، أو توحيد الجهود ، وقد شاهد الكثير منهم النموذج الكبير بالفعل ، لكن لا يمكنهم التركيز على القيام بذلك ، لأن القوى مبعثرة. ثم Deepmind هو من أعلى إلى أسفل ، ما تطلبه الشركة ، وما يفعله الجميع. لقد قامت بعمل AlphaGo و AlphaZero و AlphaFold ، والآن تتجه نحو طاقة الهيدروجين والاندماج النووي والحوسبة الكمومية ، لكنها بعيدة كل البعد عن معظمها.
في الواقع ، يُطلق على "أعلى لأسفل" و "زر لأعلى" اليوم "أعلى وأسفل بنفس الرغبة" ، بحيث يمكن للجميع التوافق تمامًا من هذا النموذج المثالي إلى التكنولوجيا والإدراك ، وأن يصبحوا شيئًا واحدًا. لذلك أعتقد أن المزيد من التواصل اليومي معك سيجعلك عقلًا ، وهو أهم عمل بالنسبة لي.
** تشانغ بينغ: **
حسنًا ، ممتع. لذلك ، إذا بذل فريق صغير أعظم طاقته ، فيمكن للجميع مشاركة نفس الأفراح والأحزان ، ونفس الرغبات والرغبات.
** وانغ شياوتشوان: **
هذا مهم جدا ، لن نتحدث عن التنظيم والإدارة اليوم ، لكننا سنصبح مثل شخص واحد. تضم Baichuan الآن 100 شخص ، ووصل عددهم بالأمس إلى 100 شخص.
التغييرات في الثقة ، تقدم Baichuan أسرع من المتوقع
** تشانغ بينغ: **
في الأشهر القليلة الماضية ، كرست نفسك للنمذجة واسعة النطاق. لم يتغير حماسك ، ولكن هل تغيرت ثقتك بنفسك؟ هل الأمر أصعب مما توقعته في البداية؟ هل مازلت تتماشى مع توقعاتك؟
** وانغ شياوتشوان: **
إذا كنت صادقًا ، من صميم قلبي ، أعتقد أنه أسهل مما كنت أعتقد.
من المتوقع أن تعرف الكثير (الصعوبات) في البداية ، وسنوات التراكم في الخارج ، وقوة الحوسبة ، والخوادم ... ولكن عندما تعمل مع زملائك ، وعندما يشارك الجميع في الإنشاء ، فإن تقدمنا الفعلي ووتيرتنا تكون أسرع من المتوقع.
اتضح أننا توقعنا إصدار 50 مليار نموذج في الربع الثالث ، ثم إطلاق طراز 175 مليار في الربع الرابع.
ولكن في الواقع ، لن تتغير هذه الأشياء ، ولكن في هذه العملية ، تكون سرعة تقدم التطبيق وسرعة نماذج المصدر المفتوح أسرع بكثير مما كان متوقعًا.
وأيضًا بشكل أسرع ، يمكننا اليوم أن نبدأ بالقول ، ليس فقط أن نكون الأفضل في المنزل ، ولكن أيضًا مصدر مفتوح على المسرح الدولي.
المصدر المفتوح بسيط للغاية ، يمكن للجميع استخدامه لاستخدامهم الخاص ، وهذا ليس شيئًا تتفاخر به. بعد الافتتاح ، نحن على ثقة من أنه يمكننا الحصول على مكانة جيدة للغاية على الساحة الدولية.
** تشانغ بينغ: **
لذلك قبل القفز في الماء ، كنت قلقًا بشأن عدم معرفة العمق ، لكن عندما قفزت حقًا ، وجدت أنه يمكنني بالفعل أن أخطو عليه إلى القاع ، لذلك شعرت براحة أكبر؟ هل هو حقا بهذه البساطة؟
** وانغ شياوتشوان: **
قسّم الناس.
أنا شخص حذر نسبيًا ، وكنت ما زلت أشاهد ، ثم ركلني Lianchuang وقال لي ابدأ في فعل ذلك. ثم قلت حسنًا ، وأعلنت النهاية وبدأت العمل. خلاف ذلك ، قد يستغرق الأمر وقتًا متأخرًا قبل أن تشعر بالاستعداد. ولكن بمجرد خروجك من الملعب ، ستجد أنك ستجري أسرع مما كنت تعتقد.
بعد الهيجان والتطورات التكنولوجية الحديثة المثيرة للقلق
** تشانغ بينغ: **
هل تولي اهتماما للتقدم التقني للموديلات الكبيرة مؤخرا؟ ما الأوراق التي تثيرك؟
** وانغ شياوتشوان: **
أولاً ، مجرد قراءة الأوراق ليس مهمًا في الواقع اليوم. لا يمكنك الانتهاء منه.
الأساسيات هي تلك الأشياء. واليوم توقف OpenAI عن إرسال أوراق جيدة. الأوراق المرسلة كلها أوراق تحتوي على قدر ضئيل من المعلومات ، والحصاد محدود.
في الوقت نفسه ، نظرًا لأن الجميع دخلوا في حالة جنون (حالة) من قبل ، فإننا نسميها "عيش اليوم مثل العام" ، ويبدو أنه عام من (التقدم التكنولوجي) كل يوم.
** تشانغ بينغ: **
الأيام تبدو وكأنها سنوات لأنها تعمل بسرعة.
** وانغ شياوتشوان: **
نعم ، ليس مملا. هناك الكثير من الأشياء الجديدة كل يوم. لقد تم تحفيز أعصاب الجميع إلى درجة عالية ، وهم ضعيفون بعض الشيء.
بعد قولي هذا ، كان هناك العديد من التطورات التكنولوجية مؤخرًا ، والتي أعتقد أنها قوية جدًا.
إحداها أنه ، منذ حوالي أسبوع ، أطلقت شركة OpenAI مترجم الشفرة ، وهو إنجاز كبير ، لكن يبدو أنه لا توجد جولة جديدة من الهيجان الإعلامي في الصين.
لقد استمتع الجميع بالجنون من قبل ، لكن هذه المرة ، التقدم ، مترجم الشفرات ، أعتقد أن وسائل الإعلام لم تولي اهتمامًا كافيًا لها وأبلغت عنها.
وترقية صغيرة بالأمس ، قم بتخصيص التعليمات الخاصة بك.
إنه يمثل أنه يبدأ من نموذج LLM إلى الوكلاء.
سيصف "من أنا وما هي خصائصي؟" ما هو نوع الدور الذي سيلعبه نموذجك الكبير وما هي خصائصه؟ يعتمد تكوين مثل هذه العلاقة على ما إذا كان النموذج وكيلًا (من وجهة النظر).
هذان المجالان ليسا كافيين للجميع للاهتمام والتقرير اليوم.
انتظر قرار بدء عمل تجاري أخيرًا حتى تصبح المنطقة الحرام "مناسبة لشياوتشوان"
** تشانغ بينغ: **
السؤال الأخير ، لقد ذكرت للتو أنك "دفعت" إلى هذا الوضع الريادي. أعلم أيضًا أنك كنت متعصبًا للذكاء الاصطناعي منذ زمن AlphaGo.
في النهاية ، قررت أن تصبح رائد أعمال في مجال الذكاء الاصطناعي العام والنماذج واسعة النطاق ، سواء أكان ذلك لاو وانغ (هويوين) أو الموجة في الصين ، كيف أثروا على اتخاذك للقرار؟ بعد المرور بهذه العملية ، ما نوع التغييرات التي حدثت في قلبك؟
** وانغ شياوتشوان: **
إن الرحلة الذهنية طويلة جدًا في الواقع.
في زمن سوجو ، إلى المرحلة اللاحقة. أولاً ، فاتنا محرك التوصية وأقمنا تحالفًا استراتيجيًا مع Tencent ، وفي هذه الحالة ، بدون اختراقات تكنولوجية جديدة ، يكون التطوير محدودًا للغاية. عندما تم دمج Sogou مع Tencent ، كنت أتحدى شيئًا أكثر إثارة للاهتمام ، وهو تحويل الحياة إلى نموذج رياضي. كما قلنا ، كان نيوتن يحول الفيزياء إلى نموذج رياضي.
على منصة Geek Park من قبل ، كنت أتحدث عن التعلم من الحياة.
ما هي الحياة هذا شيء كنت أفكر فيه منذ 20 عامًا.
كيف تحول الحياة إلى نموذج رياضي؟ هذا ما يهمني. حتى في دراسة الطب الصيني ، وجدت كيفية تحويل الحياة إلى نموذج رياضي (لاحقًا) أن هذا الطريق قد لا يكون سلسًا.
أنا مهتم بشكل خاص بكيفية تحقيق اختراقات جديدة في الطب ضمن النموذج العلمي. قرأت أوراقًا طبية أكثر بكثير مما قرأت أوراق الكمبيوتر ، قرأت آلاف الأوراق الطبية.
ماذا حدث في 21 سنة؟ خلال 21 عامًا ، بدأ النموذج الكبير يحظى ببعض الفرص. في ذلك الوقت ، صنعنا نموذجًا بعشرات المليارات لحل مشكلة تغيير البحث إلى سؤال وجواب.
في الواقع ، قبل القيام بأسلوب الإدخال ، كنت منخرطًا بالفعل في "التنبؤ بما تريد الكلمة التالية قوله" ، ثم كيفية إعادة كتابته ، وتحول البحث إلى سؤال وجواب. في الواقع ، تم لمس الباب ، لكن لم يكن هناك اختراق في التكنولوجيا في ذلك الوقت.
أنت تعلم أنني مهتم جدًا بتحويل الحياة إلى نموذج رياضي ، لذلك بعد وصول النموذج الكبير ، كان أول ما فكرت به هو عدم إنشاء نموذج كبير.أود أن أسأل ، هل من الممكن بناء Health ChatGPT في مجال الحياة اليوم؟ GPT صحية ، طبيب رقمي؟
** تشانغ بينغ: **
أنت تفكر من منظور تطبيقي لحل المشكلات.
** وانغ شياوتشوان: **
نعم ، أفكر في ذلك. ثم فكرت ، إذا قمت بعمل نموذج رأسي اليوم ، فقد يتم قتله بواسطة النموذج الكبير. المخابرات العامة تقتل المخابرات المتخصصة ، أليس كذلك؟
لكن في هذه الحالة ، وجدنا أنه لا يكفي عمل نوع واحد فقط من HealthGPT ، أو مجرد طبيب رقمي.
في النهاية ، لا يزال من الضروري عمل نموذج كبير.
(قرار صنع نموذج واسع النطاق في المرحلة التالية) جاء من هذه الدائرة ، ليس لأنني اعتقدت أنني تراكمت من قبل.
ولكن عندما نصنع نموذجًا كبيرًا ، نجد أن (التراكم السابق) وثيق الصلة تمامًا ، مثل المعالجة المتعلقة باللغة.
حتى إلى أقصى الحدود ، يعد ChatGPT ثالث تطبيق يجعل نموذج اللغة تطبيقًا فائقًا. أول اثنين ، بحث واحد وطريقة إدخال واحدة.
** تشانغ بينغ: **
أشعر أنك لم تفعل هذا أيضًا ، آسف على الاثنين اللذين فعلتهما من قبل.
** وانغ شياوتشوان: **
نعم ، لذلك وجدت أن التراكم السابق مفيد حقًا اليوم ، وهو ما لم أتوقعه من قبل.
لذلك أنا عاطفي جدًا ، والله لطيف جدًا معك وأعطاك فرصة. في نهاية البحث ، هناك فرصة أخرى لاستخدام التجربة السابقة للقيام بشيء لم يكن من الممكن القيام به من قبل.
الآن ، لم يقل أحد أن "Xiaochuan مناسب للبحث" ، لكن الجميع قال "Baichuan مناسب للنماذج الكبيرة". بالنسبة لي ، إنه شيء محظوظ جدًا.
** تشانغ بينغ: **
هذا هو السبب في أنك قررت القيام بذلك في المقام الأول.
بعد بضعة أشهر حتى الآن ، قد يجد الجميع صعوبة في ذلك ، فلم تصبح شركة أوبن أيه آي شركة مربحة للغاية بعد ، وقد شكك الكثير من الناس في وادي السيليكون في نموذج أعمالها. لذا فإن النموذج الكبير سيضغط على رواد الأعمال في هذا الجانب ، هل شعرت بهذا الضغط؟
** وانغ شياوتشوان: **
أنا مفرط.
لأنني كنت أعمل في ظل بايدو ، والآن هي أرض حرام.بالنسبة لي ، هذا بالضبط ما أريد أن أفعله ، بدلاً من القول إن هناك قائدًا أمامي ، ثم تتبع. بالنسبة لي ، هذا ما أحبه ، استكشاف جديد.
** تشانغ بينغ: **
شكر خاص لـ Xiaochuan لمشاركتك معنا اليوم ، وتهنئة على دخولك أخيرًا إلى أرضك الخالية. أتمنى أن أرى مشهدًا أكثر جمالًا هنا. التصفيق مكرس لشياوتشوان ، هيا!