Vào tháng 4, Wang Xiaochuan tuyên bố kết thúc và thành lập công ty người mẫu quy mô lớn "Baichuan Smart".
Vào tháng 6, Baichuan Intelligent đã phát hành một mô hình lớn mã nguồn mở 7 tỷ tham số, Baichuan-7B.
Vào tháng 7, Baichuan Intelligent đã phát hành một mô hình lớn mã nguồn mở 13 tỷ tham số, Baichuan-13B.
Cả hai mô hình đã hoạt động tốt trong các đánh giá khác nhau và cũng đã được công nhận bởi một số lượng lớn người dùng trong và ngoài nước.
"Mã nguồn mở rất đơn giản, ai cũng có thể tùy ý sử dụng, đây không phải là ngươi tự khoe khoang."
Anh ấy di chuyển nhanh, nhanh hơn hầu hết mọi người nghĩ. Ngay chính anh cũng phải ngạc nhiên: bắt tay vào làm thì tiến độ sẽ nhanh hơn nhiều so với dự kiến.
Tại hội nghị AGI Playground, Wang Xiaochuan tiết lộ rằng khả năng mô hình mã nguồn mở của BCI chắc chắn sẽ vượt qua Llama 2. Theo kế hoạch, Baichuan Intelligent sẽ phát hành hàng chục tỷ và hàng trăm tỷ mô hình lớn nguồn đóng trong tương lai.
Vài tháng trước, Wang Xiaochuan muốn "trở thành OpenAI của Trung Quốc" trên tiêu đề của nhiều phương tiện truyền thông.
Đây là một khẩu hiệu mà công chúng thích nghe, nhưng nó có thể không phải là một mô tả chính xác.
Vương Tiểu Xuyên rốt cuộc muốn làm cái gì? Anh ấy định làm gì? Sau ba tháng thực hành và đạt được những kết quả ban đầu, ông hiểu thế nào về khởi nghiệp trong thời đại mô hình quy mô lớn?
Nội dung sau đây là từ cuộc phỏng vấn giữa Zhang Peng, người sáng lập & chủ tịch của Geek Park, và Wang Xiaochuan, người sáng lập & Giám đốc điều hành của Baichuan Smart, tại hội nghị AGI Playground, do Founder Park biên tập.
Mã nguồn mở, điều mà OpenAI chưa làm được
Trương Bằng:
Điều bạn có thể quan tâm nhất là bạn đã tiến rất nhanh sau khi bắt đầu kinh doanh và cho ra mắt hai mẫu: một mẫu 7B và một mẫu 13B, và phản hồi rất tốt.
Mọi người đều rất tò mò, vì lúc đầu họ nghĩ rằng bạn sẽ là một OpenAI của Trung Quốc, nhưng thấy rằng bạn đã tạo ra những thứ nguồn mở, nguồn mở là một giai đoạn công nghệ hay chính nó là một mô hình mới cho suy nghĩ của bạn trong tương lai?
Vương Tiểu Xuyên:
Nguồn mở, chúng tôi nghĩ rằng đó là một giai đoạn kỹ thuật, trên thực tế, là OpenAI của Trung Quốc không có nghĩa là sao chép toàn bộ con đường của nó. Khi giao tiếp với OpenAI ở Thung lũng Silicon, họ đã đi rất xa về mặt lý tưởng, chẳng hạn như khi họ làm GPT-4 bây giờ, họ cần hơn 20.000 thẻ để thực hiện các phép tính và họ chưa từng thấy quy mô lớn như vậy ở Trung Quốc.
Họ tự hào nói rằng họ đang thiết kế một mô hình điện toán kết nối 10 triệu GPU lại với nhau.
Khái niệm thẻ 10 triệu là gì? Sản lượng hàng năm của Nvidia là 1 triệu. 10 triệu bản là kế hoạch có thể lên mặt trăng (moonshot).
Ngoài ra, về cách làm ứng dụng, sản phẩm, thậm chí là một số công nghệ rộng hơn, đây có thể là một thiếu sót của OpenAI, hoặc cũng có thể là điều mà họ không đặc biệt quan tâm hiện nay.
Vì vậy, làm OpenAI ở Trung Quốc sẽ rất khác so với môi trường sinh thái ở Hoa Kỳ.
Sau khi mã nguồn mở Llama 2 được phát hành gần đây, nó đã gây ra một làn sóng điên cuồng ở Trung Quốc, mọi người đều cảm thấy rằng nó sẽ thay đổi cục diện một lần nữa, đó là điều mà OpenAI đã không làm được. Thật đáng tiếc khi điều này không phải do Google thực hiện mà do Facebook (Meta) thực hiện và Google tiếp tục vắng bóng. Nhưng ở Trung Quốc, chúng tôi đã thấy trước vấn đề này và chúng tôi tin rằng nguồn mở và nguồn đóng sẽ có trạng thái song song trong tương lai.
Trương Bằng:
Nguồn mở và nguồn đóng sẽ ở trạng thái song song.
Vương Tiểu Xuyên:
Tính song song hơi giống hệ thống Apple và hệ thống Android hiện tại. Ngay cả khi nhiều công ty muốn tham gia, việc sử dụng các lệnh gọi API nguồn đóng là không đủ, mô hình nguồn mở này cũng cần cung cấp 80% dịch vụ và cuối cùng dựa vào các dịch vụ nguồn đóng để cung cấp dịch vụ cho mọi người và 20% còn lại sẽ có rất nhiều nhu cầu về nguồn mở. Hoa Kỳ không có nó trước đây và Trung Quốc không có một mô hình tương tự. Do đó, một khi Llama được công bố, nó sẽ là một cú sốc lớn đối với Hoa Kỳ, nhưng cũng có một sự bùng nổ ở Trung Quốc. Trên thực tế, các đánh giá kỹ thuật nghiêm túc bao gồm một số đánh giá chính thống như SuperClue, cũng như so sánh giữa một số nhà sản xuất và công ty lớn.Nếu Llama được so sánh với Baichuan, rõ ràng chất lượng của chúng tôi trong lĩnh vực Trung Quốc vượt trội hơn nhiều so với Llama.
Trong lĩnh vực mô hình nguồn mở ở Trung Quốc, giống như ngành công nghiệp điện thoại di động của chúng tôi, Hoa Kỳ lúc đầu được sử dụng, và sau đó tự mình bắt kịp.
Trương Bằng:
Bạn có nghĩ Llama 2 đang rất hot gần đây, Baichuan sẽ làm tốt hơn họ?
Vương Tiểu Xuyên:
Llama là Llama 1 và 2.
Trước hết, chúng tôi đã phát hành mô hình tham số 7B đầu tiên vào tháng 6 năm nay và phát hành mô hình tham số 13B vào tháng 7. Trong số các chỉ số bằng tiếng Anh, chỉ số quan trọng nhất là MMLU (Hiểu ngôn ngữ đa nhiệm lớn), chỉ số quan trọng này, hai mô hình của chúng tôi tốt hơn Llama (1) và vượt trội đáng kể bằng tiếng Trung.
Chúng tôi biết rằng quá trình xử lý tiếng Trung của Llama thực sự không đủ. So với Llama (1), tiếng Anh của Baichuan có thể phù hợp một phần với điểm chuẩn, và các chỉ số chính đều vượt quá, và tiếng Trung rõ ràng là tốt hơn. Nhiều người đang chuyển đổi Llama sang tiếng Trung, nhưng nó vẫn không dễ sử dụng như Baichuan địa phương.
Sau khi phát hành Llama 2, chúng tôi cũng có thể xem báo cáo kỹ thuật, trong đó có khoảng 9 điểm cải tiến kỹ thuật, 6 trong số đó đã đạt được trong mô hình mà chúng tôi đang phát triển.
So với các mô hình trong nước thì tư duy của chúng tôi ở đây là gần nhất hiện nay, có 6 điểm chúng tôi đã làm rồi, còn 2 điểm chúng tôi không ngờ tới, còn 1 điểm chúng tôi chưa hợp lệ, nên khi so sánh với Llama2, chúng tôi không đơn thuần ăn cắp tư duy kỹ thuật mà chúng tôi có tư duy riêng. Chúng tôi nghĩ rằng sẽ có những cơ hội của chúng tôi trong tương lai trên con đường này.
Hôm nay tôi cũng kêu gọi mọi người ở Trung Quốc đừng chỉ nghĩ rằng nước ngoài là tốt khi họ đang sử dụng nó. OpenAI thực sự bây giờ còn xa hơn nữa. Sẽ mất thời gian để đạt được GPT-3.5 hoặc một mức tương tự vào cuối năm nay, nhưng chúng tôi đã rất gần với mô hình nguồn mở.
Trương Bằng:
Vậy mô hình nguồn mở tiếp theo của bạn, bạn có nghĩ nó sẽ tốt hơn Llama 2 không?
Vương Tiểu Xuyên:
Ít nhất là bằng tiếng Trung Quốc. Trong lĩnh vực tiếng Trung Quốc, nó hiện đã bị vượt qua. Bước tiếp theo là tạo tiếng nói của Trung Quốc trong lĩnh vực nguồn mở của thị trường toàn cầu.
Trương Bằng:
Cả tiếng Anh và tiếng Trung phải tốt hơn Llama2, điều này có thể nhìn thấy và có thể đạt được đối với bạn.
Vương Tiểu Xuyên:
Tôi nghĩ rằng có khả năng nó sẽ xảy ra trong tương lai gần.
Trương Bằng:
Vì vậy, quan điểm của bạn là: ngày nay chúng ta không thể đơn giản nói rằng mô hình lớn trong tương lai của chúng ta là hướng tới OpenAI—một mô hình tập trung nguồn đóng. Nguồn mở thực sự có những khả năng tuyệt vời. Vì vậy, điều đó có nghĩa là một mặt, nó là để thực hành công nghệ và thể hiện khả năng kỹ thuật, nhưng nó thực sự có thể chứa đựng các mô hình và giá trị kinh doanh.
Đồng thời, trên cơ sở mã nguồn mở, việc Trung Quốc tạo ra mô hình Trung Quốc tốt nhất trên thế giới vẫn là điều mà mọi người có thể mong đợi.
Vương Tiểu Xuyên:
Điều đó tổng hợp nó khá chính xác.
Trải nghiệm tìm kiếm là quán tính xấu hay tài sản tốt?
Trương Bằng:
Trước đây, nhiều nhà đầu tư cho rằng sử dụng kinh nghiệm tìm kiếm để xây dựng mô hình quy mô lớn chắc chắn sẽ không thành công. Sau những tháng thực hành này, bạn đã xác minh được phán đoán ban đầu của mình khác với họ chưa? Làm thế nào để tích lũy và khả năng tìm kiếm đóng góp cho các mô hình lớn hơn?
Vương Tiểu Xuyên:
Vì thành tựu (AI) ngày nay là do OpenAI đạt được, còn Google thì không, suy nghĩ đầu tiên của các nhà đầu tư là công nghệ mới này chỉ là đối lập với tìm kiếm. Rất khó để họ phân biệt được lý do là công nghệ hay quản lý tổ chức.
Lý do của loại giọng nói này là một người không hiểu mối quan hệ giữa công nghệ tìm kiếm và AI, thứ hai là nhận thức về nền tảng tìm kiếm sẽ mang lại những tác động tiêu cực.
Bởi vì các công ty tìm kiếm chủ yếu là Baidu và Google, họ không cần tài trợ từ bên ngoài và họ không nói cho các nhà đầu tư biết tìm kiếm là gì. Đặc biệt, làn sóng bùng nổ AI cuối cùng chủ yếu do hình ảnh mang lại và mọi người đều không quen thuộc với các hàm ý kỹ thuật như NLP trong tìm kiếm.
Về kết quả, chúng tôi đã phát hành mô hình đầu tiên vào tháng Sáu. Một đối thủ cạnh tranh đã nói với các nhà đầu tư sớm nhất rằng Baichuan sẽ mất nửa năm để sản xuất mô hình đầu tiên, trên thực tế, chúng tôi chỉ mất 1/3 thời gian để hoàn thành nó và sau đó phát hành mô hình thứ hai. Và sắp tới chúng tôi sẽ cho ra đời mô hình mã nguồn đóng.
Baichuan đã tự phát triển kể từ ngày đầu tiên, và khởi đầu lạnh lùng diễn ra rất, rất nhanh. lý do đằng sau này là gì?
Ngày nay chúng ta biết rằng dữ liệu chất lượng cao là nền tảng của các mô hình lớn, vậy công ty nào có hiểu biết rộng về dữ liệu ngôn ngữ? Trên thực tế, các công ty tìm kiếm đã làm việc trong 20 năm, suy nghĩ về cách tìm kiếm dữ liệu chất lượng cao như vậy mỗi ngày. Ví dụ: trước tiên hãy tìm 100 trang web chất lượng cao từ 1 nghìn tỷ trang web, sau đó thực hiện phân tích trang, bao gồm trích xuất thông tin, chống trùng lặp, chống thư rác và thậm chí trích xuất nội dung theo cấp độ đoạn văn.
Sogou, Baidu và Google đã làm công việc này trong một thời gian dài.
Điểm thứ hai là về nguồn nhân tài, cần phải có cả khả năng thuật toán và khả năng kỹ thuật tập trung vào khả năng tìm kiếm, những người như vậy về cơ bản cũng đang tìm kiếm các công ty. Hiện ByteDance đang sử dụng nhóm tìm kiếm để tạo mô hình và tiến độ của Baidu cũng rất nhanh, bao gồm cả mô hình mà Shen Xiangyang đang tạo, mô hình này cũng do VP của Bing trước đây làm.
Một điều khác để tạo ra một mô hình lớn là đánh giá. Đánh giá một mô hình lớn có tốt hay không thực sự là một vấn đề nhức nhối, bao gồm cả vấn đề suy luận, hỏi đáp chính xác, sáng tạo... Có cái hay hơn, có cái dở đi, đánh giá thế nào? Do đó, hệ thống đánh giá này cũng là một khả năng mà các công ty tìm kiếm đã tích lũy trong một thời gian dài, sử dụng đánh giá để thúc đẩy việc lặp lại các thuật toán tiếp theo.
Ngoài ra, hiệu quả tổ chức của các công ty startup cao hơn nhiều so với các nhà máy lớn, với hệ thống ra quyết định rất linh hoạt, mọi hiệu quả sẽ được phát huy tối đa.
Trương Bằng:
Vì vậy, bạn đã nói chuyện với nhà đầu tư nghĩ rằng tìm kiếm không đủ tốt cho các mô hình lớn?
Vương Tiểu Xuyên:
Tên được đánh dấu chéo và bị xóa, và tôi không biết đó là ai. Những nhà đầu tư chỉ nhìn vào kinh doanh chứ không nhìn vào công nghệ, và những người đặc biệt thích tiểu thịt tươi từ Mỹ trở về để khởi nghiệp, những nhà đầu tư này chỉ vẽ ra chứ không nói đến.
Old Wang nói đúng, "Cải tiến nhỏ phụ thuộc vào các nhà máy lớn và cải tiến lớn phụ thuộc vào các nhà máy nhỏ"
Trương Bằng:
Bạn có nghĩ rằng các doanh nhân sẽ có đủ cơ hội trong làn sóng thay đổi công nghệ này trong tương lai? Hay cơ thể chính vẫn do người khổng lồ điều khiển? Làm thế nào các doanh nhân có thể nắm bắt cơ hội của riêng mình?
Vương Tiểu Xuyên:
Mặc dù Wang Huiwen không biết nhiều về công nghệ, nhưng tôi nghĩ anh ấy đã nói một điều rất đúng: đổi mới nhỏ phụ thuộc vào các nhà máy nhỏ và đổi mới lớn phụ thuộc vào các nhà máy lớn.
Mặc dù một nhà máy lớn có nhiều lợi thế về con người, tiền bạc và tài nguyên, nhưng sẽ có nhiều vấn đề nội bộ sau khi tổ chức phát triển và hiệu quả của tổ chức bị hạn chế nghiêm trọng.
Nếu chúng ta tin chắc rằng sự xuất hiện của AGI, thì sẽ có một sự bùng nổ lớn của các loài mới. Những điều này có cơ hội rất lớn cho các công ty khởi nghiệp làm việc. Điều này có thể được chứng minh từ suy luận lịch sử, vì vậy miễn là có AGI, sẽ có những cơ hội mới trong tương lai.
Đâu là khó khăn ở giữa?
OpenAI là một công ty định hướng nghiên cứu triển khai các sản phẩm trong thế giới thực. Bạn làm theo nó, và lĩnh vực nghiên cứu có thể có những thành tựu rất chói lọi. Nhưng làm thế nào để áp dụng ngày nay, cả OpenAI lẫn các công ty định hướng công nghệ ở Thung lũng Silicon đều không giỏi việc này. Tôi tự tin rằng Trung Quốc tốt hơn nhiều so với Hoa Kỳ về việc triển khai ứng dụng.
Cả thế giới đã đạt đến một bước ngoặt, và bây giờ khi công nghệ đã sẵn sàng, đây là khó khăn đầu tiên. Ứng dụng và yêu cầu là khó khăn thứ hai, được gọi là dịch vụ mô hình (model service). Vì vậy, thách thức bây giờ là, số một, bạn có mô hình không? Thứ hai, có một mô hình có nghĩa là có một dịch vụ?
Trương Bằng:
Việc bán API có phải là một dịch vụ không?
Vương Tiểu Xuyên:
Tôi không nghĩ vậy.
Giống như bạn có công nghệ không người lái, nhưng bạn có thực sự chế tạo được ô tô không? Rõ ràng là không. Nó cũng đòi hỏi sự kết hợp của nhiều công nghệ.
Bây giờ Hoa Kỳ tương đối bối rối về lớp ứng dụng và vấn đề hiện tại của Trung Quốc là thiếu khả năng mô hình. Ngày nay, nhiều công ty mới thành lập làm mô hình cũng chỉ giới hạn góc nhìn của họ đối với các mô hình lớn và không biết nhiều về các công nghệ khác.
Tôi xin đưa ra một ví dụ đơn giản nhất, khi làm mô hình chắc chắn bạn sẽ gặp phải ảo giác và tính hợp thời. Cả ảo giác và tính hợp thời đều có thể được giải quyết bằng chính mô hình lớn. Một số người giải quyết ảo ảnh bằng cách mở rộng các tham số lên hàng nghìn tỷ và hàng chục nghìn tỷ; hoặc sử dụng phương pháp học tăng cường. Nhưng trên thực tế, cách trực tiếp nhất là đưa tính năng tìm kiếm và truy xuất thông tin vào đó. Sự kết hợp của các mô hình lớn và những mô hình này có thể tạo thành một ngăn xếp công nghệ hoàn chỉnh hơn.
Sau khi công nghệ này được đề xuất, nó đã có một chút dấu hiệu. Ví dụ, có một thứ gọi là cơ sở dữ liệu véc-tơ, đây thực sự là một tìm kiếm linh hoạt và chủ yếu được sử dụng trong toB.
Về mặt tìm kiếm, sau khi công nghệ Transformer được giới thiệu vào năm 2018, nó đã có khả năng tìm kiếm theo ngữ nghĩa. Bạn có thể đã nghe nói về inverted index, tức là lập chỉ mục cho mạng tượng trưng này.
Sau năm 2018, cho dù đó là chúng tôi, Baidu hay vectơ byte đã chuyển sang tìm kiếm ngữ nghĩa, đằng sau công nghệ này là ba cơ sở dữ liệu vectơ khổng lồ. Sự kết hợp của các ngăn xếp công nghệ này và mô hình lớn có thể làm cho mô hình lớn phát triển hơn nữa. Như bạn có thể thấy, kinh nghiệm của nhóm tìm kiếm có lợi thế cho việc tạo mô hình.
Khía cạnh thứ hai là công nghệ mô hình quy mô lớn đang dần trở nên thiết thực. Sau đó, trong cái gọi là điện toán tri thức, cơ sở dữ liệu vectơ và tìm kiếm cần được thêm vào để tạo thành các công nghệ và sản phẩm hoàn chỉnh hơn. Về vấn đề này, mọi người đang dần hình thành một sự đồng thuận.
Nói về lượng truy cập của ChatGPT ngày hôm nay, mọi người bắt đầu lo lắng liệu nó có thể tiếp tục bùng nổ hay không.
Vì vậy, chúng ta vẫn cần thăm dò thêm.
Chúng tôi tin rằng trong ngành công nghiệp giải trí, nhập vai có nhiều triển vọng, nhưng vấn đề này đòi hỏi sự gia nhập của các công ty Trung Quốc phải làm tốt hơn.
Một điều nữa là làm thế nào để kết hợp các mô hình lớn và tìm kiếm, AI bối rối hiện đang hoạt động rất tốt, nhưng chúng ta đang ở thế bị động, nếu Hoa Kỳ có cơ hội, các nhà đầu tư sẽ tìm kiếm các công ty so sánh của Trung Quốc.
Nếu công ty này, thứ nhất, không có mô hình lớn, nó chỉ đang gọi API, thứ hai, nó không có công nghệ tìm kiếm và chỉ có thể dựa vào công nghệ của các công ty như Google và Bing, điều này không lý tưởng.
Trương Bằng:
Vừa rồi bạn nói rằng số lượng người dùng như ChatGPT đang giảm dần, điều này khiến mọi người cảm thấy rằng mô hình mới có thể không thể đột phá cùng một lúc. Đây có phải là một thách thức lớn cho các doanh nhân làm ứng dụng?
Vì theo như anh vừa nói, trong môi trường công nghệ còn non nớt thì chi phí cho sự tìm tòi khởi nghiệp rất cao. Và nếu doanh nhân chỉ sử dụng API của người khác như một sự thay đổi trong mô hình ứng dụng, thì điều đó không đặc biệt bắt mắt.
Vương Tiểu Xuyên:
Hai ngày trước, OpenAI vừa nâng cấp trình thông dịch mã, sau đó nâng cấp hướng dẫn tùy chỉnh. Đối với các công ty mới thành lập, đã có áp lực rất lớn.
Các nhà đầu tư Mỹ cũng lo lắng về việc liệu các công ty mới thành lập có còn cơ hội vượt qua những người khổng lồ trong bối cảnh lo lắng hay không và liệu họ có bị thay thế bởi các công ty lớn sau một nửa công việc hay không.
Ở Trung Quốc, tôi không nghĩ có một công ty hàng đầu như OpenAI đi theo con đường của các mô hình quy mô lớn. Nó vẫn đang trong giai đoạn "Trăm kiểu chiến". Ngày nay, liệu các công ty sản xuất mô hình quy mô lớn có khả năng tạo ứng dụng hay không là vấn đề mà Trung Quốc phải theo dõi rất nhiều so với Hoa Kỳ.
Bắt kịp với GPT-4? Thật nguy hiểm khi theo đuổi mô hình cải tiến liên thế hệ một cách mù quáng
Trương Bằng:
Điều này cũng đặt ra câu hỏi liệu ai ở Trung Quốc sẽ bắt kịp GPT-3.5, hay thậm chí là GPT-4
Cũng có ý kiến khác nói rằng GPT-3 đủ để các doanh nghiệp giải quyết một số vấn đề về cảnh dọc.
Tôi cảm thấy rằng Xiaochuan và bạn vẫn cam kết theo đuổi GPT-3.5 và GPT-4. Quá trình rượt đuổi này có khó khăn không? Tại sao bạn nói rằng bạn phải bắt kịp cấp độ của GPT-4?
Vương Tiểu Xuyên:
Tôi nghĩ đó là hai điều.
Đầu tiên là sự tiến bộ giữa các thế hệ của công nghệ, có thể có tác động mạnh mẽ đến hệ sinh thái của các sản phẩm tiếp theo. Bất kể từ quan điểm lý tưởng nào, hãy tưởng tượng một tương lai xa tầm với, như ba, bốn, năm thế hệ máy bay chiến đấu, trong đó mỗi thế hệ có thể đóng một vai trò quan trọng. Vì vậy, tại thời điểm này, mọi người nên cố gắng tìm kiếm lợi thế trong một lĩnh vực cạnh tranh cao.
Tuy nhiên, trong quá trình cạnh tranh để giành lợi thế, mọi người có thể gặp phải sự bối rối mới: Ở thế hệ nào chúng ta mới thực sự có thể nhận ra các siêu ứng dụng? GPT-3.5 vẫn chưa hình thành siêu ứng dụng ở Hoa Kỳ và để đào tạo một lần mất khoảng 50 triệu nhân dân tệ, chưa bao gồm chi phí chuẩn bị và thử nghiệm sơ bộ. Đào tạo GPT-4 có thể tốn 500 triệu RMB một lần. Đến thế hệ GPT-4.5, chi phí có thể lên tới 500 triệu USD.
Do đó, nếu không có siêu ứng dụng, sẽ rất nguy hiểm nếu chỉ theo đuổi cải tiến công nghệ. Do đó, chúng ta cần phải đồng thời theo đuổi việc cải thiện năng lực kỹ thuật thế hệ thứ tư và thế hệ thứ năm trong lĩnh vực này, đồng thời có những ứng dụng siêu việt. Nếu không, chúng ta có thể bất ngờ đối mặt với áp lực phải nâng cấp trên cả hai mặt trận, cả hai đều cần được nâng cấp đồng thời để thành công.
Trương Bằng:
Do đó, mọi loại sóng công nghệ đều có thể tạo ra các ứng dụng có giá trị.
Vương Tiểu Xuyên:
Những gì bạn vừa nói là hoàn toàn đúng.
GPT-3 về cơ bản đã có ở mặt B, nhưng tôi nghĩ lý do không có mặt ở mặt C là do thời gian quá ngắn.
Ngoài ra, mọi người tập trung quá nhiều vào OpenAI, nó không phải là một công ty sản phẩm, cũng không phải là một công ty có thể tạo ra những siêu ứng dụng.
Để làm được siêu ứng dụng không chỉ đòi hỏi phải nắm bắt về kỹ thuật mà còn phải đủ hiểu biết về sản phẩm. Tôi nghĩ cuối năm là lúc sự thật sẽ được đưa ra ánh sáng.
"Xiaochuan phù hợp để làm mô hình lớn" "Sau 20 năm tìm kiếm, không ai nói rằng tôi phù hợp để làm tìm kiếm"
Trương Bằng:
Mọi người có thể đánh giá quá cao OpenAI không? Nói cách khác, chúng tôi cho rằng OpenAI khó bị vượt qua vì nó có bánh đà dữ liệu. Bạn hiểu điều này như thế nào? Bánh đà dữ liệu có thực sự tồn tại?
Vương Tiểu Xuyên:
Vào đầu năm nay, tôi đã nói về bánh đà dữ liệu, và lúc đó tôi đã rất hoảng sợ. Yêu cầu của người dùng được trao cho nó, nó biết người dùng muốn gì và sau đó nó có thể nâng cấp mô hình tốt hơn.
Cho đến nay, vấn đề này không nghiêm trọng.
Ví dụ, sau khi Llama 2 ra mắt, mọi người đều thấy rằng ở giai đoạn tinh chỉnh, dữ liệu nên tinh chỉnh ít đi chứ không nên tinh chỉnh nhiều hơn, giờ đây mọi người đã dần hình thành một sự đồng thuận rằng bí mật của công nghệ không nằm ở bánh đà mà là sự tích lũy công nghệ theo thời gian.
Sức mạnh kỹ thuật của Anthropic, một công ty giống như của Claude, cũng tăng lên nhanh chóng và OpenAI có nhiều người dùng hơn nó, điều này cũng chứng tỏ rằng khái niệm bánh đà dữ liệu đã bị làm sai lệch.
Trương Bằng:
Hoặc có thể những dữ liệu thực sự quý giá trong nó được phản ánh qua kỹ năng nói chuyện với mọi người, tôi nhớ lúc đầu cách nói chuyện của nó khá là “đơ”, nhưng bây giờ nó có cảm giác con người hơn.
Vương Tiểu Xuyên:
Điều này cảm thấy không nhiều, và nhiều hơn nữa nằm ở bộ dữ liệu của nó, bất kể ở giai đoạn tiền đào tạo hay giai đoạn tinh chỉnh, làm thế nào để có được dữ liệu chất lượng cao? Làm thế nào để phù hợp và vân vân, đây là khả năng cốt lõi của nó. Đặc biệt, tôi nghe họ trò chuyện rằng một mặt, GPT-4 đang đào tạo GPT-3.5 để làm cho 3.5 hoạt động hiệu quả hơn, đồng thời, GPT-4 được sử dụng để tạo ra một phần dữ liệu theo yêu cầu của GPT-5 và đang tối ưu hóa quy trình lặp lại. Sự lặp đi lặp lại của nó trong nội bộ là để làm cho các dịch vụ trực tuyến trở nên tốt hơn, đồng thời tạo ra một số dữ liệu trong tương lai Tôi nghĩ đây là một bánh đà nội bộ.
Trương Bằng:
Vì vậy, nếu bạn nhìn nó từ quan điểm của Llama, nó cũng có thể cung cấp một mô hình không ngừng nâng cao trình độ kỹ thuật thông qua mã nguồn mở. Nhưng từ quan điểm của OpenAI, có thể có đủ người dùng và dữ liệu ở một giai đoạn nhất định.
Vương Tiểu Xuyên:
Trên thực tế, mã nguồn mở, mã nguồn đóng và ứng dụng, ngày nay mọi người vẫn đang làm, và nó vẫn đang trong giai đoạn mở rộng giống như miền Tây Hoa Kỳ.
Trương Bằng:
Vì vậy, ngày nay, đối với một công ty mới thành lập như Baichuan, không dễ để nói rằng tôi chỉ hợp tác với một hướng nhất định, cho dù tôi muốn giữ chiến lược mơ hồ hay gọi nó là giàu khả năng, tôi có thể đặt cược vào những khía cạnh này.
Vương Tiểu Xuyên:
Phải. Lần khởi nghiệp của tôi khá thú vị, nhiều người nói Tiểu Xuyên đặc biệt thích hợp làm mô hình quy mô lớn, tôi làm tìm kiếm đã 20 năm rồi, chưa từng có ai nói Tiểu Xuyên đặc biệt thích hợp làm tìm kiếm.
Tìm kiếm ở Trung Quốc chậm hơn Baidu 3 năm, kiểu này rất khó bắt kịp. Hôm nay tích lũy cùng kinh nghiệm đều xem qua, phía trước không có người. Thật khó nghĩ, và đã muộn vài năm, nhưng ngày nay đối với tôi, dường như cơ hội ở đâu cũng có. Vì vậy, chỉ cần có đủ năng lực, chúng ta có thể phỏng vấn ở đây khắp nơi, xem có thể thay đổi ấn tượng ban đầu của bạn về Sogou ngày hôm nay hay không.
Đừng tôn thờ mù quáng, Trung Quốc và Hoa Kỳ sẽ có những câu chuyện AI khác nhau
Trương Bằng:
Tôi khá cảm động trước những gì Ogawa đã nói. Bạn cuối cùng đang đứng trong một vùng đất không có người đàn ông.
Về mô hình lớn, có thể nhiều người cảm thấy cần học hỏi và bắt kịp OpenAI. Nhưng khi bạn thực sự làm điều này, bạn sẽ thực sự tìm thấy khoảng cách và con đường.
Vương Tiểu Xuyên:
Vâng, đừng sùng bái như vậy.
Tôi nhớ rằng sau AlphaGo năm 2016, tôi đã đề cập đến hai điểm vào thời điểm đó. Thứ nhất, nếu (AI) có thể dự đoán khung hình tiếp theo của video, thì đó là sự xuất hiện của AGI.
Nhưng chư vị nói xong là xong, chư vị không có năng lực làm, chư vị không có động cơ, không có năng lực, không có điều kiện. Sau đó, người ta nói rằng nếu máy móc làm chủ ngôn ngữ, thì trí tuệ nhân tạo mạnh mẽ cũng sẽ đến. Bây giờ quá trình xác minh đã thực sự bắt đầu.
Vì vậy, tôi nghĩ rằng bản thân chúng tôi có rất nhiều ý tưởng và chúng tôi không bị tụt hậu. Chỉ là thời cơ và điều kiện chưa chín muồi mà thôi. Giống như, học trưởng nói chuyện này có thể giải quyết, học trưởng ngươi không phải cố ý chép bài cho ngươi chứ?
Những người khác nói với bạn rằng nó có thể được giải quyết, hoặc thậm chí cho bạn một ý tưởng lớn, tôi nghĩ chúng ta có thể tự làm được và chúng ta không cần phải nhìn chằm chằm vào bài tập của người khác và sao chép nó.
Trương Bằng:
Vì vậy, niềm vui thực sự của bạn ở đây không phải là nhận ra và tái tạo những thứ khác, mà là khám phá một số thứ mà mọi người chưa nắm bắt được ở vùng đất không người này.
Vương Tiểu Xuyên:
Vâng, tôi nghĩ rằng lần này tôi có cơ hội lãnh đạo trong một số lĩnh vực.
Trương Bằng:
Có một khả năng như vậy, vì vậy Trung Quốc và Hoa Kỳ, Baichuan và OpenAI, có lẽ nó không phải là cùng một câu chuyện.
Vương Tiểu Xuyên:
Nó thực sự sẽ khác. Trung Quốc và Hoa Kỳ không phải là một hệ thống, một hệ thống hay một nền văn hóa, vì vậy những gì phát triển cuối cùng, cho dù đó là vấn đề kỹ thuật hay vấn đề ứng dụng, sẽ khác nhau.
Công việc chính: trò chuyện với đồng nghiệp, Baichuan Intelligence vừa vượt qua 100 người
Trương Bằng:
Bạn sắp xếp công việc thường ngày như thế nào? Làm thế nào để bạn phân bổ thời gian của bạn? Nhiều người nói năng lực tính toán quan trọng, tài năng quan trọng nhưng tôi nghĩ chỉ những ai thực sự khởi nghiệp mới biết điều gì là quan trọng nhất. Vì vậy, tôi chỉ muốn hỏi nơi nào bạn dành nhiều thời gian nhất?
Vương Tiểu Xuyên:
Những gì tôi dành phần lớn thời gian của mình bây giờ là trò chuyện với các đồng nghiệp của chúng tôi.
Trương Bằng:
trò chuyện?
Vương Tiểu Xuyên:
Đúng vậy, trong quá trình trò chuyện thực chất là một quá trình không ngừng hình thành đồng thuận, chính là thu thập nhận thức, dinh dưỡng và thông tin bên ngoài của mọi người để mọi người cùng hình thành một bộ não.
Bởi vì chúng tôi biết rằng Top-Down có thể đi chệch hướng. Ví dụ: tại sao Google không làm được? Khi trụ sở đầu tiên của Google được hoàn thành, nó đã có quán tính của nó. Không thể lấy được dữ liệu, chi phí sẽ tăng lên sau khi lên mạng và sẽ không có lợi ích cụ thể nào cho người dùng, vì vậy sẽ rất khó xử khi bắt đầu kinh doanh.
Trong trường hợp của Google Brain, đó là Button-Up. Các nhà nghiên cứu của nó rất tự do và có thể làm bất cứ điều gì họ muốn, hoặc liên kết lực lượng, rất nhiều người trong số họ đã thực sự nhìn thấy mô hình lớn, nhưng họ không thể tập trung làm việc đó, vì lực lượng bị phân tán. Sau đó, Deepmind là từ trên xuống, công ty yêu cầu làm gì và mọi người làm gì. Nó đã thực hiện AlphaGo, AlphaZero, AlphaFold, và bây giờ nó đang hướng tới năng lượng hydro, phản ứng tổng hợp hạt nhân và điện toán lượng tử, nhưng nó còn cách xa hầu hết chúng.
Trên thực tế, Top-Down và Button-Up ngày nay được gọi là "lên xuống cùng mong muốn", để mọi người hoàn toàn có thể điều chỉnh từ lý tưởng này đến công nghệ và nhận thức, và trở thành một thứ. Vì vậy, tôi nghĩ rằng giao tiếp hàng ngày với bạn nhiều hơn sẽ khiến bạn trở thành một bộ não, đó là công việc quan trọng nhất của tôi.
Trương Bằng:
Hừm, thật thú vị. Vì vậy, nếu một tập thể nhỏ phát huy hết sức lực thì mọi người có thể cùng chia sẻ niềm vui nỗi buồn, cùng những khát khao và khát khao.
Vương Tiểu Xuyên:
Điều này rất quan trọng, hôm nay chúng ta sẽ không nói về tổ chức và quản lý, mà chúng ta sẽ trở thành người một nhà. Baichuan hiện có 100 người và nó mới đạt 100 người vào ngày hôm qua.
Thay đổi niềm tin, tiến độ của Baichuan nhanh hơn dự kiến
Trương Bằng:
Trong vài tháng qua, bạn đã cống hiến hết mình cho mô hình quy mô lớn, sự nhiệt tình của bạn không thay đổi, nhưng sự tự tin của bạn có thay đổi không? Nó có khó hơn bạn mong đợi lúc đầu không? Vẫn phù hợp với mong đợi của bạn?
Vương Tiểu Xuyên:
Thành thật mà nói, từ tận đáy lòng, tôi nghĩ nó dễ hơn tôi tưởng.
Kỳ vọng là ban đầu bạn biết nhiều (khó khăn), nhiều năm tích lũy ở nước ngoài, sức mạnh tính toán, máy chủ... Nhưng khi bạn làm việc với các đồng nghiệp của mình, khi mọi người cùng sáng tạo, tiến độ và tốc độ thực tế của chúng tôi nhanh hơn mong đợi.
Hóa ra là chúng tôi dự kiến sẽ phát hành mẫu xe trị giá 50 tỷ vào quý 3 và sau đó phát hành mẫu xe trị giá 175 tỷ vào quý 4.
Nhưng trên thực tế, những điều này sẽ không thay đổi mà trong quá trình đó, tốc độ tiến triển của ứng dụng và tốc độ của các mô hình nguồn mở nhanh hơn nhiều so với dự kiến.
Và cũng nhanh hơn nữa, hôm nay chúng ta có thể bắt đầu nói, không chỉ là người giỏi nhất trong nước mà còn là nguồn mở trên trường quốc tế.
Mã nguồn mở rất đơn giản, mọi người đều có thể sử dụng nó cho mục đích sử dụng của mình, đây không phải là điều bạn khoe khoang. Sau khi khai mạc, chúng tôi tự tin rằng chúng tôi có thể có được một vị trí rất tốt trên trường quốc tế.
Trương Bằng:
Vì vậy trước khi nhảy xuống nước, tôi đã lo lắng không biết độ sâu, nhưng khi thực sự nhảy xuống, tôi mới thấy mình thực sự có thể giẫm lên xuống đáy, vì vậy tôi cảm thấy thanh thản hơn rất nhiều? Là nó thực sự là đơn giản?
Vương Tiểu Xuyên:
Chia rẽ mọi người.
Tôi là một người tương đối thận trọng, tôi vẫn đang theo dõi, và sau đó Lianchuang của chúng tôi đã đá tôi vào và nói rằng hãy bắt đầu làm việc đó. Sau đó tôi nói không sao, tuyên bố kết thúc và bắt đầu làm việc. Nếu không, có thể còn muộn hơn nữa trước khi bạn cảm thấy sẵn sàng. Nhưng một khi bạn ra khỏi sân, bạn sẽ thấy rằng mình sẽ chạy nhanh hơn bạn tưởng.
Sau sự điên cuồng, những phát triển công nghệ gần đây đáng lo ngại
Trương Bằng:
Bạn có chú ý đến tiến bộ kỹ thuật của các mô hình lớn gần đây không? Những giấy tờ kích thích bạn?
Vương Tiểu Xuyên:
Thứ nhất, ngày nay việc chỉ đọc báo thực sự không quan trọng. Bạn không thể hoàn thành nó.
Những điều cơ bản là những điều đó. Và hôm nay OpenAI đã ngừng gửi các bài viết hay. Các bài báo được gửi đi đều là những bài báo có lượng thông tin ít ỏi, thu hoạch cũng có hạn.
Đồng thời, bởi vì mọi người đều đã từng rơi vào trạng thái (trạng thái) điên cuồng trước đó, nên chúng tôi gọi đó là "sống một ngày như một năm", và nó giống như một năm (tiến bộ công nghệ) mỗi ngày.
Trương Bằng:
Ngày có cảm giác như năm vì nó trôi nhanh.
Vương Tiểu Xuyên:
Vâng, không nhàm chán. Có rất nhiều điều mới mỗi ngày. Thần kinh của mọi người đều bị kích thích đến cao độ, có chút yếu ớt.
Phải nói rằng, gần đây đã có một số tiến bộ công nghệ mà tôi nghĩ là rất mạnh mẽ.
Một là, khoảng một tuần trước, OpenAI đã tung ra trình thông dịch mã, đây là một bước đột phá lớn, nhưng có vẻ như không có đợt truyền thông điên cuồng mới nào ở Trung Quốc.
Mọi người đều đã từng thích thú với sự điên cuồng trước đây, nhưng lần này, tiến độ, trình thông dịch mã, tôi nghĩ giới truyền thông đã không chú ý đầy đủ và đưa tin về nó.
Và một nâng cấp nhỏ ngày hôm qua, tùy chỉnh hướng dẫn của riêng bạn.
Nó thể hiện rằng nó bắt đầu từ mô hình LLM đến Đại lý.
Nó sẽ mô tả “Tôi là ai và đặc điểm của tôi là gì?” Mô hình lớn của bạn sẽ đóng vai trò gì và đặc điểm của nó là gì? Việc hình thành một mối quan hệ như vậy phụ thuộc vào việc mô hình có phải là Tác nhân hay không (theo quan điểm).
Hai lĩnh vực này không đủ để mọi người chú ý và báo cáo ngày hôm nay.
Quyết định khởi nghiệp cuối cùng cũng đợi đến khi đất trống "phù hợp với Tiểu Xuyên"
Trương Bằng:
Câu hỏi cuối cùng, bạn vừa đề cập rằng bạn đã bị "đá" vào tình huống khởi nghiệp này. Tôi cũng biết rằng bạn là một người cuồng AI kể từ thời AlphaGo.
Cuối cùng, bạn đã quyết định trở thành một doanh nhân trong lĩnh vực AGI và các mô hình quy mô lớn, cho dù đó là Lao Wang (Huiwen) hay làn sóng ở Trung Quốc, họ đã ảnh hưởng như thế nào đến việc ra quyết định của bạn? Sau khi trải qua một quá trình như vậy, loại thay đổi nào đã diễn ra trong lòng bạn?
Vương Tiểu Xuyên:
Hành trình tinh thần thực sự khá dài.
Vào thời Sogou, đến giai đoạn sau. Đầu tiên, chúng tôi đã bỏ lỡ công cụ đề xuất và liên minh chiến lược với Tencent, trong trường hợp này, nếu không có những đột phá về công nghệ mới thì sự phát triển rất hạn chế. Khi Sogou được sáp nhập với Tencent, tôi đang thử thách một điều thú vị hơn, đó là biến cuộc sống thành một mô hình toán học. Như chúng tôi đã nói, Newton đã biến vật lý thành một mô hình toán học.
Trên nền tảng của Geek Park trước đây, tôi đã nói về việc học hỏi từ cuộc sống.
Cuộc sống là gì Đây là điều mà tôi đã suy nghĩ suốt 20 năm.
Làm thế nào để biến cuộc sống thành một mô hình toán học? Đây là những gì tôi quan tâm. Ngay cả khi nghiên cứu về y học Trung Quốc, làm thế nào để biến cuộc sống thành một mô hình toán học, (sau này) đã phát hiện ra rằng con đường này có thể không bằng phẳng.
Tôi đặc biệt quan tâm đến việc làm thế nào để tạo ra những bước đột phá mới trong y học trong khuôn mẫu khoa học. Tôi đọc nhiều bài báo y khoa hơn là đọc báo máy tính, tôi đọc hàng ngàn bài báo y khoa.
Điều gì đã xảy ra trong 21 năm? Trong 21 năm, mô hình lớn đã bắt đầu có một số cơ hội. Khi đó chúng tôi làm mô hình hàng chục tỷ để giải bài toán chuyển từ tìm kiếm sang hỏi đáp.
Trên thực tế, trước khi thực hiện phương thức nhập liệu, tôi đã tham gia vào việc "dự đoán từ tiếp theo muốn nói gì", rồi viết lại từ đó như thế nào, việc tìm kiếm biến thành hỏi đáp. Trên thực tế, cửa đã được chạm vào, nhưng không có bước đột phá nào về công nghệ vào thời điểm đó.
Vì vậy, bạn biết rằng tôi rất quan tâm đến việc biến cuộc sống thành một mô hình toán học, vì vậy sau khi mô hình lớn xuất hiện, suy nghĩ đầu tiên của tôi là không làm một mô hình lớn. GPT khỏe, bác sĩ số?
Trương Bằng:
Bạn đang suy nghĩ từ góc độ ứng dụng, giải quyết vấn đề.
Vương Tiểu Xuyên:
Vâng, suy nghĩ về nó. Sau đó, tôi nghĩ, nếu bạn làm một mô hình dọc ngày hôm nay, nó có thể bị mô hình lớn giết chết. Trí thông minh chung giết chết trí thông minh chuyên biệt, phải không?
Nhưng trong trường hợp này, chúng tôi nhận thấy rằng chỉ thực hiện một loại HealthGPT hoặc chỉ một bác sĩ kỹ thuật số là chưa đủ.
Cuối cùng, nó vẫn là cần thiết để làm cho một mô hình lớn.
(Quyết định làm mô hình đại trà trong giai đoạn tiếp theo) lại xuất phát từ một vòng tròn như vậy, không phải do tôi nghĩ mình đã tích cóp từ trước.
Nhưng khi chúng tôi làm một mô hình lớn, chúng tôi thấy rằng (sự tích lũy trước đây) khá phù hợp, chẳng hạn như xử lý liên quan đến ngôn ngữ.
Thậm chí, ChatGPT là ứng dụng thứ ba biến mô hình ngôn ngữ thành một siêu ứng dụng. Hai cái đầu tiên, một tìm kiếm và một phương thức nhập liệu.
Trương Bằng:
Tôi cảm thấy như bạn đã không làm điều này quá, xin lỗi vì hai bạn đã làm trước đây.
Vương Tiểu Xuyên:
Vâng, vì vậy tôi thấy rằng sự tích lũy trước đây thực sự hữu ích cho ngày hôm nay, điều mà trước đây tôi không ngờ tới.
Vì vậy, tôi rất xúc động, ông trời rất tốt với bạn và đã cho bạn một cơ hội. Khi kết thúc tìm kiếm, có một cơ hội khác để sử dụng kinh nghiệm trước đó để làm điều gì đó mà trước đây không thể làm được.
Bây giờ, không ai nói "Xiaochuan phù hợp để tìm kiếm", nhưng mọi người đều nói "Baichuan phù hợp với mô hình quy mô lớn", đối với tôi, đó là một điều rất may mắn.
Trương Bằng:
Đây là lý do tại sao bạn quyết định làm điều đó ngay từ đầu.
Sau vài tháng, mọi người có thể thấy điều này thật khó khăn, OpenAI vẫn chưa trở thành một công ty siêu lợi nhuận và nhiều người ở Thung lũng Silicon đã đặt câu hỏi về mô hình kinh doanh của nó. Vậy mô hình lớn sẽ tạo áp lực cho doanh nhân ở khía cạnh này, bạn có thấy áp lực này không?
Vương Tiểu Xuyên:
Tôi là tất cả siêu.
Bởi vì tôi đã từng làm việc trong cái bóng của Baidu, nhưng bây giờ nó là đất không người, đối với tôi, đây chính là điều tôi muốn làm, thay vì nói rằng có người đứng đầu trước mặt tôi, và sau đó bạn theo sau. Đối với tôi, đây là điều tôi thích, một khám phá mới.
Trương Bằng:
Đặc biệt cảm ơn Xiaochuan đã chia sẻ với chúng tôi ngày hôm nay, và chúc mừng bạn cuối cùng đã mở ra vùng đất không có người ở. Tôi hy vọng sẽ thấy nhiều cảnh đẹp hơn ở đây. Vỗ tay dành tặng cho Xiaochuan, nào!
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Bạch Xuyên Minh Vương Tiểu Xuyên: Sau 100 ngày khởi nghiệp với mô hình lớn, tôi khẳng định đã tìm được "vùng đất không người" của mình
**Nguồn:**FounderPark
Vào tháng 4, Wang Xiaochuan tuyên bố kết thúc và thành lập công ty người mẫu quy mô lớn "Baichuan Smart".
Vào tháng 6, Baichuan Intelligent đã phát hành một mô hình lớn mã nguồn mở 7 tỷ tham số, Baichuan-7B.
Vào tháng 7, Baichuan Intelligent đã phát hành một mô hình lớn mã nguồn mở 13 tỷ tham số, Baichuan-13B.
Cả hai mô hình đã hoạt động tốt trong các đánh giá khác nhau và cũng đã được công nhận bởi một số lượng lớn người dùng trong và ngoài nước.
"Mã nguồn mở rất đơn giản, ai cũng có thể tùy ý sử dụng, đây không phải là ngươi tự khoe khoang."
Anh ấy di chuyển nhanh, nhanh hơn hầu hết mọi người nghĩ. Ngay chính anh cũng phải ngạc nhiên: bắt tay vào làm thì tiến độ sẽ nhanh hơn nhiều so với dự kiến.
Tại hội nghị AGI Playground, Wang Xiaochuan tiết lộ rằng khả năng mô hình mã nguồn mở của BCI chắc chắn sẽ vượt qua Llama 2. Theo kế hoạch, Baichuan Intelligent sẽ phát hành hàng chục tỷ và hàng trăm tỷ mô hình lớn nguồn đóng trong tương lai.
Vài tháng trước, Wang Xiaochuan muốn "trở thành OpenAI của Trung Quốc" trên tiêu đề của nhiều phương tiện truyền thông.
Đây là một khẩu hiệu mà công chúng thích nghe, nhưng nó có thể không phải là một mô tả chính xác.
Vương Tiểu Xuyên rốt cuộc muốn làm cái gì? Anh ấy định làm gì? Sau ba tháng thực hành và đạt được những kết quả ban đầu, ông hiểu thế nào về khởi nghiệp trong thời đại mô hình quy mô lớn?
Mã nguồn mở, điều mà OpenAI chưa làm được
Trương Bằng:
Điều bạn có thể quan tâm nhất là bạn đã tiến rất nhanh sau khi bắt đầu kinh doanh và cho ra mắt hai mẫu: một mẫu 7B và một mẫu 13B, và phản hồi rất tốt.
Mọi người đều rất tò mò, vì lúc đầu họ nghĩ rằng bạn sẽ là một OpenAI của Trung Quốc, nhưng thấy rằng bạn đã tạo ra những thứ nguồn mở, nguồn mở là một giai đoạn công nghệ hay chính nó là một mô hình mới cho suy nghĩ của bạn trong tương lai?
Vương Tiểu Xuyên:
Nguồn mở, chúng tôi nghĩ rằng đó là một giai đoạn kỹ thuật, trên thực tế, là OpenAI của Trung Quốc không có nghĩa là sao chép toàn bộ con đường của nó. Khi giao tiếp với OpenAI ở Thung lũng Silicon, họ đã đi rất xa về mặt lý tưởng, chẳng hạn như khi họ làm GPT-4 bây giờ, họ cần hơn 20.000 thẻ để thực hiện các phép tính và họ chưa từng thấy quy mô lớn như vậy ở Trung Quốc.
Họ tự hào nói rằng họ đang thiết kế một mô hình điện toán kết nối 10 triệu GPU lại với nhau.
Khái niệm thẻ 10 triệu là gì? Sản lượng hàng năm của Nvidia là 1 triệu. 10 triệu bản là kế hoạch có thể lên mặt trăng (moonshot).
Ngoài ra, về cách làm ứng dụng, sản phẩm, thậm chí là một số công nghệ rộng hơn, đây có thể là một thiếu sót của OpenAI, hoặc cũng có thể là điều mà họ không đặc biệt quan tâm hiện nay.
Vì vậy, làm OpenAI ở Trung Quốc sẽ rất khác so với môi trường sinh thái ở Hoa Kỳ.
Sau khi mã nguồn mở Llama 2 được phát hành gần đây, nó đã gây ra một làn sóng điên cuồng ở Trung Quốc, mọi người đều cảm thấy rằng nó sẽ thay đổi cục diện một lần nữa, đó là điều mà OpenAI đã không làm được. Thật đáng tiếc khi điều này không phải do Google thực hiện mà do Facebook (Meta) thực hiện và Google tiếp tục vắng bóng. Nhưng ở Trung Quốc, chúng tôi đã thấy trước vấn đề này và chúng tôi tin rằng nguồn mở và nguồn đóng sẽ có trạng thái song song trong tương lai.
Trương Bằng:
Nguồn mở và nguồn đóng sẽ ở trạng thái song song.
Vương Tiểu Xuyên:
Tính song song hơi giống hệ thống Apple và hệ thống Android hiện tại. Ngay cả khi nhiều công ty muốn tham gia, việc sử dụng các lệnh gọi API nguồn đóng là không đủ, mô hình nguồn mở này cũng cần cung cấp 80% dịch vụ và cuối cùng dựa vào các dịch vụ nguồn đóng để cung cấp dịch vụ cho mọi người và 20% còn lại sẽ có rất nhiều nhu cầu về nguồn mở. Hoa Kỳ không có nó trước đây và Trung Quốc không có một mô hình tương tự. Do đó, một khi Llama được công bố, nó sẽ là một cú sốc lớn đối với Hoa Kỳ, nhưng cũng có một sự bùng nổ ở Trung Quốc. Trên thực tế, các đánh giá kỹ thuật nghiêm túc bao gồm một số đánh giá chính thống như SuperClue, cũng như so sánh giữa một số nhà sản xuất và công ty lớn.Nếu Llama được so sánh với Baichuan, rõ ràng chất lượng của chúng tôi trong lĩnh vực Trung Quốc vượt trội hơn nhiều so với Llama.
Trong lĩnh vực mô hình nguồn mở ở Trung Quốc, giống như ngành công nghiệp điện thoại di động của chúng tôi, Hoa Kỳ lúc đầu được sử dụng, và sau đó tự mình bắt kịp.
Trương Bằng:
Bạn có nghĩ Llama 2 đang rất hot gần đây, Baichuan sẽ làm tốt hơn họ?
Vương Tiểu Xuyên:
Llama là Llama 1 và 2.
Trước hết, chúng tôi đã phát hành mô hình tham số 7B đầu tiên vào tháng 6 năm nay và phát hành mô hình tham số 13B vào tháng 7. Trong số các chỉ số bằng tiếng Anh, chỉ số quan trọng nhất là MMLU (Hiểu ngôn ngữ đa nhiệm lớn), chỉ số quan trọng này, hai mô hình của chúng tôi tốt hơn Llama (1) và vượt trội đáng kể bằng tiếng Trung.
Chúng tôi biết rằng quá trình xử lý tiếng Trung của Llama thực sự không đủ. So với Llama (1), tiếng Anh của Baichuan có thể phù hợp một phần với điểm chuẩn, và các chỉ số chính đều vượt quá, và tiếng Trung rõ ràng là tốt hơn. Nhiều người đang chuyển đổi Llama sang tiếng Trung, nhưng nó vẫn không dễ sử dụng như Baichuan địa phương.
Sau khi phát hành Llama 2, chúng tôi cũng có thể xem báo cáo kỹ thuật, trong đó có khoảng 9 điểm cải tiến kỹ thuật, 6 trong số đó đã đạt được trong mô hình mà chúng tôi đang phát triển.
So với các mô hình trong nước thì tư duy của chúng tôi ở đây là gần nhất hiện nay, có 6 điểm chúng tôi đã làm rồi, còn 2 điểm chúng tôi không ngờ tới, còn 1 điểm chúng tôi chưa hợp lệ, nên khi so sánh với Llama2, chúng tôi không đơn thuần ăn cắp tư duy kỹ thuật mà chúng tôi có tư duy riêng. Chúng tôi nghĩ rằng sẽ có những cơ hội của chúng tôi trong tương lai trên con đường này.
Hôm nay tôi cũng kêu gọi mọi người ở Trung Quốc đừng chỉ nghĩ rằng nước ngoài là tốt khi họ đang sử dụng nó. OpenAI thực sự bây giờ còn xa hơn nữa. Sẽ mất thời gian để đạt được GPT-3.5 hoặc một mức tương tự vào cuối năm nay, nhưng chúng tôi đã rất gần với mô hình nguồn mở.
Vậy mô hình nguồn mở tiếp theo của bạn, bạn có nghĩ nó sẽ tốt hơn Llama 2 không?
Vương Tiểu Xuyên:
Ít nhất là bằng tiếng Trung Quốc. Trong lĩnh vực tiếng Trung Quốc, nó hiện đã bị vượt qua. Bước tiếp theo là tạo tiếng nói của Trung Quốc trong lĩnh vực nguồn mở của thị trường toàn cầu.
Trương Bằng:
Cả tiếng Anh và tiếng Trung phải tốt hơn Llama2, điều này có thể nhìn thấy và có thể đạt được đối với bạn.
Vương Tiểu Xuyên:
Tôi nghĩ rằng có khả năng nó sẽ xảy ra trong tương lai gần.
Trương Bằng:
Vì vậy, quan điểm của bạn là: ngày nay chúng ta không thể đơn giản nói rằng mô hình lớn trong tương lai của chúng ta là hướng tới OpenAI—một mô hình tập trung nguồn đóng. Nguồn mở thực sự có những khả năng tuyệt vời. Vì vậy, điều đó có nghĩa là một mặt, nó là để thực hành công nghệ và thể hiện khả năng kỹ thuật, nhưng nó thực sự có thể chứa đựng các mô hình và giá trị kinh doanh.
Đồng thời, trên cơ sở mã nguồn mở, việc Trung Quốc tạo ra mô hình Trung Quốc tốt nhất trên thế giới vẫn là điều mà mọi người có thể mong đợi.
Vương Tiểu Xuyên:
Điều đó tổng hợp nó khá chính xác.
Trải nghiệm tìm kiếm là quán tính xấu hay tài sản tốt?
Trương Bằng:
Trước đây, nhiều nhà đầu tư cho rằng sử dụng kinh nghiệm tìm kiếm để xây dựng mô hình quy mô lớn chắc chắn sẽ không thành công. Sau những tháng thực hành này, bạn đã xác minh được phán đoán ban đầu của mình khác với họ chưa? Làm thế nào để tích lũy và khả năng tìm kiếm đóng góp cho các mô hình lớn hơn?
Vương Tiểu Xuyên:
Vì thành tựu (AI) ngày nay là do OpenAI đạt được, còn Google thì không, suy nghĩ đầu tiên của các nhà đầu tư là công nghệ mới này chỉ là đối lập với tìm kiếm. Rất khó để họ phân biệt được lý do là công nghệ hay quản lý tổ chức.
Lý do của loại giọng nói này là một người không hiểu mối quan hệ giữa công nghệ tìm kiếm và AI, thứ hai là nhận thức về nền tảng tìm kiếm sẽ mang lại những tác động tiêu cực.
Bởi vì các công ty tìm kiếm chủ yếu là Baidu và Google, họ không cần tài trợ từ bên ngoài và họ không nói cho các nhà đầu tư biết tìm kiếm là gì. Đặc biệt, làn sóng bùng nổ AI cuối cùng chủ yếu do hình ảnh mang lại và mọi người đều không quen thuộc với các hàm ý kỹ thuật như NLP trong tìm kiếm.
Về kết quả, chúng tôi đã phát hành mô hình đầu tiên vào tháng Sáu. Một đối thủ cạnh tranh đã nói với các nhà đầu tư sớm nhất rằng Baichuan sẽ mất nửa năm để sản xuất mô hình đầu tiên, trên thực tế, chúng tôi chỉ mất 1/3 thời gian để hoàn thành nó và sau đó phát hành mô hình thứ hai. Và sắp tới chúng tôi sẽ cho ra đời mô hình mã nguồn đóng.
Baichuan đã tự phát triển kể từ ngày đầu tiên, và khởi đầu lạnh lùng diễn ra rất, rất nhanh. lý do đằng sau này là gì?
Ngày nay chúng ta biết rằng dữ liệu chất lượng cao là nền tảng của các mô hình lớn, vậy công ty nào có hiểu biết rộng về dữ liệu ngôn ngữ? Trên thực tế, các công ty tìm kiếm đã làm việc trong 20 năm, suy nghĩ về cách tìm kiếm dữ liệu chất lượng cao như vậy mỗi ngày. Ví dụ: trước tiên hãy tìm 100 trang web chất lượng cao từ 1 nghìn tỷ trang web, sau đó thực hiện phân tích trang, bao gồm trích xuất thông tin, chống trùng lặp, chống thư rác và thậm chí trích xuất nội dung theo cấp độ đoạn văn.
Sogou, Baidu và Google đã làm công việc này trong một thời gian dài.
Điểm thứ hai là về nguồn nhân tài, cần phải có cả khả năng thuật toán và khả năng kỹ thuật tập trung vào khả năng tìm kiếm, những người như vậy về cơ bản cũng đang tìm kiếm các công ty. Hiện ByteDance đang sử dụng nhóm tìm kiếm để tạo mô hình và tiến độ của Baidu cũng rất nhanh, bao gồm cả mô hình mà Shen Xiangyang đang tạo, mô hình này cũng do VP của Bing trước đây làm.
Một điều khác để tạo ra một mô hình lớn là đánh giá. Đánh giá một mô hình lớn có tốt hay không thực sự là một vấn đề nhức nhối, bao gồm cả vấn đề suy luận, hỏi đáp chính xác, sáng tạo... Có cái hay hơn, có cái dở đi, đánh giá thế nào? Do đó, hệ thống đánh giá này cũng là một khả năng mà các công ty tìm kiếm đã tích lũy trong một thời gian dài, sử dụng đánh giá để thúc đẩy việc lặp lại các thuật toán tiếp theo.
Ngoài ra, hiệu quả tổ chức của các công ty startup cao hơn nhiều so với các nhà máy lớn, với hệ thống ra quyết định rất linh hoạt, mọi hiệu quả sẽ được phát huy tối đa.
Trương Bằng:
Vì vậy, bạn đã nói chuyện với nhà đầu tư nghĩ rằng tìm kiếm không đủ tốt cho các mô hình lớn?
Vương Tiểu Xuyên:
Tên được đánh dấu chéo và bị xóa, và tôi không biết đó là ai. Những nhà đầu tư chỉ nhìn vào kinh doanh chứ không nhìn vào công nghệ, và những người đặc biệt thích tiểu thịt tươi từ Mỹ trở về để khởi nghiệp, những nhà đầu tư này chỉ vẽ ra chứ không nói đến.
Old Wang nói đúng, "Cải tiến nhỏ phụ thuộc vào các nhà máy lớn và cải tiến lớn phụ thuộc vào các nhà máy nhỏ"
Trương Bằng:
Bạn có nghĩ rằng các doanh nhân sẽ có đủ cơ hội trong làn sóng thay đổi công nghệ này trong tương lai? Hay cơ thể chính vẫn do người khổng lồ điều khiển? Làm thế nào các doanh nhân có thể nắm bắt cơ hội của riêng mình?
Vương Tiểu Xuyên:
Mặc dù Wang Huiwen không biết nhiều về công nghệ, nhưng tôi nghĩ anh ấy đã nói một điều rất đúng: đổi mới nhỏ phụ thuộc vào các nhà máy nhỏ và đổi mới lớn phụ thuộc vào các nhà máy lớn.
Mặc dù một nhà máy lớn có nhiều lợi thế về con người, tiền bạc và tài nguyên, nhưng sẽ có nhiều vấn đề nội bộ sau khi tổ chức phát triển và hiệu quả của tổ chức bị hạn chế nghiêm trọng.
Nếu chúng ta tin chắc rằng sự xuất hiện của AGI, thì sẽ có một sự bùng nổ lớn của các loài mới. Những điều này có cơ hội rất lớn cho các công ty khởi nghiệp làm việc. Điều này có thể được chứng minh từ suy luận lịch sử, vì vậy miễn là có AGI, sẽ có những cơ hội mới trong tương lai.
Đâu là khó khăn ở giữa?
OpenAI là một công ty định hướng nghiên cứu triển khai các sản phẩm trong thế giới thực. Bạn làm theo nó, và lĩnh vực nghiên cứu có thể có những thành tựu rất chói lọi. Nhưng làm thế nào để áp dụng ngày nay, cả OpenAI lẫn các công ty định hướng công nghệ ở Thung lũng Silicon đều không giỏi việc này. Tôi tự tin rằng Trung Quốc tốt hơn nhiều so với Hoa Kỳ về việc triển khai ứng dụng.
Cả thế giới đã đạt đến một bước ngoặt, và bây giờ khi công nghệ đã sẵn sàng, đây là khó khăn đầu tiên. Ứng dụng và yêu cầu là khó khăn thứ hai, được gọi là dịch vụ mô hình (model service). Vì vậy, thách thức bây giờ là, số một, bạn có mô hình không? Thứ hai, có một mô hình có nghĩa là có một dịch vụ?
Trương Bằng:
Việc bán API có phải là một dịch vụ không?
Vương Tiểu Xuyên:
Tôi không nghĩ vậy.
Giống như bạn có công nghệ không người lái, nhưng bạn có thực sự chế tạo được ô tô không? Rõ ràng là không. Nó cũng đòi hỏi sự kết hợp của nhiều công nghệ.
Bây giờ Hoa Kỳ tương đối bối rối về lớp ứng dụng và vấn đề hiện tại của Trung Quốc là thiếu khả năng mô hình. Ngày nay, nhiều công ty mới thành lập làm mô hình cũng chỉ giới hạn góc nhìn của họ đối với các mô hình lớn và không biết nhiều về các công nghệ khác.
Tôi xin đưa ra một ví dụ đơn giản nhất, khi làm mô hình chắc chắn bạn sẽ gặp phải ảo giác và tính hợp thời. Cả ảo giác và tính hợp thời đều có thể được giải quyết bằng chính mô hình lớn. Một số người giải quyết ảo ảnh bằng cách mở rộng các tham số lên hàng nghìn tỷ và hàng chục nghìn tỷ; hoặc sử dụng phương pháp học tăng cường. Nhưng trên thực tế, cách trực tiếp nhất là đưa tính năng tìm kiếm và truy xuất thông tin vào đó. Sự kết hợp của các mô hình lớn và những mô hình này có thể tạo thành một ngăn xếp công nghệ hoàn chỉnh hơn.
Sau khi công nghệ này được đề xuất, nó đã có một chút dấu hiệu. Ví dụ, có một thứ gọi là cơ sở dữ liệu véc-tơ, đây thực sự là một tìm kiếm linh hoạt và chủ yếu được sử dụng trong toB.
Về mặt tìm kiếm, sau khi công nghệ Transformer được giới thiệu vào năm 2018, nó đã có khả năng tìm kiếm theo ngữ nghĩa. Bạn có thể đã nghe nói về inverted index, tức là lập chỉ mục cho mạng tượng trưng này.
Sau năm 2018, cho dù đó là chúng tôi, Baidu hay vectơ byte đã chuyển sang tìm kiếm ngữ nghĩa, đằng sau công nghệ này là ba cơ sở dữ liệu vectơ khổng lồ. Sự kết hợp của các ngăn xếp công nghệ này và mô hình lớn có thể làm cho mô hình lớn phát triển hơn nữa. Như bạn có thể thấy, kinh nghiệm của nhóm tìm kiếm có lợi thế cho việc tạo mô hình.
Khía cạnh thứ hai là công nghệ mô hình quy mô lớn đang dần trở nên thiết thực. Sau đó, trong cái gọi là điện toán tri thức, cơ sở dữ liệu vectơ và tìm kiếm cần được thêm vào để tạo thành các công nghệ và sản phẩm hoàn chỉnh hơn. Về vấn đề này, mọi người đang dần hình thành một sự đồng thuận.
Nói về lượng truy cập của ChatGPT ngày hôm nay, mọi người bắt đầu lo lắng liệu nó có thể tiếp tục bùng nổ hay không.
Vì vậy, chúng ta vẫn cần thăm dò thêm.
Chúng tôi tin rằng trong ngành công nghiệp giải trí, nhập vai có nhiều triển vọng, nhưng vấn đề này đòi hỏi sự gia nhập của các công ty Trung Quốc phải làm tốt hơn.
Một điều nữa là làm thế nào để kết hợp các mô hình lớn và tìm kiếm, AI bối rối hiện đang hoạt động rất tốt, nhưng chúng ta đang ở thế bị động, nếu Hoa Kỳ có cơ hội, các nhà đầu tư sẽ tìm kiếm các công ty so sánh của Trung Quốc.
Nếu công ty này, thứ nhất, không có mô hình lớn, nó chỉ đang gọi API, thứ hai, nó không có công nghệ tìm kiếm và chỉ có thể dựa vào công nghệ của các công ty như Google và Bing, điều này không lý tưởng.
Trương Bằng:
Vừa rồi bạn nói rằng số lượng người dùng như ChatGPT đang giảm dần, điều này khiến mọi người cảm thấy rằng mô hình mới có thể không thể đột phá cùng một lúc. Đây có phải là một thách thức lớn cho các doanh nhân làm ứng dụng?
Vì theo như anh vừa nói, trong môi trường công nghệ còn non nớt thì chi phí cho sự tìm tòi khởi nghiệp rất cao. Và nếu doanh nhân chỉ sử dụng API của người khác như một sự thay đổi trong mô hình ứng dụng, thì điều đó không đặc biệt bắt mắt.
Vương Tiểu Xuyên:
Hai ngày trước, OpenAI vừa nâng cấp trình thông dịch mã, sau đó nâng cấp hướng dẫn tùy chỉnh. Đối với các công ty mới thành lập, đã có áp lực rất lớn.
Các nhà đầu tư Mỹ cũng lo lắng về việc liệu các công ty mới thành lập có còn cơ hội vượt qua những người khổng lồ trong bối cảnh lo lắng hay không và liệu họ có bị thay thế bởi các công ty lớn sau một nửa công việc hay không.
Ở Trung Quốc, tôi không nghĩ có một công ty hàng đầu như OpenAI đi theo con đường của các mô hình quy mô lớn. Nó vẫn đang trong giai đoạn "Trăm kiểu chiến". Ngày nay, liệu các công ty sản xuất mô hình quy mô lớn có khả năng tạo ứng dụng hay không là vấn đề mà Trung Quốc phải theo dõi rất nhiều so với Hoa Kỳ.
Bắt kịp với GPT-4? Thật nguy hiểm khi theo đuổi mô hình cải tiến liên thế hệ một cách mù quáng
Trương Bằng:
Điều này cũng đặt ra câu hỏi liệu ai ở Trung Quốc sẽ bắt kịp GPT-3.5, hay thậm chí là GPT-4
Cũng có ý kiến khác nói rằng GPT-3 đủ để các doanh nghiệp giải quyết một số vấn đề về cảnh dọc.
Tôi cảm thấy rằng Xiaochuan và bạn vẫn cam kết theo đuổi GPT-3.5 và GPT-4. Quá trình rượt đuổi này có khó khăn không? Tại sao bạn nói rằng bạn phải bắt kịp cấp độ của GPT-4?
Vương Tiểu Xuyên:
Tôi nghĩ đó là hai điều.
Đầu tiên là sự tiến bộ giữa các thế hệ của công nghệ, có thể có tác động mạnh mẽ đến hệ sinh thái của các sản phẩm tiếp theo. Bất kể từ quan điểm lý tưởng nào, hãy tưởng tượng một tương lai xa tầm với, như ba, bốn, năm thế hệ máy bay chiến đấu, trong đó mỗi thế hệ có thể đóng một vai trò quan trọng. Vì vậy, tại thời điểm này, mọi người nên cố gắng tìm kiếm lợi thế trong một lĩnh vực cạnh tranh cao.
Tuy nhiên, trong quá trình cạnh tranh để giành lợi thế, mọi người có thể gặp phải sự bối rối mới: Ở thế hệ nào chúng ta mới thực sự có thể nhận ra các siêu ứng dụng? GPT-3.5 vẫn chưa hình thành siêu ứng dụng ở Hoa Kỳ và để đào tạo một lần mất khoảng 50 triệu nhân dân tệ, chưa bao gồm chi phí chuẩn bị và thử nghiệm sơ bộ. Đào tạo GPT-4 có thể tốn 500 triệu RMB một lần. Đến thế hệ GPT-4.5, chi phí có thể lên tới 500 triệu USD.
Do đó, nếu không có siêu ứng dụng, sẽ rất nguy hiểm nếu chỉ theo đuổi cải tiến công nghệ. Do đó, chúng ta cần phải đồng thời theo đuổi việc cải thiện năng lực kỹ thuật thế hệ thứ tư và thế hệ thứ năm trong lĩnh vực này, đồng thời có những ứng dụng siêu việt. Nếu không, chúng ta có thể bất ngờ đối mặt với áp lực phải nâng cấp trên cả hai mặt trận, cả hai đều cần được nâng cấp đồng thời để thành công.
Trương Bằng:
Do đó, mọi loại sóng công nghệ đều có thể tạo ra các ứng dụng có giá trị.
Vương Tiểu Xuyên:
Những gì bạn vừa nói là hoàn toàn đúng.
GPT-3 về cơ bản đã có ở mặt B, nhưng tôi nghĩ lý do không có mặt ở mặt C là do thời gian quá ngắn.
Ngoài ra, mọi người tập trung quá nhiều vào OpenAI, nó không phải là một công ty sản phẩm, cũng không phải là một công ty có thể tạo ra những siêu ứng dụng.
Để làm được siêu ứng dụng không chỉ đòi hỏi phải nắm bắt về kỹ thuật mà còn phải đủ hiểu biết về sản phẩm. Tôi nghĩ cuối năm là lúc sự thật sẽ được đưa ra ánh sáng.
"Xiaochuan phù hợp để làm mô hình lớn" "Sau 20 năm tìm kiếm, không ai nói rằng tôi phù hợp để làm tìm kiếm"
Trương Bằng:
Mọi người có thể đánh giá quá cao OpenAI không? Nói cách khác, chúng tôi cho rằng OpenAI khó bị vượt qua vì nó có bánh đà dữ liệu. Bạn hiểu điều này như thế nào? Bánh đà dữ liệu có thực sự tồn tại?
Vương Tiểu Xuyên:
Vào đầu năm nay, tôi đã nói về bánh đà dữ liệu, và lúc đó tôi đã rất hoảng sợ. Yêu cầu của người dùng được trao cho nó, nó biết người dùng muốn gì và sau đó nó có thể nâng cấp mô hình tốt hơn.
Cho đến nay, vấn đề này không nghiêm trọng.
Ví dụ, sau khi Llama 2 ra mắt, mọi người đều thấy rằng ở giai đoạn tinh chỉnh, dữ liệu nên tinh chỉnh ít đi chứ không nên tinh chỉnh nhiều hơn, giờ đây mọi người đã dần hình thành một sự đồng thuận rằng bí mật của công nghệ không nằm ở bánh đà mà là sự tích lũy công nghệ theo thời gian.
Sức mạnh kỹ thuật của Anthropic, một công ty giống như của Claude, cũng tăng lên nhanh chóng và OpenAI có nhiều người dùng hơn nó, điều này cũng chứng tỏ rằng khái niệm bánh đà dữ liệu đã bị làm sai lệch.
Trương Bằng:
Hoặc có thể những dữ liệu thực sự quý giá trong nó được phản ánh qua kỹ năng nói chuyện với mọi người, tôi nhớ lúc đầu cách nói chuyện của nó khá là “đơ”, nhưng bây giờ nó có cảm giác con người hơn.
Vương Tiểu Xuyên:
Điều này cảm thấy không nhiều, và nhiều hơn nữa nằm ở bộ dữ liệu của nó, bất kể ở giai đoạn tiền đào tạo hay giai đoạn tinh chỉnh, làm thế nào để có được dữ liệu chất lượng cao? Làm thế nào để phù hợp và vân vân, đây là khả năng cốt lõi của nó. Đặc biệt, tôi nghe họ trò chuyện rằng một mặt, GPT-4 đang đào tạo GPT-3.5 để làm cho 3.5 hoạt động hiệu quả hơn, đồng thời, GPT-4 được sử dụng để tạo ra một phần dữ liệu theo yêu cầu của GPT-5 và đang tối ưu hóa quy trình lặp lại. Sự lặp đi lặp lại của nó trong nội bộ là để làm cho các dịch vụ trực tuyến trở nên tốt hơn, đồng thời tạo ra một số dữ liệu trong tương lai Tôi nghĩ đây là một bánh đà nội bộ.
Trương Bằng:
Vì vậy, nếu bạn nhìn nó từ quan điểm của Llama, nó cũng có thể cung cấp một mô hình không ngừng nâng cao trình độ kỹ thuật thông qua mã nguồn mở. Nhưng từ quan điểm của OpenAI, có thể có đủ người dùng và dữ liệu ở một giai đoạn nhất định.
Vương Tiểu Xuyên:
Trên thực tế, mã nguồn mở, mã nguồn đóng và ứng dụng, ngày nay mọi người vẫn đang làm, và nó vẫn đang trong giai đoạn mở rộng giống như miền Tây Hoa Kỳ.
Trương Bằng:
Vì vậy, ngày nay, đối với một công ty mới thành lập như Baichuan, không dễ để nói rằng tôi chỉ hợp tác với một hướng nhất định, cho dù tôi muốn giữ chiến lược mơ hồ hay gọi nó là giàu khả năng, tôi có thể đặt cược vào những khía cạnh này.
Vương Tiểu Xuyên:
Phải. Lần khởi nghiệp của tôi khá thú vị, nhiều người nói Tiểu Xuyên đặc biệt thích hợp làm mô hình quy mô lớn, tôi làm tìm kiếm đã 20 năm rồi, chưa từng có ai nói Tiểu Xuyên đặc biệt thích hợp làm tìm kiếm.
Tìm kiếm ở Trung Quốc chậm hơn Baidu 3 năm, kiểu này rất khó bắt kịp. Hôm nay tích lũy cùng kinh nghiệm đều xem qua, phía trước không có người. Thật khó nghĩ, và đã muộn vài năm, nhưng ngày nay đối với tôi, dường như cơ hội ở đâu cũng có. Vì vậy, chỉ cần có đủ năng lực, chúng ta có thể phỏng vấn ở đây khắp nơi, xem có thể thay đổi ấn tượng ban đầu của bạn về Sogou ngày hôm nay hay không.
Đừng tôn thờ mù quáng, Trung Quốc và Hoa Kỳ sẽ có những câu chuyện AI khác nhau
Trương Bằng:
Tôi khá cảm động trước những gì Ogawa đã nói. Bạn cuối cùng đang đứng trong một vùng đất không có người đàn ông.
Về mô hình lớn, có thể nhiều người cảm thấy cần học hỏi và bắt kịp OpenAI. Nhưng khi bạn thực sự làm điều này, bạn sẽ thực sự tìm thấy khoảng cách và con đường.
Vương Tiểu Xuyên:
Vâng, đừng sùng bái như vậy.
Tôi nhớ rằng sau AlphaGo năm 2016, tôi đã đề cập đến hai điểm vào thời điểm đó. Thứ nhất, nếu (AI) có thể dự đoán khung hình tiếp theo của video, thì đó là sự xuất hiện của AGI.
Nhưng chư vị nói xong là xong, chư vị không có năng lực làm, chư vị không có động cơ, không có năng lực, không có điều kiện. Sau đó, người ta nói rằng nếu máy móc làm chủ ngôn ngữ, thì trí tuệ nhân tạo mạnh mẽ cũng sẽ đến. Bây giờ quá trình xác minh đã thực sự bắt đầu.
Vì vậy, tôi nghĩ rằng bản thân chúng tôi có rất nhiều ý tưởng và chúng tôi không bị tụt hậu. Chỉ là thời cơ và điều kiện chưa chín muồi mà thôi. Giống như, học trưởng nói chuyện này có thể giải quyết, học trưởng ngươi không phải cố ý chép bài cho ngươi chứ?
Những người khác nói với bạn rằng nó có thể được giải quyết, hoặc thậm chí cho bạn một ý tưởng lớn, tôi nghĩ chúng ta có thể tự làm được và chúng ta không cần phải nhìn chằm chằm vào bài tập của người khác và sao chép nó.
Trương Bằng:
Vì vậy, niềm vui thực sự của bạn ở đây không phải là nhận ra và tái tạo những thứ khác, mà là khám phá một số thứ mà mọi người chưa nắm bắt được ở vùng đất không người này.
Vương Tiểu Xuyên:
Vâng, tôi nghĩ rằng lần này tôi có cơ hội lãnh đạo trong một số lĩnh vực.
Trương Bằng:
Có một khả năng như vậy, vì vậy Trung Quốc và Hoa Kỳ, Baichuan và OpenAI, có lẽ nó không phải là cùng một câu chuyện.
Vương Tiểu Xuyên:
Nó thực sự sẽ khác. Trung Quốc và Hoa Kỳ không phải là một hệ thống, một hệ thống hay một nền văn hóa, vì vậy những gì phát triển cuối cùng, cho dù đó là vấn đề kỹ thuật hay vấn đề ứng dụng, sẽ khác nhau.
Công việc chính: trò chuyện với đồng nghiệp, Baichuan Intelligence vừa vượt qua 100 người
Trương Bằng:
Bạn sắp xếp công việc thường ngày như thế nào? Làm thế nào để bạn phân bổ thời gian của bạn? Nhiều người nói năng lực tính toán quan trọng, tài năng quan trọng nhưng tôi nghĩ chỉ những ai thực sự khởi nghiệp mới biết điều gì là quan trọng nhất. Vì vậy, tôi chỉ muốn hỏi nơi nào bạn dành nhiều thời gian nhất?
Vương Tiểu Xuyên:
Những gì tôi dành phần lớn thời gian của mình bây giờ là trò chuyện với các đồng nghiệp của chúng tôi.
Trương Bằng:
trò chuyện?
Vương Tiểu Xuyên:
Đúng vậy, trong quá trình trò chuyện thực chất là một quá trình không ngừng hình thành đồng thuận, chính là thu thập nhận thức, dinh dưỡng và thông tin bên ngoài của mọi người để mọi người cùng hình thành một bộ não.
Bởi vì chúng tôi biết rằng Top-Down có thể đi chệch hướng. Ví dụ: tại sao Google không làm được? Khi trụ sở đầu tiên của Google được hoàn thành, nó đã có quán tính của nó. Không thể lấy được dữ liệu, chi phí sẽ tăng lên sau khi lên mạng và sẽ không có lợi ích cụ thể nào cho người dùng, vì vậy sẽ rất khó xử khi bắt đầu kinh doanh.
Trong trường hợp của Google Brain, đó là Button-Up. Các nhà nghiên cứu của nó rất tự do và có thể làm bất cứ điều gì họ muốn, hoặc liên kết lực lượng, rất nhiều người trong số họ đã thực sự nhìn thấy mô hình lớn, nhưng họ không thể tập trung làm việc đó, vì lực lượng bị phân tán. Sau đó, Deepmind là từ trên xuống, công ty yêu cầu làm gì và mọi người làm gì. Nó đã thực hiện AlphaGo, AlphaZero, AlphaFold, và bây giờ nó đang hướng tới năng lượng hydro, phản ứng tổng hợp hạt nhân và điện toán lượng tử, nhưng nó còn cách xa hầu hết chúng.
Trên thực tế, Top-Down và Button-Up ngày nay được gọi là "lên xuống cùng mong muốn", để mọi người hoàn toàn có thể điều chỉnh từ lý tưởng này đến công nghệ và nhận thức, và trở thành một thứ. Vì vậy, tôi nghĩ rằng giao tiếp hàng ngày với bạn nhiều hơn sẽ khiến bạn trở thành một bộ não, đó là công việc quan trọng nhất của tôi.
Trương Bằng:
Hừm, thật thú vị. Vì vậy, nếu một tập thể nhỏ phát huy hết sức lực thì mọi người có thể cùng chia sẻ niềm vui nỗi buồn, cùng những khát khao và khát khao.
Vương Tiểu Xuyên:
Điều này rất quan trọng, hôm nay chúng ta sẽ không nói về tổ chức và quản lý, mà chúng ta sẽ trở thành người một nhà. Baichuan hiện có 100 người và nó mới đạt 100 người vào ngày hôm qua.
Thay đổi niềm tin, tiến độ của Baichuan nhanh hơn dự kiến
Trương Bằng:
Trong vài tháng qua, bạn đã cống hiến hết mình cho mô hình quy mô lớn, sự nhiệt tình của bạn không thay đổi, nhưng sự tự tin của bạn có thay đổi không? Nó có khó hơn bạn mong đợi lúc đầu không? Vẫn phù hợp với mong đợi của bạn?
Vương Tiểu Xuyên:
Thành thật mà nói, từ tận đáy lòng, tôi nghĩ nó dễ hơn tôi tưởng.
Kỳ vọng là ban đầu bạn biết nhiều (khó khăn), nhiều năm tích lũy ở nước ngoài, sức mạnh tính toán, máy chủ... Nhưng khi bạn làm việc với các đồng nghiệp của mình, khi mọi người cùng sáng tạo, tiến độ và tốc độ thực tế của chúng tôi nhanh hơn mong đợi.
Hóa ra là chúng tôi dự kiến sẽ phát hành mẫu xe trị giá 50 tỷ vào quý 3 và sau đó phát hành mẫu xe trị giá 175 tỷ vào quý 4.
Nhưng trên thực tế, những điều này sẽ không thay đổi mà trong quá trình đó, tốc độ tiến triển của ứng dụng và tốc độ của các mô hình nguồn mở nhanh hơn nhiều so với dự kiến.
Và cũng nhanh hơn nữa, hôm nay chúng ta có thể bắt đầu nói, không chỉ là người giỏi nhất trong nước mà còn là nguồn mở trên trường quốc tế.
Mã nguồn mở rất đơn giản, mọi người đều có thể sử dụng nó cho mục đích sử dụng của mình, đây không phải là điều bạn khoe khoang. Sau khi khai mạc, chúng tôi tự tin rằng chúng tôi có thể có được một vị trí rất tốt trên trường quốc tế.
Trương Bằng:
Vì vậy trước khi nhảy xuống nước, tôi đã lo lắng không biết độ sâu, nhưng khi thực sự nhảy xuống, tôi mới thấy mình thực sự có thể giẫm lên xuống đáy, vì vậy tôi cảm thấy thanh thản hơn rất nhiều? Là nó thực sự là đơn giản?
Vương Tiểu Xuyên:
Chia rẽ mọi người.
Tôi là một người tương đối thận trọng, tôi vẫn đang theo dõi, và sau đó Lianchuang của chúng tôi đã đá tôi vào và nói rằng hãy bắt đầu làm việc đó. Sau đó tôi nói không sao, tuyên bố kết thúc và bắt đầu làm việc. Nếu không, có thể còn muộn hơn nữa trước khi bạn cảm thấy sẵn sàng. Nhưng một khi bạn ra khỏi sân, bạn sẽ thấy rằng mình sẽ chạy nhanh hơn bạn tưởng.
Sau sự điên cuồng, những phát triển công nghệ gần đây đáng lo ngại
Trương Bằng:
Bạn có chú ý đến tiến bộ kỹ thuật của các mô hình lớn gần đây không? Những giấy tờ kích thích bạn?
Vương Tiểu Xuyên:
Thứ nhất, ngày nay việc chỉ đọc báo thực sự không quan trọng. Bạn không thể hoàn thành nó.
Những điều cơ bản là những điều đó. Và hôm nay OpenAI đã ngừng gửi các bài viết hay. Các bài báo được gửi đi đều là những bài báo có lượng thông tin ít ỏi, thu hoạch cũng có hạn.
Đồng thời, bởi vì mọi người đều đã từng rơi vào trạng thái (trạng thái) điên cuồng trước đó, nên chúng tôi gọi đó là "sống một ngày như một năm", và nó giống như một năm (tiến bộ công nghệ) mỗi ngày.
Trương Bằng:
Ngày có cảm giác như năm vì nó trôi nhanh.
Vương Tiểu Xuyên:
Vâng, không nhàm chán. Có rất nhiều điều mới mỗi ngày. Thần kinh của mọi người đều bị kích thích đến cao độ, có chút yếu ớt.
Phải nói rằng, gần đây đã có một số tiến bộ công nghệ mà tôi nghĩ là rất mạnh mẽ.
Một là, khoảng một tuần trước, OpenAI đã tung ra trình thông dịch mã, đây là một bước đột phá lớn, nhưng có vẻ như không có đợt truyền thông điên cuồng mới nào ở Trung Quốc.
Mọi người đều đã từng thích thú với sự điên cuồng trước đây, nhưng lần này, tiến độ, trình thông dịch mã, tôi nghĩ giới truyền thông đã không chú ý đầy đủ và đưa tin về nó.
Và một nâng cấp nhỏ ngày hôm qua, tùy chỉnh hướng dẫn của riêng bạn.
Nó thể hiện rằng nó bắt đầu từ mô hình LLM đến Đại lý.
Nó sẽ mô tả “Tôi là ai và đặc điểm của tôi là gì?” Mô hình lớn của bạn sẽ đóng vai trò gì và đặc điểm của nó là gì? Việc hình thành một mối quan hệ như vậy phụ thuộc vào việc mô hình có phải là Tác nhân hay không (theo quan điểm).
Hai lĩnh vực này không đủ để mọi người chú ý và báo cáo ngày hôm nay.
Quyết định khởi nghiệp cuối cùng cũng đợi đến khi đất trống "phù hợp với Tiểu Xuyên"
Trương Bằng:
Câu hỏi cuối cùng, bạn vừa đề cập rằng bạn đã bị "đá" vào tình huống khởi nghiệp này. Tôi cũng biết rằng bạn là một người cuồng AI kể từ thời AlphaGo.
Cuối cùng, bạn đã quyết định trở thành một doanh nhân trong lĩnh vực AGI và các mô hình quy mô lớn, cho dù đó là Lao Wang (Huiwen) hay làn sóng ở Trung Quốc, họ đã ảnh hưởng như thế nào đến việc ra quyết định của bạn? Sau khi trải qua một quá trình như vậy, loại thay đổi nào đã diễn ra trong lòng bạn?
Vương Tiểu Xuyên:
Hành trình tinh thần thực sự khá dài.
Vào thời Sogou, đến giai đoạn sau. Đầu tiên, chúng tôi đã bỏ lỡ công cụ đề xuất và liên minh chiến lược với Tencent, trong trường hợp này, nếu không có những đột phá về công nghệ mới thì sự phát triển rất hạn chế. Khi Sogou được sáp nhập với Tencent, tôi đang thử thách một điều thú vị hơn, đó là biến cuộc sống thành một mô hình toán học. Như chúng tôi đã nói, Newton đã biến vật lý thành một mô hình toán học.
Trên nền tảng của Geek Park trước đây, tôi đã nói về việc học hỏi từ cuộc sống.
Cuộc sống là gì Đây là điều mà tôi đã suy nghĩ suốt 20 năm.
Làm thế nào để biến cuộc sống thành một mô hình toán học? Đây là những gì tôi quan tâm. Ngay cả khi nghiên cứu về y học Trung Quốc, làm thế nào để biến cuộc sống thành một mô hình toán học, (sau này) đã phát hiện ra rằng con đường này có thể không bằng phẳng.
Tôi đặc biệt quan tâm đến việc làm thế nào để tạo ra những bước đột phá mới trong y học trong khuôn mẫu khoa học. Tôi đọc nhiều bài báo y khoa hơn là đọc báo máy tính, tôi đọc hàng ngàn bài báo y khoa.
Điều gì đã xảy ra trong 21 năm? Trong 21 năm, mô hình lớn đã bắt đầu có một số cơ hội. Khi đó chúng tôi làm mô hình hàng chục tỷ để giải bài toán chuyển từ tìm kiếm sang hỏi đáp.
Trên thực tế, trước khi thực hiện phương thức nhập liệu, tôi đã tham gia vào việc "dự đoán từ tiếp theo muốn nói gì", rồi viết lại từ đó như thế nào, việc tìm kiếm biến thành hỏi đáp. Trên thực tế, cửa đã được chạm vào, nhưng không có bước đột phá nào về công nghệ vào thời điểm đó.
Vì vậy, bạn biết rằng tôi rất quan tâm đến việc biến cuộc sống thành một mô hình toán học, vì vậy sau khi mô hình lớn xuất hiện, suy nghĩ đầu tiên của tôi là không làm một mô hình lớn. GPT khỏe, bác sĩ số?
Trương Bằng:
Bạn đang suy nghĩ từ góc độ ứng dụng, giải quyết vấn đề.
Vương Tiểu Xuyên:
Vâng, suy nghĩ về nó. Sau đó, tôi nghĩ, nếu bạn làm một mô hình dọc ngày hôm nay, nó có thể bị mô hình lớn giết chết. Trí thông minh chung giết chết trí thông minh chuyên biệt, phải không?
Nhưng trong trường hợp này, chúng tôi nhận thấy rằng chỉ thực hiện một loại HealthGPT hoặc chỉ một bác sĩ kỹ thuật số là chưa đủ.
Cuối cùng, nó vẫn là cần thiết để làm cho một mô hình lớn.
(Quyết định làm mô hình đại trà trong giai đoạn tiếp theo) lại xuất phát từ một vòng tròn như vậy, không phải do tôi nghĩ mình đã tích cóp từ trước.
Nhưng khi chúng tôi làm một mô hình lớn, chúng tôi thấy rằng (sự tích lũy trước đây) khá phù hợp, chẳng hạn như xử lý liên quan đến ngôn ngữ.
Thậm chí, ChatGPT là ứng dụng thứ ba biến mô hình ngôn ngữ thành một siêu ứng dụng. Hai cái đầu tiên, một tìm kiếm và một phương thức nhập liệu.
Trương Bằng:
Tôi cảm thấy như bạn đã không làm điều này quá, xin lỗi vì hai bạn đã làm trước đây.
Vương Tiểu Xuyên:
Vâng, vì vậy tôi thấy rằng sự tích lũy trước đây thực sự hữu ích cho ngày hôm nay, điều mà trước đây tôi không ngờ tới.
Vì vậy, tôi rất xúc động, ông trời rất tốt với bạn và đã cho bạn một cơ hội. Khi kết thúc tìm kiếm, có một cơ hội khác để sử dụng kinh nghiệm trước đó để làm điều gì đó mà trước đây không thể làm được.
Bây giờ, không ai nói "Xiaochuan phù hợp để tìm kiếm", nhưng mọi người đều nói "Baichuan phù hợp với mô hình quy mô lớn", đối với tôi, đó là một điều rất may mắn.
Trương Bằng:
Đây là lý do tại sao bạn quyết định làm điều đó ngay từ đầu.
Sau vài tháng, mọi người có thể thấy điều này thật khó khăn, OpenAI vẫn chưa trở thành một công ty siêu lợi nhuận và nhiều người ở Thung lũng Silicon đã đặt câu hỏi về mô hình kinh doanh của nó. Vậy mô hình lớn sẽ tạo áp lực cho doanh nhân ở khía cạnh này, bạn có thấy áp lực này không?
Vương Tiểu Xuyên:
Tôi là tất cả siêu.
Bởi vì tôi đã từng làm việc trong cái bóng của Baidu, nhưng bây giờ nó là đất không người, đối với tôi, đây chính là điều tôi muốn làm, thay vì nói rằng có người đứng đầu trước mặt tôi, và sau đó bạn theo sau. Đối với tôi, đây là điều tôi thích, một khám phá mới.
Trương Bằng:
Đặc biệt cảm ơn Xiaochuan đã chia sẻ với chúng tôi ngày hôm nay, và chúc mừng bạn cuối cùng đã mở ra vùng đất không có người ở. Tôi hy vọng sẽ thấy nhiều cảnh đẹp hơn ở đây. Vỗ tay dành tặng cho Xiaochuan, nào!