**Pekerjaan dengan permintaan tertinggi dalam sepuluh tahun ke depan adalah "insinyur AI"? **
Setelah munculnya ChatGPT, orang meramalkan bahwa "semua industri akan dibentuk kembali oleh AI", beberapa pekerjaan akan diganti, dan beberapa pekerjaan akan berubah bentuknya. Seperti apa karir mereka sebagai programmer yang membangun AI?
Baru-baru ini, hal-hal tampaknya menjadi spektrum. Sekelompok insinyur dan cendekiawan meneriakkan konsep "insinyur AI" dan menerima banyak tanggapan:
Karena generalisasi dan kemampuan yang kuat dari model bahasa besar seperti GPT-4, cara kami bekerja akan segera berubah menjadi bekerja dengan AI, dan mengikuti kecepatan kecerdasan buatan adalah pekerjaan penuh waktu itu sendiri.
Dikatakan bahwa "insinyur AI" ini berada di antara insinyur full-stack dan insinyur pembelajaran mesin, menempati bagian dari insinyur back-end dan berfokus pada konstruksi model besar. Sekarang masih dalam tahap definisi, tapi dilihat dari diskusi yang memanas, seharusnya tidak jauh dari pendaratan, toh kecepatan revolusi ChatGPT begitu cepat.
Begitu idenya keluar, big Vs di bidang AI dengan cepat berkomentar. Andrej Karpathy, seorang ilmuwan OpenAI dan mantan kepala AI dan mengemudi otonom di Tesla, setuju. "Model besar menciptakan lapisan abstraksi dan spesialisasi yang benar-benar baru, sejauh ini saya menyebutnya 'insinyur petunjuk', tetapi sekarang ini bukan hanya masalah petunjuk."
Selain itu, ia menunjukkan empat poin utama:
Pekerjaan pembelajaran mesin sebelumnya biasanya melibatkan algoritme pelatihan dari awal, dan hasilnya biasanya memiliki kinerja yang terbatas.
Pelatihan model skala besar sangat berbeda dari pembelajaran mesin tradisional. Sistem sebelumnya memiliki beban kerja yang besar, dan peran baru telah dibagi untuk fokus pada pelatihan Transformer skala besar di superkomputer.
Secara numerik, jumlah insinyur AI mungkin jauh lebih tinggi daripada insinyur pembelajaran mesin/insinyur model besar.
Anda tidak memerlukan pelatihan apa pun untuk berhasil dalam peran ini.
Setelah membacanya, Musk juga berkata:
Posisi dalam permintaan tinggi, penting dan hambatan rendah untuk masuk Tampaknya mengasyikkan dan mencemaskan.
Selama diskusi, beberapa orang juga mengusulkan nama seperti "insinyur kognitif" dan "insinyur sistem AI" sebagai kandidat Ilmuwan AI Nvidia Jim Fan percaya bahwa profesi yang baru muncul ini harus disebut "insinyur bebas gradien" - dari alat tradisional 1.0 , hingga neural network 2.0, dan kemudian ke 3.0 tanpa arsitektur gradien, kami akhirnya menunggu versi 4.0 dari seri pelatihan mandiri GPT.
Sehubungan dengan hal ini, Sebastian Raschka, asisten profesor di University of Wisconsin, mengatakan bahwa ini hanya cocok untuk asisten umum, dan untuk sebagian besar bisnis, Anda tidak memerlukan "umum".
Ada banyak nama dan definisi yang diberikan, mari kita lihat seperti apa posisi "insinyur AI" ini?
Kami menyaksikan pergeseran sekali dalam satu dekade dalam AI terapan, didorong oleh kemampuan terobosan model fundamental serta model besar dan API sumber terbuka.
Tugas AI yang memakan waktu lima tahun dan diselesaikan oleh tim peneliti pada tahun 2013 sekarang hanya membutuhkan API, dokumentasi, dan waktu luang di sore hari pada tahun 2023.
Namun, detaillah yang membuat perbedaan – tantangan penerapan dan produksi AI tidak ada habisnya:
Pada model, ada dari model GPT-4 dan Claude terbesar, hingga Huggingface open source, LLaMA, dan model lainnya;
Alat, dari alat penautan, pengambilan, dan pencarian vektor yang paling populer (seperti LangChain, LlamaIndex, dan Pinecone) hingga bidang agen otonom yang baru muncul (seperti Auto-GPT dan BabyAGI);
Secara teknis, jumlah makalah, model, dan teknik baru yang diajukan setiap hari telah tumbuh secara eksponensial dengan minat dan pendanaan, sampai-sampai memahami semuanya hampir menjadi pekerjaan penuh waktu.
Jika situasi ini ditanggapi dengan serius, itu harus dianggap sebagai pekerjaan penuh waktu. Akibatnya, rekayasa perangkat lunak akan menelurkan subdisiplin baru yang didedikasikan untuk penerapan kecerdasan buatan dan secara efektif menggunakan tumpukan yang muncul, seperti "Insinyur Keandalan Situs" (SRE), "Insinyur DevOps", "Insinyur Data", dan Hal yang sama berlaku untuk munculnya "insinyur analitik".
Versi baru (dan paling tidak keren) dari peran ini tampaknya adalah: insinyur kecerdasan buatan.
Kami tahu bahwa setiap startup memiliki semacam saluran Slack untuk membahas penggunaan AI, dan saluran tersebut akan segera beralih dari grup informal ke tim formal. Ribuan insinyur perangkat lunak saat ini bekerja untuk memproduksi API AI dan model OSS, baik selama jam kerja atau malam hari dan akhir pekan, di Slack perusahaan atau Perselisihan independen, semuanya diprofesionalkan dan dipusatkan di bawah satu judul: insinyur AI.
Ini kemungkinan akan menjadi pekerjaan teknik yang paling banyak diminati dalam dekade berikutnya.
Insinyur AI akan ditemukan di mana-mana, mulai dari raksasa teknologi seperti Microsoft dan Google, hingga perusahaan rintisan terkemuka seperti Figma, Vercel, dan Notion, hingga pengembang independen seperti Simon Willison, Pieter Levels, dan Riley Goodside. Mereka mendapatkan $300.000 setahun untuk praktik teknik mereka di Anthropic dan $900.000 setahun membangun perangkat lunak di OpenAI. Mereka menghabiskan akhir pekan gratis mereka untuk merenungkan ide di AGI House dan berbagi tips tentang subreddit /r/LocalLLaMA di Reddit.
Kesamaan yang mereka semua miliki adalah kemampuan untuk menerjemahkan kemajuan dalam kecerdasan buatan menjadi produk praktis yang digunakan oleh jutaan orang hampir dalam semalam. Dan di dalamnya, Anda tidak melihat gelar Ph.D. Saat mengirimkan produk AI, Anda membutuhkan insinyur, bukan peneliti.
Kebalikan besar dari insinyur AI dan insinyur ML
Serangkaian data di situs web Indeed menunjukkan bahwa jumlah posisi untuk insinyur pembelajaran mesin adalah 10 kali lipat dari insinyur AI, tetapi sebagai perbandingan, tingkat pertumbuhan di bidang AI lebih cepat, dan diperkirakan akan seperti ini. proporsinya akan terjadi dalam lima tahun. Pembalikan terjadi dan jumlah insinyur AI akan berkali-kali lebih banyak daripada insinyur ML.
HN Who's Hiring (yang merupakan posting bulanan di Hacker News yang menyediakan platform bagi pemberi kerja untuk memposting posting pekerjaan) Tren Ketenagakerjaan Bulanan berdasarkan Kategori
Perdebatan tentang perbedaan antara AI dan ML tidak ada habisnya, tetapi hati-hati. Kami juga tahu bahwa perangkat lunak AI dapat dibuat oleh insinyur perangkat lunak biasa. Namun baru-baru ini, diskusi telah berkisar pada masalah lain, yaitu, utas populer di Berita Peretas "Bagaimana cara masuk ke rekayasa AI" telah membangkitkan minat luas. Posting populer ini juga menggambarkan prinsip-prinsip dasar pembatas yang masih ada di pasar, Perbedaannya antara setiap posisi masih sangat halus.
*Tangkapan layar dari postingan bulan Juni 2023 di Hacker News: "How to Into AI Engineering" Jawaban Pilihan Teratas. *
Hingga saat ini, banyak orang menganggap rekayasa AI sebagai salah satu bentuk rekayasa ML atau rekayasa data, jadi ketika seseorang bertanya bagaimana cara masuk ke suatu bidang, mereka cenderung merekomendasikan prasyarat yang sama, seperti pada jawaban di atas, banyak orang Merekomendasikan Coursera Andrew Ng kursus. Tetapi tidak satu pun dari insinyur AI yang efektif itu telah menyelesaikan kursus Wu Enda di Coursera, mereka tidak terbiasa dengan PyTorch, dan mereka tidak mengetahui perbedaan antara Data Lake (Data Lake) dan Data Warehouse (Data Warehouse).
Dalam waktu dekat, tidak ada yang akan menyarankan Anda untuk mulai mempelajari teknik AI dengan membaca makalah Transformer "Perhatian Adalah Yang Anda Butuhkan", sama seperti Anda mulai belajar mengemudi dengan membaca cetak biru Ford Model T. Tentu saja, memahami dasar-dasar dan sejarah perkembangan teknologi akan sangat membantu, yang dapat membantu Anda menemukan cara untuk meningkatkan pemikiran dan efisiensi Anda. Namun terkadang Anda juga dapat menggunakan produk untuk mempelajari karakteristiknya melalui pengalaman praktis.
Pembalikan insinyur AI vs. insinyur ML tidak akan terjadi dalam semalam, dan untuk seseorang dengan latar belakang ilmu data dan pembelajaran mesin yang baik, teknik dan rekayasa AI mungkin tidak terlihat bagus untuk waktu yang lama. Namun, seiring waktu, ekonomi permintaan dan penawaran akan berlaku, dan pandangan orang tentang rekayasa AI akan berubah.
**Mengapa insinyur AI akan bangkit? **
Pada tingkat model, banyak model dasar yang sekarang menjadi pebelajar dengan konteks yang kuat dan kemampuan transfer zero-shot Kinerja model seringkali melebihi tujuan awal dari model pelatihan. Dengan kata lain, orang yang membuat model ini tidak sepenuhnya mengetahui ruang lingkup kemampuan model. Dan mereka yang bukan ahli LLM (Large Language Model) dapat menemukan dan mengeksploitasi kemampuan ini dengan berinteraksi lebih banyak dengan model dan menerapkannya pada domain yang diremehkan oleh penelitian.
Di tingkat bakat, Microsoft, Google, Meta, dan laboratorium model dasar besar telah memonopoli bakat penelitian yang langka, dan mereka menyediakan API untuk "penelitian AI sebagai layanan". Anda mungkin tidak dapat menyewa peneliti semacam ini, tetapi Anda dapat menyewa jasa mereka. Sekarang ada sekitar 5.000 peneliti LLM dan 50 juta insinyur perangkat lunak di seluruh dunia. Kendala pasokan ini menentukan bahwa insinyur AI dalam kategori "menengah" akan naik untuk memenuhi permintaan bakat.
Di tingkat perangkat keras, perusahaan dan institusi teknologi besar telah menimbun GPU dalam jumlah besar.Tentu saja, OpenAI dan Microsoft adalah yang pertama melakukannya, tetapi Stability AI memulai kompetisi GPU untuk startup dengan menekankan 4.000 cluster GPU mereka.
Selain itu, beberapa startup baru seperti Inflection ($1,3M), Mistral ($113M), Reka ($58M), Poolside ($26M) dan Contextual ($20M) umumnya telah mulai mengumpulkan sejumlah besar pendanaan awal untuk memilikinya fasilitas perangkat keras sendiri.
Eksekutif teknologi dan investor AS Nat Friedman bahkan mengumumkan inisiatif Andromeda mereka, sebuah cluster GPU senilai $100 juta dengan 10 exaflop daya komputasi yang didedikasikan untuk mendukung startup yang diinvestasikannya. Di sisi lain lanskap API, lebih banyak insinyur AI akan dapat menggunakan model, bukan hanya melatihnya.
Dalam hal efisiensi, alih-alih meminta ilmuwan data dan insinyur pembelajaran mesin untuk melakukan pengumpulan data yang membosankan sebelum melatih model khusus domain tunggal dan memasukkannya ke dalam produksi, manajer produk dan insinyur perangkat lunak dapat membangun dan memverifikasi ide produk dengan berinteraksi dengan LLM.
Katakanlah yang terakhir (data, insinyur ML) melebihi jumlah yang pertama (insinyur AI) sebanyak 100 hingga 1000 kali, dan cara Anda bekerja dengan berinteraksi dengan LLM akan membuat Anda 10 hingga 100 kali lebih cepat daripada pembelajaran mesin tradisional. Hasilnya, insinyur AI akan dapat memvalidasi produk AI 10.000 kali lebih murah dari sebelumnya.
Di level perangkat lunak, akan ada perubahan dari Python ke Java. Dunia data dan AI secara tradisional berpusat di sekitar Python, seperti alat rekayasa AI pertama seperti LangChain, LlamaIndex, dan Guardrails. Namun, setidaknya harus ada pengembang Java sebanyak pengembang Python, jadi alat semakin meluas ke arah ini, dari LangChain.js dan Transformers.js hingga AI SDK baru Vercel. Ukuran keseluruhan pasar dan peluang untuk Java sangat mengesankan.
Setiap kali sebuah subkelompok datang dengan latar belakang yang sama sekali berbeda, berbicara dengan bahasa yang sama sekali berbeda, membuat produk yang sama sekali berbeda, menggunakan alat yang sama sekali berbeda, mereka akhirnya berpisah menjadi kelompok mereka sendiri.
Peran kode dalam evolusi perangkat lunak 2.0 ke perangkat lunak 3.0
6 tahun yang lalu, Andrej Karpathy menulis artikel yang sangat berpengaruh yang menjelaskan Perangkat Lunak 2.0, membandingkan tumpukan klasik bahasa pemrograman tulisan tangan yang secara akurat memodelkan logika dengan tumpukan baru jaringan saraf pembelajaran mesin logika perkiraan. Artikel tersebut menunjukkan bahwa perangkat lunak dapat memecahkan lebih banyak masalah daripada yang dapat dimodelkan oleh manusia.
Tahun ini, Karpathy memposting bahwa bahasa pemrograman baru terpanas adalah bahasa Inggris, karena petunjuk dari AI generatif dapat dipahami sebagai kode yang dirancang manusia, dalam banyak kasus dalam bahasa Inggris, dan ditafsirkan oleh LLM, yang pada akhirnya mengisi kekosongan dalam bagannya. area abu-abu.
*Catatan: Tumpukan klasik Perangkat Lunak 1.0 (Perangkat Lunak 1.0) ditulis dengan Python, C++, dan bahasa lainnya. Perangkat lunak 2.0 ditulis menggunakan bobot jaringan saraf, dan tidak ada yang terlibat dalam proses penulisan kode ini karena bobotnya banyak. *
Tahun lalu, Teknik menjadi topik yang populer, dan orang-orang mulai menerapkan GPT-3 dan Difusi Stabil untuk bekerja. Orang-orang mencemooh startup AI sebagai pembungkus OpenAI dan khawatir tentang kerentanan aplikasi LLM terhadap injeksi petunjuk dan membalikkan rekayasa petunjuk.
Tapi tema yang sangat penting di tahun 2023 adalah tentang membangun kembali peran kode yang ditulis oleh manusia, dari raksasa Langchain dengan lebih dari 200 juta dolar AS hingga Voyager yang didukung oleh Nvidia, menunjukkan pentingnya pembuatan dan penggunaan kembali kode. Rekayasa overhyped dan gigih, tetapi kemunculan kembali paradigma Perangkat Lunak 1.0 dalam aplikasi Perangkat Lunak 3.0 merupakan peluang besar dan ruang baru untuk kebanyakan startup:
Ketika insinyur manusia belajar untuk menggunakan AI, dan AI semakin mengambil alih pekerjaan teknik, di masa depan, jika kita melihat ke belakang, akan sulit membedakan keduanya.
Konten Referensi:
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Jangan panggil saya seorang programmer, saya seorang "insinyur AI", Musk: Mulailah menggulirkan pemrograman bahasa alami
Sumber: Jantung Mesin
Setelah munculnya ChatGPT, orang meramalkan bahwa "semua industri akan dibentuk kembali oleh AI", beberapa pekerjaan akan diganti, dan beberapa pekerjaan akan berubah bentuknya. Seperti apa karir mereka sebagai programmer yang membangun AI?
Baru-baru ini, hal-hal tampaknya menjadi spektrum. Sekelompok insinyur dan cendekiawan meneriakkan konsep "insinyur AI" dan menerima banyak tanggapan:
Dikatakan bahwa "insinyur AI" ini berada di antara insinyur full-stack dan insinyur pembelajaran mesin, menempati bagian dari insinyur back-end dan berfokus pada konstruksi model besar. Sekarang masih dalam tahap definisi, tapi dilihat dari diskusi yang memanas, seharusnya tidak jauh dari pendaratan, toh kecepatan revolusi ChatGPT begitu cepat.
Begitu idenya keluar, big Vs di bidang AI dengan cepat berkomentar. Andrej Karpathy, seorang ilmuwan OpenAI dan mantan kepala AI dan mengemudi otonom di Tesla, setuju. "Model besar menciptakan lapisan abstraksi dan spesialisasi yang benar-benar baru, sejauh ini saya menyebutnya 'insinyur petunjuk', tetapi sekarang ini bukan hanya masalah petunjuk."
Selain itu, ia menunjukkan empat poin utama:
Selama diskusi, beberapa orang juga mengusulkan nama seperti "insinyur kognitif" dan "insinyur sistem AI" sebagai kandidat Ilmuwan AI Nvidia Jim Fan percaya bahwa profesi yang baru muncul ini harus disebut "insinyur bebas gradien" - dari alat tradisional 1.0 , hingga neural network 2.0, dan kemudian ke 3.0 tanpa arsitektur gradien, kami akhirnya menunggu versi 4.0 dari seri pelatihan mandiri GPT.
Ada banyak nama dan definisi yang diberikan, mari kita lihat seperti apa posisi "insinyur AI" ini?
Kami menyaksikan pergeseran sekali dalam satu dekade dalam AI terapan, didorong oleh kemampuan terobosan model fundamental serta model besar dan API sumber terbuka.
Tugas AI yang memakan waktu lima tahun dan diselesaikan oleh tim peneliti pada tahun 2013 sekarang hanya membutuhkan API, dokumentasi, dan waktu luang di sore hari pada tahun 2023.
Jika situasi ini ditanggapi dengan serius, itu harus dianggap sebagai pekerjaan penuh waktu. Akibatnya, rekayasa perangkat lunak akan menelurkan subdisiplin baru yang didedikasikan untuk penerapan kecerdasan buatan dan secara efektif menggunakan tumpukan yang muncul, seperti "Insinyur Keandalan Situs" (SRE), "Insinyur DevOps", "Insinyur Data", dan Hal yang sama berlaku untuk munculnya "insinyur analitik".
Versi baru (dan paling tidak keren) dari peran ini tampaknya adalah: insinyur kecerdasan buatan.
Kami tahu bahwa setiap startup memiliki semacam saluran Slack untuk membahas penggunaan AI, dan saluran tersebut akan segera beralih dari grup informal ke tim formal. Ribuan insinyur perangkat lunak saat ini bekerja untuk memproduksi API AI dan model OSS, baik selama jam kerja atau malam hari dan akhir pekan, di Slack perusahaan atau Perselisihan independen, semuanya diprofesionalkan dan dipusatkan di bawah satu judul: insinyur AI.
Ini kemungkinan akan menjadi pekerjaan teknik yang paling banyak diminati dalam dekade berikutnya.
Insinyur AI akan ditemukan di mana-mana, mulai dari raksasa teknologi seperti Microsoft dan Google, hingga perusahaan rintisan terkemuka seperti Figma, Vercel, dan Notion, hingga pengembang independen seperti Simon Willison, Pieter Levels, dan Riley Goodside. Mereka mendapatkan $300.000 setahun untuk praktik teknik mereka di Anthropic dan $900.000 setahun membangun perangkat lunak di OpenAI. Mereka menghabiskan akhir pekan gratis mereka untuk merenungkan ide di AGI House dan berbagi tips tentang subreddit /r/LocalLLaMA di Reddit.
Kesamaan yang mereka semua miliki adalah kemampuan untuk menerjemahkan kemajuan dalam kecerdasan buatan menjadi produk praktis yang digunakan oleh jutaan orang hampir dalam semalam. Dan di dalamnya, Anda tidak melihat gelar Ph.D. Saat mengirimkan produk AI, Anda membutuhkan insinyur, bukan peneliti.
Kebalikan besar dari insinyur AI dan insinyur ML
Serangkaian data di situs web Indeed menunjukkan bahwa jumlah posisi untuk insinyur pembelajaran mesin adalah 10 kali lipat dari insinyur AI, tetapi sebagai perbandingan, tingkat pertumbuhan di bidang AI lebih cepat, dan diperkirakan akan seperti ini. proporsinya akan terjadi dalam lima tahun. Pembalikan terjadi dan jumlah insinyur AI akan berkali-kali lebih banyak daripada insinyur ML.
Perdebatan tentang perbedaan antara AI dan ML tidak ada habisnya, tetapi hati-hati. Kami juga tahu bahwa perangkat lunak AI dapat dibuat oleh insinyur perangkat lunak biasa. Namun baru-baru ini, diskusi telah berkisar pada masalah lain, yaitu, utas populer di Berita Peretas "Bagaimana cara masuk ke rekayasa AI" telah membangkitkan minat luas. Posting populer ini juga menggambarkan prinsip-prinsip dasar pembatas yang masih ada di pasar, Perbedaannya antara setiap posisi masih sangat halus.
Hingga saat ini, banyak orang menganggap rekayasa AI sebagai salah satu bentuk rekayasa ML atau rekayasa data, jadi ketika seseorang bertanya bagaimana cara masuk ke suatu bidang, mereka cenderung merekomendasikan prasyarat yang sama, seperti pada jawaban di atas, banyak orang Merekomendasikan Coursera Andrew Ng kursus. Tetapi tidak satu pun dari insinyur AI yang efektif itu telah menyelesaikan kursus Wu Enda di Coursera, mereka tidak terbiasa dengan PyTorch, dan mereka tidak mengetahui perbedaan antara Data Lake (Data Lake) dan Data Warehouse (Data Warehouse).
Dalam waktu dekat, tidak ada yang akan menyarankan Anda untuk mulai mempelajari teknik AI dengan membaca makalah Transformer "Perhatian Adalah Yang Anda Butuhkan", sama seperti Anda mulai belajar mengemudi dengan membaca cetak biru Ford Model T. Tentu saja, memahami dasar-dasar dan sejarah perkembangan teknologi akan sangat membantu, yang dapat membantu Anda menemukan cara untuk meningkatkan pemikiran dan efisiensi Anda. Namun terkadang Anda juga dapat menggunakan produk untuk mempelajari karakteristiknya melalui pengalaman praktis.
Pembalikan insinyur AI vs. insinyur ML tidak akan terjadi dalam semalam, dan untuk seseorang dengan latar belakang ilmu data dan pembelajaran mesin yang baik, teknik dan rekayasa AI mungkin tidak terlihat bagus untuk waktu yang lama. Namun, seiring waktu, ekonomi permintaan dan penawaran akan berlaku, dan pandangan orang tentang rekayasa AI akan berubah.
**Mengapa insinyur AI akan bangkit? **
Pada tingkat model, banyak model dasar yang sekarang menjadi pebelajar dengan konteks yang kuat dan kemampuan transfer zero-shot Kinerja model seringkali melebihi tujuan awal dari model pelatihan. Dengan kata lain, orang yang membuat model ini tidak sepenuhnya mengetahui ruang lingkup kemampuan model. Dan mereka yang bukan ahli LLM (Large Language Model) dapat menemukan dan mengeksploitasi kemampuan ini dengan berinteraksi lebih banyak dengan model dan menerapkannya pada domain yang diremehkan oleh penelitian.
Di tingkat bakat, Microsoft, Google, Meta, dan laboratorium model dasar besar telah memonopoli bakat penelitian yang langka, dan mereka menyediakan API untuk "penelitian AI sebagai layanan". Anda mungkin tidak dapat menyewa peneliti semacam ini, tetapi Anda dapat menyewa jasa mereka. Sekarang ada sekitar 5.000 peneliti LLM dan 50 juta insinyur perangkat lunak di seluruh dunia. Kendala pasokan ini menentukan bahwa insinyur AI dalam kategori "menengah" akan naik untuk memenuhi permintaan bakat.
Di tingkat perangkat keras, perusahaan dan institusi teknologi besar telah menimbun GPU dalam jumlah besar.Tentu saja, OpenAI dan Microsoft adalah yang pertama melakukannya, tetapi Stability AI memulai kompetisi GPU untuk startup dengan menekankan 4.000 cluster GPU mereka.
Eksekutif teknologi dan investor AS Nat Friedman bahkan mengumumkan inisiatif Andromeda mereka, sebuah cluster GPU senilai $100 juta dengan 10 exaflop daya komputasi yang didedikasikan untuk mendukung startup yang diinvestasikannya. Di sisi lain lanskap API, lebih banyak insinyur AI akan dapat menggunakan model, bukan hanya melatihnya.
Dalam hal efisiensi, alih-alih meminta ilmuwan data dan insinyur pembelajaran mesin untuk melakukan pengumpulan data yang membosankan sebelum melatih model khusus domain tunggal dan memasukkannya ke dalam produksi, manajer produk dan insinyur perangkat lunak dapat membangun dan memverifikasi ide produk dengan berinteraksi dengan LLM.
Di level perangkat lunak, akan ada perubahan dari Python ke Java. Dunia data dan AI secara tradisional berpusat di sekitar Python, seperti alat rekayasa AI pertama seperti LangChain, LlamaIndex, dan Guardrails. Namun, setidaknya harus ada pengembang Java sebanyak pengembang Python, jadi alat semakin meluas ke arah ini, dari LangChain.js dan Transformers.js hingga AI SDK baru Vercel. Ukuran keseluruhan pasar dan peluang untuk Java sangat mengesankan.
Setiap kali sebuah subkelompok datang dengan latar belakang yang sama sekali berbeda, berbicara dengan bahasa yang sama sekali berbeda, membuat produk yang sama sekali berbeda, menggunakan alat yang sama sekali berbeda, mereka akhirnya berpisah menjadi kelompok mereka sendiri.
Peran kode dalam evolusi perangkat lunak 2.0 ke perangkat lunak 3.0
6 tahun yang lalu, Andrej Karpathy menulis artikel yang sangat berpengaruh yang menjelaskan Perangkat Lunak 2.0, membandingkan tumpukan klasik bahasa pemrograman tulisan tangan yang secara akurat memodelkan logika dengan tumpukan baru jaringan saraf pembelajaran mesin logika perkiraan. Artikel tersebut menunjukkan bahwa perangkat lunak dapat memecahkan lebih banyak masalah daripada yang dapat dimodelkan oleh manusia.
Tahun ini, Karpathy memposting bahwa bahasa pemrograman baru terpanas adalah bahasa Inggris, karena petunjuk dari AI generatif dapat dipahami sebagai kode yang dirancang manusia, dalam banyak kasus dalam bahasa Inggris, dan ditafsirkan oleh LLM, yang pada akhirnya mengisi kekosongan dalam bagannya. area abu-abu.
Tahun lalu, Teknik menjadi topik yang populer, dan orang-orang mulai menerapkan GPT-3 dan Difusi Stabil untuk bekerja. Orang-orang mencemooh startup AI sebagai pembungkus OpenAI dan khawatir tentang kerentanan aplikasi LLM terhadap injeksi petunjuk dan membalikkan rekayasa petunjuk.
Tapi tema yang sangat penting di tahun 2023 adalah tentang membangun kembali peran kode yang ditulis oleh manusia, dari raksasa Langchain dengan lebih dari 200 juta dolar AS hingga Voyager yang didukung oleh Nvidia, menunjukkan pentingnya pembuatan dan penggunaan kembali kode. Rekayasa overhyped dan gigih, tetapi kemunculan kembali paradigma Perangkat Lunak 1.0 dalam aplikasi Perangkat Lunak 3.0 merupakan peluang besar dan ruang baru untuk kebanyakan startup:
Konten Referensi: