**Вакансія з найбільшим попитом у наступні десять років – «інженер ШІ»? **
Після появи ChatGPT люди передбачали, що «всі галузі будуть переформовані ШІ», деякі роботи будуть замінені, а деякі змінить свою форму. Якою буде їхня кар’єра програмістів, які створюють ШІ?
Останнім часом, схоже, все виглядає зовсім інакше. Група інженерів і вчених назвала концепцію «інженер ШІ» і отримала багато відповідей:
Завдяки узагальненню та потужним можливостям великих мовних моделей, таких як GPT-4, наш спосіб роботи може незабаром змінитися на роботу зі штучним інтелектом, і не відставати від штучного інтелекту – це робота на повний робочий день.
Кажуть, що цей «інженер штучного інтелекту» знаходиться між інженером повного стека та інженером машинного навчання, займаючи частину бек-енд інженера та зосереджуючись на конструюванні великих моделей. Зараз він все ще знаходиться на стадії визначення, але, судячи з гарячих дискусій, він не повинен бути далеким від посадки, зрештою, швидкість революції ChatGPT така висока.
Як тільки ця ідея з’явилася, великі проти в галузі ШІ швидко прокоментували. Андрій Карпаті, науковець OpenAI і колишній керівник відділу ШІ та автономного водіння в Tesla, погоджується. «Великі моделі створюють абсолютно новий рівень абстракції та спеціалізації, досі я називав це «інженерами підказок», але тепер це не просто питання підказок».
Крім того, він зазначив чотири основні моменти:
Попередня робота з машинного навчання зазвичай включала навчання алгоритмів з нуля, і результати зазвичай мали обмежену ефективність.
Навчання на великомасштабній моделі дуже відрізняється від традиційного машинного навчання. Попередня система має велике робоче навантаження, а нову роль було розділено, щоб зосередитися на широкомасштабному навчанні Transformer на суперкомп’ютерах.
Чисельно кількість інженерів штучного інтелекту може бути набагато вищою, ніж кількість інженерів машинного навчання/розробників великих моделей.
Вам не потрібна ніяка підготовка, щоб досягти успіху в цій ролі.
Прочитавши його, Маск також сказав:
Посада дуже затребувана, важлива та низькі бар'єри для вступу. Здається хвилюючою та тривожною.
Під час обговорення деякі люди також запропонували такі назви, як «когнітивний інженер» і «системний інженер штучного інтелекту» в якості кандидатів. Вчений зі штучного інтелекту Nvidia Джим Фан вважає, що цю професію, що розвивається, слід називати «неградієнтним інженером» - від традиційних інструментів 1.0 до нейронної мережі 2.0, а потім до 3.0 без градієнтної архітектури, ми нарешті дочекалися версії 4.0 серії самонавчання GPT.
З цього приводу Себастьян Рашка, доцент Університету Вісконсіна, сказав, що це підходить лише для загальних помічників, а для більшості підприємств вам не потрібне «загальне».
Наведено багато імен і визначень, давайте подивимося, що це за посада «інженер ШІ»?
Ми є свідками зміни прикладного штучного інтелекту, що відбувається раз на десятиліття, завдяки революційним можливостям фундаментальних моделей і великих моделей і API з відкритим кодом.
Завдання штучного інтелекту, на виконання яких у 2013 році пішло п’ять років і дослідницька група, тепер у 2023 році потребують лише API, документації та вільного дня.
Однак різницю вирішують деталі – виклики застосування та виробництва ШІ нескінченні:
На моделі є від найбільших моделей GPT-4 і Claude до відкритих моделей Huggingface, LLaMA та інших;
Інструменти, від найпопулярніших інструментів зв’язування, пошуку та векторного пошуку (таких як LangChain, LlamaIndex і Pinecone) до нових автономних агентів (таких як Auto-GPT і BabyAGI);
Технічно кількість нових документів, моделей і методів, які надсилаються щодня, експоненціально зросла разом із інтересом і фінансуванням, аж до того, що розуміння всього цього стало майже повною роботою.
Якщо сприймати цю ситуацію серйозно, її слід розглядати як повний робочий день. У результаті розробка програмного забезпечення породить нову субдисципліну, присвячену застосуванню штучного інтелекту та ефективному використанню нових стеків, як-от «Інженери надійності сайтів» (SRE), «Інженери DevOps», «Інженери даних» і те саме стосується поява «інженерів-аналітиків».
Здається, абсолютно нова (і найменш приголомшлива) версія цієї ролі: інженер штучного інтелекту.
Ми знаємо, що кожен стартап має певний канал Slack для обговорення використання ШІ, і незабаром ці канали перейдуть від неформальних груп до формальних команд. Тисячі програмних інженерів зараз працюють над створенням API і OSS моделей штучного інтелекту, чи то в робочі години, чи то вечорами чи вихідними, у корпоративних Slacks чи незалежних Discords, усі професійно та централізовано під однією назвою: інженер ШІ.
Ймовірно, це буде найбільш затребувана інженерна робота в наступному десятилітті.
Інженерів зі штучного інтелекту можна знайти скрізь: від технічних гігантів, таких як Microsoft і Google, до провідних стартапів, таких як Figma, Vercel і Notion, і до незалежних розробників, таких як Саймон Віллісон, Пітер Левелс і Райлі Гудсайд. Вони заробляють 300 000 доларів на рік за свою інженерну практику в Anthropic і 900 000 доларів на рік, створюючи програмне забезпечення в OpenAI. Вони проводять свої вільні вихідні, обмірковуючи ідеї в AGI House і ділячись порадами щодо субредіту /r/LocalLLaMA на Reddit.
Спільним для них є здатність перетворити досягнення в області штучного інтелекту в практичні продукти, якими користуються мільйони людей практично миттєво. І в ньому ви не бачите звання доктора філософії. Для доставки продуктів ШІ вам потрібні інженери, а не дослідники.
Велика зміна інженерів AI та інженерів ML
Набір даних на веб-сайті Indeed показує, що кількість посад для інженерів з машинного навчання в 10 разів більша, ніж для інженерів штучного інтелекту, але для порівняння темпи зростання в галузі штучного інтелекту є швидшими, і прогнозується, що це Пропорція буде протягом п’яти років. Відбувається інверсія, і інженерів штучного інтелекту буде в рази більше, ніж інженерів машинного навчання.
HN Who's Hiring (це щомісячна публікація на Hacker News, яка надає роботодавцям платформу для розміщення оголошень про роботу) Щомісячні тенденції зайнятості за категоріями
Дебати про відмінності між штучним інтелектом і машинним навчанням були нескінченними, але обережними. Ми також знаємо, що програмне забезпечення штучного інтелекту може бути створено звичайними розробниками програмного забезпечення. Однак нещодавно дискусії точилися навколо іншого питання, а саме: популярна тема на Hacker News «Як потрапити в розробку ШІ» викликала широкий інтерес. Ця популярна публікація також ілюструє основні обмежувальні принципи, які все ще існують на ринку, відмінність між кожною позицією все ще дуже добре.
*Знімок екрана допису в Hacker News за червень 2023 року: «Як потрапити в розробку штучного інтелекту» — відповіді, які користуються найбільшою кількістю голосів. *
Досі багато людей вважали розробку штучного інтелекту формою інженерії ML або обробки даних, тому, коли хтось запитує, як потрапити в сферу, вони, як правило, рекомендують ті самі передумови, як у відповідях вище, багато людей рекомендують Coursera Ендрю Нга курс. Але жоден із цих ефективних інженерів штучного інтелекту не пройшов курс Ву Енди на Coursera, вони не знайомі з PyTorch і не знають різниці між Data Lake (Data Lake) і Data Warehouse (Data Warehouse).
У найближчому майбутньому ніхто не запропонує почати вивчати розробку штучного інтелекту, прочитавши статтю Transformer «Увага — це все, що вам потрібно», так само, як ви не почнете вчитися керувати автомобілем, прочитавши креслення Ford Model T. Звичайно, корисно розуміти основи та історичний розвиток технологій, що може допомогти вам знайти способи покращити своє мислення та ефективність. Але іноді ви також можете використовувати продукти, щоб дізнатися їхні характеристики на практичному досвіді.
Зміна інженерів штучного інтелекту проти інженерів машинного навчання не станеться миттєво, і для людини з хорошим досвідом обробки даних і машинного навчання інженерія та розробка штучного інтелекту можуть довго не виглядати добре. Однак з часом економіка попиту та пропозиції візьме верх, і погляди людей на розробку ШІ зміняться.
**Чому піднімуться інженери ШІ? **
На рівні моделі багато базових моделей тепер є незначними для навчання з сильним контекстним навчанням і можливостями нульової передачі. Продуктивність моделі часто перевищує початковий намір навчальної моделі. Іншими словами, люди, які створюють ці моделі, не повністю знають обсяг можливостей моделей. А ті, хто не є фахівцями з LLM (Large Language Model), можуть виявити та використати ці можливості, більше взаємодіючи з моделлю та застосовуючи її до областей, недооцінених дослідженнями.
На рівні талантів Microsoft, Google, Meta та великі лабораторії базових моделей монополізували дефіцитні дослідницькі таланти та надають API для «досліджень ШІ як послуги». Можливо, ви не зможете найняти такого дослідника, але можете орендувати його послуги. Зараз у всьому світі налічується близько 5000 дослідників магістра права та 50 мільйонів інженерів програмного забезпечення. Це обмеження пропозиції диктує, що інженери штучного інтелекту в «середній» категорії піднімуться, щоб задовольнити попит на таланти.
На апаратному рівні великі технологічні компанії та установи накопичили графічні процесори у великих кількостях.Звичайно, OpenAI та Microsoft були першими, хто зробив це, але Stability AI розпочав конкуренцію графічних процесорів для стартапів, підкресливши їх 4000 кластерів GPU.
Крім того, деякі нові стартапи, такі як Inflection ($1,3 млрд), Mistral ($113 млн), Reka ($58 млн), Poolside ($26 млн) і Contextual ($20 млн), загалом почали залучати величезні суми початкового раунду фінансування для володіння своїм власні апаратні засоби.
Американський технічний керівник та інвестор Нат Фрідман навіть оголосив про свою ініціативу Andromeda, кластер GPU вартістю 100 мільйонів доларів із обчислювальною потужністю 10 екзафлопсів, призначений для підтримки стартапів, у які він інвестує. З іншого боку ландшафту API, більше інженерів штучного інтелекту зможуть використовувати моделі, а не просто навчати їх.
З точки зору ефективності, замість того, щоб вимагати від спеціалістів із обробки даних та інженерів з машинного навчання виконувати виснажливий збір даних перед навчанням окремої предметно-спеціальної моделі та введенням її у виробництво, менеджери продуктів та інженери програмного забезпечення можуть створювати та перевіряти ідеї продукту, взаємодіючи з LLM.
Скажімо, останні (дані, інженери ML) переважають перших (інженери штучного інтелекту) у 100–1000 разів, а спосіб роботи, взаємодіючи з LLM, приведе вас у 10–100 разів швидше, ніж традиційне машинне навчання. У результаті інженери штучного інтелекту зможуть перевіряти продукти штучного інтелекту в 10 000 разів дешевше, ніж раніше.
На програмному рівні відбудуться зміни з Python на Java. Світ даних і штучного інтелекту традиційно зосереджувався навколо Python, як і перші інструменти розробки штучного інтелекту, такі як LangChain, LlamaIndex і Guardrails. Однак розробників Java має бути принаймні стільки, скільки розробників Python, тому інструменти все більше розширюються в цьому напрямку, починаючи від LangChain.js і Transformers.js і закінчуючи новим AI SDK Vercel. Загальний розмір ринку та можливості Java вражають.
Кожного разу, коли приходить підгрупа з абсолютно іншим походженням, розмовляє зовсім іншою мовою, створює зовсім інший продукт, використовує зовсім інший інструмент, вони в кінцевому підсумку розділяються на свою власну групу.
Роль коду в еволюції програмного забезпечення 2.0 до програмного забезпечення 3.0
6 років тому Андрій Карпаті написав дуже впливову статтю, описуючи програмне забезпечення 2.0, порівнюючи класичні стеки рукописних мов програмування, які точно моделюють логіку, з новими стеками нейронних мереж машинного навчання наближеної логіки. Стаття показує, що програмне забезпечення може вирішити набагато більше проблем, ніж люди можуть змоделювати.
Цього року Карпаті продовжив публікацію, що найпопулярнішою новою мовою програмування є англійська, оскільки підказки від генеративного штучного інтелекту можна розуміти як створений людьми код, у багатьох випадках англійською мовою, і інтерпретувати його магістрами права, що зрештою заповнює прогалини в його таблиці. сіра зона.
*Примітка. Класичний стек програмного забезпечення 1.0 (програмне забезпечення 1.0) написано мовами Python, C++ та іншими мовами. Програмне забезпечення 2.0 було написано з використанням вагових коефіцієнтів нейронної мережі, і ніхто не брав участі в процесі написання цього коду, оскільки вагових коефіцієнтів багато. *
Минулого року техніка стала популярною темою, і люди почали застосовувати GPT-3 і Stable Diffusion для роботи. Люди висміюють стартапи зі штучним інтелектом як оболонки OpenAI і турбуються про вразливість програм LLM до ін’єкції підказок і зворотної розробки підказок.
Але дуже важливою темою 2023 року є відновлення ролі коду, написаного людьми, від гіганта Langchain із понад 200 мільйонами доларів США до Voyager за підтримки Nvidia, демонструючи важливість генерації та повторного використання коду. Розробка є водночас розкрученою та наполегливою, але повторна поява парадигми програмного забезпечення 1.0 у програмах програмного забезпечення 3.0 є водночас величезною можливістю та новим простором для безлічі стартапів:
Оскільки інженери-люди вчаться використовувати штучний інтелект, а штучний інтелект все більше бере на себе роботу інженерів, у майбутньому, коли ми озирнемося назад, буде важко помітити різницю між ними.
Довідковий вміст:
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Не називайте мене програмістом, я «інженер штучного інтелекту», Маск: Почніть розгортати програмування природною мовою
Джерело: Heart of the Machine
Після появи ChatGPT люди передбачали, що «всі галузі будуть переформовані ШІ», деякі роботи будуть замінені, а деякі змінить свою форму. Якою буде їхня кар’єра програмістів, які створюють ШІ?
Останнім часом, схоже, все виглядає зовсім інакше. Група інженерів і вчених назвала концепцію «інженер ШІ» і отримала багато відповідей:
Кажуть, що цей «інженер штучного інтелекту» знаходиться між інженером повного стека та інженером машинного навчання, займаючи частину бек-енд інженера та зосереджуючись на конструюванні великих моделей. Зараз він все ще знаходиться на стадії визначення, але, судячи з гарячих дискусій, він не повинен бути далеким від посадки, зрештою, швидкість революції ChatGPT така висока.
Як тільки ця ідея з’явилася, великі проти в галузі ШІ швидко прокоментували. Андрій Карпаті, науковець OpenAI і колишній керівник відділу ШІ та автономного водіння в Tesla, погоджується. «Великі моделі створюють абсолютно новий рівень абстракції та спеціалізації, досі я називав це «інженерами підказок», але тепер це не просто питання підказок».
Крім того, він зазначив чотири основні моменти:
Під час обговорення деякі люди також запропонували такі назви, як «когнітивний інженер» і «системний інженер штучного інтелекту» в якості кандидатів. Вчений зі штучного інтелекту Nvidia Джим Фан вважає, що цю професію, що розвивається, слід називати «неградієнтним інженером» - від традиційних інструментів 1.0 до нейронної мережі 2.0, а потім до 3.0 без градієнтної архітектури, ми нарешті дочекалися версії 4.0 серії самонавчання GPT.
Наведено багато імен і визначень, давайте подивимося, що це за посада «інженер ШІ»?
Ми є свідками зміни прикладного штучного інтелекту, що відбувається раз на десятиліття, завдяки революційним можливостям фундаментальних моделей і великих моделей і API з відкритим кодом.
Завдання штучного інтелекту, на виконання яких у 2013 році пішло п’ять років і дослідницька група, тепер у 2023 році потребують лише API, документації та вільного дня.
Якщо сприймати цю ситуацію серйозно, її слід розглядати як повний робочий день. У результаті розробка програмного забезпечення породить нову субдисципліну, присвячену застосуванню штучного інтелекту та ефективному використанню нових стеків, як-от «Інженери надійності сайтів» (SRE), «Інженери DevOps», «Інженери даних» і те саме стосується поява «інженерів-аналітиків».
Здається, абсолютно нова (і найменш приголомшлива) версія цієї ролі: інженер штучного інтелекту.
Ми знаємо, що кожен стартап має певний канал Slack для обговорення використання ШІ, і незабаром ці канали перейдуть від неформальних груп до формальних команд. Тисячі програмних інженерів зараз працюють над створенням API і OSS моделей штучного інтелекту, чи то в робочі години, чи то вечорами чи вихідними, у корпоративних Slacks чи незалежних Discords, усі професійно та централізовано під однією назвою: інженер ШІ.
Ймовірно, це буде найбільш затребувана інженерна робота в наступному десятилітті.
Інженерів зі штучного інтелекту можна знайти скрізь: від технічних гігантів, таких як Microsoft і Google, до провідних стартапів, таких як Figma, Vercel і Notion, і до незалежних розробників, таких як Саймон Віллісон, Пітер Левелс і Райлі Гудсайд. Вони заробляють 300 000 доларів на рік за свою інженерну практику в Anthropic і 900 000 доларів на рік, створюючи програмне забезпечення в OpenAI. Вони проводять свої вільні вихідні, обмірковуючи ідеї в AGI House і ділячись порадами щодо субредіту /r/LocalLLaMA на Reddit.
Спільним для них є здатність перетворити досягнення в області штучного інтелекту в практичні продукти, якими користуються мільйони людей практично миттєво. І в ньому ви не бачите звання доктора філософії. Для доставки продуктів ШІ вам потрібні інженери, а не дослідники.
Велика зміна інженерів AI та інженерів ML
Набір даних на веб-сайті Indeed показує, що кількість посад для інженерів з машинного навчання в 10 разів більша, ніж для інженерів штучного інтелекту, але для порівняння темпи зростання в галузі штучного інтелекту є швидшими, і прогнозується, що це Пропорція буде протягом п’яти років. Відбувається інверсія, і інженерів штучного інтелекту буде в рази більше, ніж інженерів машинного навчання.
Дебати про відмінності між штучним інтелектом і машинним навчанням були нескінченними, але обережними. Ми також знаємо, що програмне забезпечення штучного інтелекту може бути створено звичайними розробниками програмного забезпечення. Однак нещодавно дискусії точилися навколо іншого питання, а саме: популярна тема на Hacker News «Як потрапити в розробку ШІ» викликала широкий інтерес. Ця популярна публікація також ілюструє основні обмежувальні принципи, які все ще існують на ринку, відмінність між кожною позицією все ще дуже добре.
Досі багато людей вважали розробку штучного інтелекту формою інженерії ML або обробки даних, тому, коли хтось запитує, як потрапити в сферу, вони, як правило, рекомендують ті самі передумови, як у відповідях вище, багато людей рекомендують Coursera Ендрю Нга курс. Але жоден із цих ефективних інженерів штучного інтелекту не пройшов курс Ву Енди на Coursera, вони не знайомі з PyTorch і не знають різниці між Data Lake (Data Lake) і Data Warehouse (Data Warehouse).
У найближчому майбутньому ніхто не запропонує почати вивчати розробку штучного інтелекту, прочитавши статтю Transformer «Увага — це все, що вам потрібно», так само, як ви не почнете вчитися керувати автомобілем, прочитавши креслення Ford Model T. Звичайно, корисно розуміти основи та історичний розвиток технологій, що може допомогти вам знайти способи покращити своє мислення та ефективність. Але іноді ви також можете використовувати продукти, щоб дізнатися їхні характеристики на практичному досвіді.
Зміна інженерів штучного інтелекту проти інженерів машинного навчання не станеться миттєво, і для людини з хорошим досвідом обробки даних і машинного навчання інженерія та розробка штучного інтелекту можуть довго не виглядати добре. Однак з часом економіка попиту та пропозиції візьме верх, і погляди людей на розробку ШІ зміняться.
**Чому піднімуться інженери ШІ? **
На рівні моделі багато базових моделей тепер є незначними для навчання з сильним контекстним навчанням і можливостями нульової передачі. Продуктивність моделі часто перевищує початковий намір навчальної моделі. Іншими словами, люди, які створюють ці моделі, не повністю знають обсяг можливостей моделей. А ті, хто не є фахівцями з LLM (Large Language Model), можуть виявити та використати ці можливості, більше взаємодіючи з моделлю та застосовуючи її до областей, недооцінених дослідженнями.
На рівні талантів Microsoft, Google, Meta та великі лабораторії базових моделей монополізували дефіцитні дослідницькі таланти та надають API для «досліджень ШІ як послуги». Можливо, ви не зможете найняти такого дослідника, але можете орендувати його послуги. Зараз у всьому світі налічується близько 5000 дослідників магістра права та 50 мільйонів інженерів програмного забезпечення. Це обмеження пропозиції диктує, що інженери штучного інтелекту в «середній» категорії піднімуться, щоб задовольнити попит на таланти.
На апаратному рівні великі технологічні компанії та установи накопичили графічні процесори у великих кількостях.Звичайно, OpenAI та Microsoft були першими, хто зробив це, але Stability AI розпочав конкуренцію графічних процесорів для стартапів, підкресливши їх 4000 кластерів GPU.
Американський технічний керівник та інвестор Нат Фрідман навіть оголосив про свою ініціативу Andromeda, кластер GPU вартістю 100 мільйонів доларів із обчислювальною потужністю 10 екзафлопсів, призначений для підтримки стартапів, у які він інвестує. З іншого боку ландшафту API, більше інженерів штучного інтелекту зможуть використовувати моделі, а не просто навчати їх.
З точки зору ефективності, замість того, щоб вимагати від спеціалістів із обробки даних та інженерів з машинного навчання виконувати виснажливий збір даних перед навчанням окремої предметно-спеціальної моделі та введенням її у виробництво, менеджери продуктів та інженери програмного забезпечення можуть створювати та перевіряти ідеї продукту, взаємодіючи з LLM.
На програмному рівні відбудуться зміни з Python на Java. Світ даних і штучного інтелекту традиційно зосереджувався навколо Python, як і перші інструменти розробки штучного інтелекту, такі як LangChain, LlamaIndex і Guardrails. Однак розробників Java має бути принаймні стільки, скільки розробників Python, тому інструменти все більше розширюються в цьому напрямку, починаючи від LangChain.js і Transformers.js і закінчуючи новим AI SDK Vercel. Загальний розмір ринку та можливості Java вражають.
Кожного разу, коли приходить підгрупа з абсолютно іншим походженням, розмовляє зовсім іншою мовою, створює зовсім інший продукт, використовує зовсім інший інструмент, вони в кінцевому підсумку розділяються на свою власну групу.
Роль коду в еволюції програмного забезпечення 2.0 до програмного забезпечення 3.0
6 років тому Андрій Карпаті написав дуже впливову статтю, описуючи програмне забезпечення 2.0, порівнюючи класичні стеки рукописних мов програмування, які точно моделюють логіку, з новими стеками нейронних мереж машинного навчання наближеної логіки. Стаття показує, що програмне забезпечення може вирішити набагато більше проблем, ніж люди можуть змоделювати.
Цього року Карпаті продовжив публікацію, що найпопулярнішою новою мовою програмування є англійська, оскільки підказки від генеративного штучного інтелекту можна розуміти як створений людьми код, у багатьох випадках англійською мовою, і інтерпретувати його магістрами права, що зрештою заповнює прогалини в його таблиці. сіра зона.
Минулого року техніка стала популярною темою, і люди почали застосовувати GPT-3 і Stable Diffusion для роботи. Люди висміюють стартапи зі штучним інтелектом як оболонки OpenAI і турбуються про вразливість програм LLM до ін’єкції підказок і зворотної розробки підказок.
Але дуже важливою темою 2023 року є відновлення ролі коду, написаного людьми, від гіганта Langchain із понад 200 мільйонами доларів США до Voyager за підтримки Nvidia, демонструючи важливість генерації та повторного використання коду. Розробка є водночас розкрученою та наполегливою, але повторна поява парадигми програмного забезпечення 1.0 у програмах програмного забезпечення 3.0 є водночас величезною можливістю та новим простором для безлічі стартапів:
Довідковий вміст: