**O trabalho com maior demanda nos próximos dez anos é "engenheiro de IA"? **
Após o surgimento do ChatGPT, as pessoas previram que "todas as indústrias serão reformuladas pela IA", alguns empregos serão substituídos e alguns empregos mudarão de forma. Como serão suas carreiras como programadores que criam IA?
Recentemente, as coisas parecem estar no espectro. Um grupo de engenheiros e acadêmicos chamou o conceito de "engenheiro de IA" e recebeu muitas respostas:
Devido à generalização e aos poderosos recursos de grandes modelos de linguagem, como o GPT-4, a maneira como trabalhamos pode mudar em breve para trabalhar com IA, e acompanhar o ritmo da inteligência artificial é um trabalho de tempo integral em si.
Diz-se que esse "engenheiro de IA" está entre o engenheiro full-stack e o engenheiro de aprendizado de máquina, ocupando parte do engenheiro de back-end e focando na construção de grandes modelos. Agora ainda está em fase de definição, mas a julgar pelas discussões acaloradas, não deve estar longe de aterrissar, afinal, a velocidade da revolução do ChatGPT é muito rápida.
Assim que a ideia surgiu, grandes Vs no campo da IA rapidamente comentaram. Andrej Karpathy, cientista da OpenAI e ex-chefe de IA e direção autônoma da Tesla, concorda. "Grandes modelos criam toda uma nova camada de abstração e especialização, até agora eu chamei isso de 'insinuação de engenheiros', mas agora não é apenas uma questão de insinuação."
Além disso, ele apontou quatro pontos principais:
Trabalhos anteriores de aprendizado de máquina geralmente envolviam algoritmos de treinamento desde o início, e os resultados normalmente tinham desempenho limitado.
O treinamento de modelo em grande escala é muito diferente do aprendizado de máquina tradicional. O sistema anterior tem uma grande carga de trabalho e uma nova função foi dividida para se concentrar no treinamento em grande escala do Transformer em supercomputadores.
Numericamente, o número de engenheiros de IA pode ser muito maior do que o de engenheiros de aprendizado de máquina/engenheiros de modelos grandes.
Você não precisa de nenhum treinamento para ter sucesso nessa função.
Depois de lê-lo, Musk também disse:
A posição está em alta demanda, importante e com poucas barreiras de entrada. Parece excitante e ansioso.
Durante a discussão, algumas pessoas também propuseram nomes como "engenheiro cognitivo" e "engenheiro de sistema de IA" como candidatos. O cientista de IA da Nvidia, Jim Fan, acredita que essa profissão emergente deveria ser chamada de "engenheiro sem gradiente" - de ferramentas tradicionais 1.0 a rede neural 2.0 e depois para 3.0 sem arquitetura de gradiente, finalmente esperamos pela versão 4.0 da série GPT de autotreinamento.
A esse respeito, Sebastian Raschka, professor assistente da Universidade de Wisconsin, disse que isso é adequado apenas para assistentes gerais e, para a maioria das empresas, você não precisa de "geral".
Muitos nomes e definições foram dados, vamos ver que tipo de cargo é esse "engenheiro de IA"?
Estamos testemunhando uma mudança única em uma década na IA aplicada, alimentada pelos recursos inovadores de modelos fundamentais e grandes modelos e APIs de código aberto.
Tarefas de IA que levaram cinco anos e uma equipe de pesquisa para realizar em 2013 agora exigem apenas APIs, documentação e uma tarde livre em 2023.
No entanto, são os detalhes que fazem a diferença – os desafios de aplicar e produzir IA são infinitos:
No modelo, há desde o maior modelo GPT-4 e Claude, até o código aberto Huggingface, LLaMA e outros modelos;
Ferramentas, desde as ferramentas mais populares de vinculação, recuperação e pesquisa de vetores (como LangChain, LlamaIndex e Pinecone) até o campo emergente de agentes autônomos (como Auto-GPT e BabyAGI);
Tecnicamente, o número de novos artigos, modelos e técnicas enviados a cada dia cresceu exponencialmente com juros e financiamento, a ponto de entender tudo isso se tornou quase um trabalho de tempo integral.
Se esta situação for levada a sério, deve ser considerada um trabalho a tempo inteiro. Como resultado, a engenharia de software gerará uma nova subdisciplina dedicada à aplicação de inteligência artificial e ao emprego efetivo da pilha emergente, como "Engenheiros de confiabilidade de site" (SREs), "Engenheiros de DevOps", "Engenheiros de dados" e o surgimento de "engenheiros analíticos".
A versão totalmente nova (e menos incrível) dessa função parece ser: engenheiro de inteligência artificial.
Sabemos que toda startup tem algum tipo de canal Slack para discutir o uso de IA e, em breve, esses canais passarão de grupos informais para equipes formais. Milhares de engenheiros de software estão atualmente trabalhando na produção de APIs de IA e modelos de OSS, seja durante o expediente ou à noite e nos fins de semana, em Slacks corporativos ou Discords independentes, todos profissionalizados e centralizados sob um título: engenheiro de IA.
Este provavelmente será o trabalho de engenharia mais procurado na próxima década.
Engenheiros de IA serão encontrados em todos os lugares, desde gigantes da tecnologia como Microsoft e Google, até startups líderes como Figma, Vercel e Notion, e desenvolvedores independentes como Simon Willison, Pieter Levels e Riley Goodside. Eles ganham US$ 300.000 por ano por sua prática de engenharia na Anthropic e US$ 900.000 por ano construindo software na OpenAI. Eles passam seus fins de semana livres refletindo sobre ideias na AGI House e compartilhando dicas no subreddit /r/LocalLLaMA no Reddit.
O que todos eles têm em comum é a capacidade de traduzir os avanços da inteligência artificial em produtos práticos usados por milhões de pessoas quase da noite para o dia. E nele você não vê um título de doutorado. Ao entregar produtos de IA, você precisa de engenheiros, não de pesquisadores.
A grande reversão dos engenheiros de IA e engenheiros de ML
Um conjunto de dados no site do Indeed mostra que o número de vagas para engenheiros de aprendizado de máquina é 10 vezes maior do que para engenheiros de IA, mas, em comparação, a taxa de crescimento no campo de IA é mais rápida e prevê-se que isso proporção será dentro de cinco anos. A inversão ocorre e haverá muitas vezes mais engenheiros de IA do que engenheiros de ML.
HN Who's Hiring (que é uma postagem mensal no Hacker News que fornece uma plataforma para os empregadores postarem ofertas de emprego) Tendências mensais de emprego por categoria
O debate sobre as diferenças entre IA e ML tem sido interminável, mas cauteloso. Também sabemos que o software de IA pode ser construído por engenheiros de software comuns. Recentemente, no entanto, as discussões giraram em torno de outra questão, ou seja, um tópico popular no Hacker News "Como entrar na engenharia de IA" despertou interesse generalizado. Esta postagem popular também ilustra os princípios limitadores básicos que ainda existem no mercado, A distinção entre cada posição ainda é muito bom.
* Captura de tela de uma postagem de junho de 2023 no Hacker News: "How to Get Into AI Engineering" Top Voted Answers. *
Até agora, muitas pessoas pensavam na engenharia de IA como uma forma de engenharia de ML ou engenharia de dados, então quando alguém pergunta como entrar em um campo, eles tendem a recomendar os mesmos pré-requisitos, como nas respostas acima, muitas pessoas recomendam o Coursera de Andrew Ng curso. Mas nenhum desses engenheiros de IA eficazes concluiu o curso de Wu Enda no Coursera, eles não estão familiarizados com o PyTorch e não sabem a diferença entre Data Lake (Data Lake) e Data Warehouse (Data Warehouse).
Em um futuro próximo, ninguém vai sugerir que você comece a aprender engenharia de IA lendo o artigo do Transformer "Atenção é tudo o que você precisa", assim como você não começa a aprender a dirigir lendo as plantas do Ford Modelo T. Claro, é útil entender os fundamentos e o desenvolvimento histórico da tecnologia, o que pode ajudá-lo a encontrar maneiras de melhorar seu pensamento e eficiência. Mas às vezes você também pode usar produtos para aprender suas características por meio da experiência prática.
A reversão de engenheiros de IA versus engenheiros de ML não acontecerá da noite para o dia e, para alguém com um bom histórico em ciência de dados e aprendizado de máquina, a engenharia e a engenharia de IA podem não parecer boas por muito tempo. No entanto, com o tempo, a economia de demanda e oferta prevalecerá e as opiniões das pessoas sobre a engenharia de IA mudarão.
**Por que os engenheiros de IA vão subir? **
No nível do modelo, muitos modelos básicos agora são aprendizes de poucos tiros com forte aprendizado de contexto e recursos de transferência de tiro zero. O desempenho do modelo geralmente excede a intenção original do modelo de treinamento. Em outras palavras, as pessoas que criam esses modelos não conhecem totalmente o escopo dos recursos dos modelos. E aqueles que não são especialistas em LLM (Large Language Model) podem descobrir e explorar esses recursos interagindo mais com o modelo e aplicando-o a domínios subestimados pela pesquisa.
No nível de talento, Microsoft, Google, Meta e grandes laboratórios de modelos básicos monopolizaram talentos de pesquisa escassos e fornecem APIs para "pesquisa de IA como serviço". Você pode não conseguir contratar esse tipo de pesquisador, mas pode alugar seus serviços. Existem agora cerca de 5.000 pesquisadores LLM e 50 milhões de engenheiros de software em todo o mundo. Essa restrição de oferta determina que os engenheiros de IA na categoria “intermediária” subirão para atender à demanda de talentos.
No nível de hardware, grandes empresas e instituições de tecnologia acumularam GPUs em grandes quantidades. Claro, OpenAI e Microsoft foram os primeiros a fazê-lo, mas Stability AI iniciou a competição de GPU para startups enfatizando seus 4.000 clusters de GPU.
Além disso, algumas novas startups, como Inflection (US$ 1,3 bilhão), Mistral (US$ 113 milhões), Reka (US$ 58 milhões), Poolside (US$ 26 milhões) e Contextual (US$ 20 milhões) geralmente começaram a levantar grandes somas rodada de financiamento inicial para possuir seu próprio próprias instalações de hardware.
O executivo de tecnologia e investidor dos EUA, Nat Friedman, até anunciou sua iniciativa Andromeda, um cluster de GPU de US$ 100 milhões com 10 exaflops de poder de computação dedicado a apoiar as startups nas quais investe. Do outro lado do cenário da API, mais engenheiros de IA poderão usar modelos, não apenas treiná-los.
Em termos de eficiência, em vez de exigir que cientistas de dados e engenheiros de aprendizado de máquina realizem uma tediosa coleta de dados antes de treinar um único modelo específico de domínio e colocá-lo em produção, gerentes de produto e engenheiros de software podem criar e verificar ideias de produtos interagindo com o LLM.
Digamos que os últimos (engenheiros de dados, ML) superem os primeiros (engenheiros de IA) de 100 a 1.000 vezes, e a maneira como você trabalha interagindo com o LLM o deixará 10 a 100 vezes mais rápido do que o aprendizado de máquina tradicional. Como resultado, os engenheiros de IA poderão validar produtos de IA 10.000 vezes mais baratos do que antes.
Ao nível do software, haverá mudanças de Python para Java. O mundo dos dados e da IA tem sido tradicionalmente centrado em Python, assim como as primeiras ferramentas de engenharia de IA, como LangChain, LlamaIndex e Guardrails. No entanto, deve haver pelo menos tantos desenvolvedores Java quanto desenvolvedores Python, então as ferramentas estão se estendendo cada vez mais nessa direção, de LangChain.js e Transformers.js ao novo AI SDK da Vercel. O tamanho geral do mercado e as oportunidades para Java são impressionantes.
Sempre que um subgrupo vem com uma formação completamente diferente, fala uma língua completamente diferente, faz um produto completamente diferente, usa uma ferramenta completamente diferente, acaba se dividindo em seu próprio grupo.
O papel do código na evolução do software 2.0 para o software 3.0
Há 6 anos, Andrej Karpathy escreveu um artigo muito influente descrevendo o Software 2.0, contrastando pilhas clássicas de linguagens de programação escritas à mão que modelam com precisão a lógica com novas pilhas de redes neurais de aprendizado de máquina de lógica aproximada. O artigo mostra que o software pode resolver muito mais problemas do que os humanos podem modelar.
Este ano, Karpathy postou que a nova linguagem de programação mais popular é o inglês, já que dicas de IA generativa podem ser entendidas como código projetado por humanos, em muitos casos em inglês, e interpretado por LLMs, eventualmente preenchendo as lacunas em seu gráfico. area cinza.
*Nota: A pilha clássica de Software 1.0 (Software 1.0) é escrita em Python, C++ e outras linguagens. O software 2.0 foi escrito usando pesos de redes neurais e ninguém se envolveu no processo de escrever esse código porque há muitos pesos. *
No ano passado, a engenharia se tornou um tópico popular e as pessoas começaram a aplicar o GPT-3 e a difusão estável para trabalhar. As pessoas zombam das startups de IA como wrappers OpenAI e se preocupam com a vulnerabilidade dos aplicativos LLM para injeção de dicas e engenharia de dicas reversas.
Mas um tema muito importante em 2023 é sobre restabelecer o papel do código escrito por humanos, desde a gigante Langchain com mais de 200 milhões de dólares americanos até a Voyager apoiada pela Nvidia, mostrando a importância da geração e reutilização de código. A engenharia é exagerada e persistente, mas o ressurgimento do paradigma do Software 1.0 em aplicativos de Software 3.0 é uma grande oportunidade e um novo espaço para uma infinidade de startups:
À medida que os engenheiros humanos aprendem a utilizar a IA, e a IA assume cada vez mais os trabalhos de engenharia, no futuro, quando olharmos para trás, será difícil dizer a diferença entre os dois.
Conteúdo de referência:
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
Não me chame de programador, sou um "engenheiro de IA", Musk: comece a programar em linguagem natural
Fonte: Coração da Máquina See More
Após o surgimento do ChatGPT, as pessoas previram que "todas as indústrias serão reformuladas pela IA", alguns empregos serão substituídos e alguns empregos mudarão de forma. Como serão suas carreiras como programadores que criam IA?
Recentemente, as coisas parecem estar no espectro. Um grupo de engenheiros e acadêmicos chamou o conceito de "engenheiro de IA" e recebeu muitas respostas:
Diz-se que esse "engenheiro de IA" está entre o engenheiro full-stack e o engenheiro de aprendizado de máquina, ocupando parte do engenheiro de back-end e focando na construção de grandes modelos. Agora ainda está em fase de definição, mas a julgar pelas discussões acaloradas, não deve estar longe de aterrissar, afinal, a velocidade da revolução do ChatGPT é muito rápida.
Assim que a ideia surgiu, grandes Vs no campo da IA rapidamente comentaram. Andrej Karpathy, cientista da OpenAI e ex-chefe de IA e direção autônoma da Tesla, concorda. "Grandes modelos criam toda uma nova camada de abstração e especialização, até agora eu chamei isso de 'insinuação de engenheiros', mas agora não é apenas uma questão de insinuação."
Além disso, ele apontou quatro pontos principais:
Durante a discussão, algumas pessoas também propuseram nomes como "engenheiro cognitivo" e "engenheiro de sistema de IA" como candidatos. O cientista de IA da Nvidia, Jim Fan, acredita que essa profissão emergente deveria ser chamada de "engenheiro sem gradiente" - de ferramentas tradicionais 1.0 a rede neural 2.0 e depois para 3.0 sem arquitetura de gradiente, finalmente esperamos pela versão 4.0 da série GPT de autotreinamento.
Muitos nomes e definições foram dados, vamos ver que tipo de cargo é esse "engenheiro de IA"?
Estamos testemunhando uma mudança única em uma década na IA aplicada, alimentada pelos recursos inovadores de modelos fundamentais e grandes modelos e APIs de código aberto.
Tarefas de IA que levaram cinco anos e uma equipe de pesquisa para realizar em 2013 agora exigem apenas APIs, documentação e uma tarde livre em 2023.
Se esta situação for levada a sério, deve ser considerada um trabalho a tempo inteiro. Como resultado, a engenharia de software gerará uma nova subdisciplina dedicada à aplicação de inteligência artificial e ao emprego efetivo da pilha emergente, como "Engenheiros de confiabilidade de site" (SREs), "Engenheiros de DevOps", "Engenheiros de dados" e o surgimento de "engenheiros analíticos".
A versão totalmente nova (e menos incrível) dessa função parece ser: engenheiro de inteligência artificial.
Sabemos que toda startup tem algum tipo de canal Slack para discutir o uso de IA e, em breve, esses canais passarão de grupos informais para equipes formais. Milhares de engenheiros de software estão atualmente trabalhando na produção de APIs de IA e modelos de OSS, seja durante o expediente ou à noite e nos fins de semana, em Slacks corporativos ou Discords independentes, todos profissionalizados e centralizados sob um título: engenheiro de IA.
Este provavelmente será o trabalho de engenharia mais procurado na próxima década.
Engenheiros de IA serão encontrados em todos os lugares, desde gigantes da tecnologia como Microsoft e Google, até startups líderes como Figma, Vercel e Notion, e desenvolvedores independentes como Simon Willison, Pieter Levels e Riley Goodside. Eles ganham US$ 300.000 por ano por sua prática de engenharia na Anthropic e US$ 900.000 por ano construindo software na OpenAI. Eles passam seus fins de semana livres refletindo sobre ideias na AGI House e compartilhando dicas no subreddit /r/LocalLLaMA no Reddit.
O que todos eles têm em comum é a capacidade de traduzir os avanços da inteligência artificial em produtos práticos usados por milhões de pessoas quase da noite para o dia. E nele você não vê um título de doutorado. Ao entregar produtos de IA, você precisa de engenheiros, não de pesquisadores.
A grande reversão dos engenheiros de IA e engenheiros de ML
Um conjunto de dados no site do Indeed mostra que o número de vagas para engenheiros de aprendizado de máquina é 10 vezes maior do que para engenheiros de IA, mas, em comparação, a taxa de crescimento no campo de IA é mais rápida e prevê-se que isso proporção será dentro de cinco anos. A inversão ocorre e haverá muitas vezes mais engenheiros de IA do que engenheiros de ML.
O debate sobre as diferenças entre IA e ML tem sido interminável, mas cauteloso. Também sabemos que o software de IA pode ser construído por engenheiros de software comuns. Recentemente, no entanto, as discussões giraram em torno de outra questão, ou seja, um tópico popular no Hacker News "Como entrar na engenharia de IA" despertou interesse generalizado. Esta postagem popular também ilustra os princípios limitadores básicos que ainda existem no mercado, A distinção entre cada posição ainda é muito bom.
Até agora, muitas pessoas pensavam na engenharia de IA como uma forma de engenharia de ML ou engenharia de dados, então quando alguém pergunta como entrar em um campo, eles tendem a recomendar os mesmos pré-requisitos, como nas respostas acima, muitas pessoas recomendam o Coursera de Andrew Ng curso. Mas nenhum desses engenheiros de IA eficazes concluiu o curso de Wu Enda no Coursera, eles não estão familiarizados com o PyTorch e não sabem a diferença entre Data Lake (Data Lake) e Data Warehouse (Data Warehouse).
Em um futuro próximo, ninguém vai sugerir que você comece a aprender engenharia de IA lendo o artigo do Transformer "Atenção é tudo o que você precisa", assim como você não começa a aprender a dirigir lendo as plantas do Ford Modelo T. Claro, é útil entender os fundamentos e o desenvolvimento histórico da tecnologia, o que pode ajudá-lo a encontrar maneiras de melhorar seu pensamento e eficiência. Mas às vezes você também pode usar produtos para aprender suas características por meio da experiência prática.
A reversão de engenheiros de IA versus engenheiros de ML não acontecerá da noite para o dia e, para alguém com um bom histórico em ciência de dados e aprendizado de máquina, a engenharia e a engenharia de IA podem não parecer boas por muito tempo. No entanto, com o tempo, a economia de demanda e oferta prevalecerá e as opiniões das pessoas sobre a engenharia de IA mudarão.
**Por que os engenheiros de IA vão subir? **
No nível do modelo, muitos modelos básicos agora são aprendizes de poucos tiros com forte aprendizado de contexto e recursos de transferência de tiro zero. O desempenho do modelo geralmente excede a intenção original do modelo de treinamento. Em outras palavras, as pessoas que criam esses modelos não conhecem totalmente o escopo dos recursos dos modelos. E aqueles que não são especialistas em LLM (Large Language Model) podem descobrir e explorar esses recursos interagindo mais com o modelo e aplicando-o a domínios subestimados pela pesquisa.
No nível de talento, Microsoft, Google, Meta e grandes laboratórios de modelos básicos monopolizaram talentos de pesquisa escassos e fornecem APIs para "pesquisa de IA como serviço". Você pode não conseguir contratar esse tipo de pesquisador, mas pode alugar seus serviços. Existem agora cerca de 5.000 pesquisadores LLM e 50 milhões de engenheiros de software em todo o mundo. Essa restrição de oferta determina que os engenheiros de IA na categoria “intermediária” subirão para atender à demanda de talentos.
No nível de hardware, grandes empresas e instituições de tecnologia acumularam GPUs em grandes quantidades. Claro, OpenAI e Microsoft foram os primeiros a fazê-lo, mas Stability AI iniciou a competição de GPU para startups enfatizando seus 4.000 clusters de GPU.
O executivo de tecnologia e investidor dos EUA, Nat Friedman, até anunciou sua iniciativa Andromeda, um cluster de GPU de US$ 100 milhões com 10 exaflops de poder de computação dedicado a apoiar as startups nas quais investe. Do outro lado do cenário da API, mais engenheiros de IA poderão usar modelos, não apenas treiná-los.
Em termos de eficiência, em vez de exigir que cientistas de dados e engenheiros de aprendizado de máquina realizem uma tediosa coleta de dados antes de treinar um único modelo específico de domínio e colocá-lo em produção, gerentes de produto e engenheiros de software podem criar e verificar ideias de produtos interagindo com o LLM.
Ao nível do software, haverá mudanças de Python para Java. O mundo dos dados e da IA tem sido tradicionalmente centrado em Python, assim como as primeiras ferramentas de engenharia de IA, como LangChain, LlamaIndex e Guardrails. No entanto, deve haver pelo menos tantos desenvolvedores Java quanto desenvolvedores Python, então as ferramentas estão se estendendo cada vez mais nessa direção, de LangChain.js e Transformers.js ao novo AI SDK da Vercel. O tamanho geral do mercado e as oportunidades para Java são impressionantes.
Sempre que um subgrupo vem com uma formação completamente diferente, fala uma língua completamente diferente, faz um produto completamente diferente, usa uma ferramenta completamente diferente, acaba se dividindo em seu próprio grupo.
O papel do código na evolução do software 2.0 para o software 3.0
Há 6 anos, Andrej Karpathy escreveu um artigo muito influente descrevendo o Software 2.0, contrastando pilhas clássicas de linguagens de programação escritas à mão que modelam com precisão a lógica com novas pilhas de redes neurais de aprendizado de máquina de lógica aproximada. O artigo mostra que o software pode resolver muito mais problemas do que os humanos podem modelar.
Este ano, Karpathy postou que a nova linguagem de programação mais popular é o inglês, já que dicas de IA generativa podem ser entendidas como código projetado por humanos, em muitos casos em inglês, e interpretado por LLMs, eventualmente preenchendo as lacunas em seu gráfico. area cinza.
No ano passado, a engenharia se tornou um tópico popular e as pessoas começaram a aplicar o GPT-3 e a difusão estável para trabalhar. As pessoas zombam das startups de IA como wrappers OpenAI e se preocupam com a vulnerabilidade dos aplicativos LLM para injeção de dicas e engenharia de dicas reversas.
Mas um tema muito importante em 2023 é sobre restabelecer o papel do código escrito por humanos, desde a gigante Langchain com mais de 200 milhões de dólares americanos até a Voyager apoiada pela Nvidia, mostrando a importância da geração e reutilização de código. A engenharia é exagerada e persistente, mas o ressurgimento do paradigma do Software 1.0 em aplicativos de Software 3.0 é uma grande oportunidade e um novo espaço para uma infinidade de startups:
Conteúdo de referência: