No me llames programador, soy un "ingeniero de inteligencia artificial", Musk: comienza a desarrollar la programación en lenguaje natural

Fuente: Corazón de la máquina

**¿El trabajo con mayor demanda en los próximos diez años es "ingeniero de IA"? **

Después de la aparición de ChatGPT, la gente predijo que "todas las industrias serán reformadas por la IA", algunos trabajos serán reemplazados y algunos trabajos cambiarán su forma. ¿Cómo serán sus carreras como programadores que construyen IA?

Recientemente, las cosas parecen estar en el espectro. Un grupo de ingenieros y académicos mencionaron el concepto de "ingeniero de IA" y recibieron muchas respuestas:

Debido a la generalización y las poderosas capacidades de los grandes modelos de lenguaje como GPT-4, la forma en que trabajamos pronto puede cambiar a trabajar con IA, y mantenerse al día con el ritmo de la inteligencia artificial es un trabajo de tiempo completo en sí mismo.

Se dice que este "ingeniero de IA" está entre el ingeniero de pila completa y el ingeniero de aprendizaje automático, ocupando parte del ingeniero de back-end y centrándose en la construcción de modelos grandes. Ahora todavía está en la etapa de definición, pero a juzgar por las acaloradas discusiones, no debería estar lejos de aterrizar, después de todo, la velocidad de la revolución ChatGPT es muy rápida.

Tan pronto como surgió la idea, los grandes V en el campo de la IA comentaron rápidamente. Andrej Karpathy, científico de OpenAI y exjefe de IA y conducción autónoma en Tesla, está de acuerdo. "Los modelos grandes crean una capa completamente nueva de abstracción y especialización, hasta ahora lo he llamado 'ingenieros de sugerencias', pero ahora no es solo una cuestión de sugerencias".

Además, señaló cuatro puntos principales:

  • El trabajo de aprendizaje automático anterior generalmente involucraba algoritmos de entrenamiento desde cero, y los resultados generalmente tenían un rendimiento limitado.
  • El entrenamiento de modelos a gran escala es muy diferente del aprendizaje automático tradicional. El sistema anterior tiene una gran carga de trabajo y se ha dividido un nuevo rol para centrarse en el entrenamiento a gran escala de Transformer en supercomputadoras.
  • Numéricamente, la cantidad de ingenieros de IA puede ser mucho mayor que la de ingenieros de aprendizaje automático/ingenieros de modelos grandes.
  • No necesita ningún entrenamiento para tener éxito en este puesto.

Después de leerlo, Musk también dijo:

El puesto tiene mucha demanda, es importante y tiene pocas barreras de entrada. Parece emocionante y ansioso.

Durante la discusión, algunas personas también propusieron nombres como "ingeniero cognitivo" e "ingeniero de sistemas de IA" como candidatos. El científico de IA de Nvidia, Jim Fan, cree que esta profesión emergente debería llamarse "ingeniero sin gradiente", desde las herramientas tradicionales 1.0 hasta red neuronal 2.0, y luego a 3.0 sin arquitectura de gradiente, finalmente esperamos la versión 4.0 de la serie GPT de autoformación.

Al respecto, Sebastian Raschka, profesor asistente de la Universidad de Wisconsin, dijo que esto solo es adecuado para asistentes generales, y para la mayoría de las empresas, no necesita "general".

Se dan muchos nombres y definiciones, veamos qué tipo de puesto es este "ingeniero de inteligencia artificial".

Estamos siendo testigos de un cambio único en la década en la IA aplicada, impulsado por las capacidades innovadoras de los modelos fundamentales y los grandes modelos y API de código abierto.

Las tareas de IA que tardaron cinco años y un equipo de investigación en 2013 ahora requieren solo API, documentación y una tarde libre en 2023.

Sin embargo, son los detalles los que marcan la diferencia: los desafíos de aplicar y producir IA son infinitos:

  • En el modelo, hay desde el modelo más grande GPT-4 y Claude, hasta el Huggingface de código abierto, LLaMA y otros modelos;
  • Herramientas, desde las herramientas más populares de vinculación, indexación y búsqueda de vectores (como LangChain, LlamaIndex y Pinecone) hasta el campo emergente de agentes autónomos (como Auto-GPT y BabyAGI);
  • Técnicamente, la cantidad de artículos, modelos y técnicas nuevos presentados cada día ha crecido exponencialmente con el interés y la financiación, hasta el punto de que comprenderlo todo se ha convertido casi en un trabajo de tiempo completo.

Si esta situación se toma en serio, debe considerarse un trabajo de tiempo completo. Como resultado, la ingeniería de software generará una nueva subdisciplina dedicada a la aplicación de inteligencia artificial y al empleo efectivo de la pila emergente, como "Ingenieros de confiabilidad del sitio" (SRE), "Ingenieros de DevOps", "Ingenieros de datos" y Lo mismo es cierto para el surgimiento de los "ingenieros analíticos".

La versión completamente nueva (y menos asombrosa) de este rol parece ser: ingeniero de inteligencia artificial.

Sabemos que cada startup tiene algún tipo de canal de Slack para discutir el uso de IA, y pronto esos canales pasarán de grupos informales a equipos formales. Miles de ingenieros de software están trabajando actualmente en la producción de modelos OSS y API de IA, ya sea durante el horario de oficina o por la noche y los fines de semana, en Slacks corporativos o Discords independientes, todo profesionalizado y centralizado bajo un título: ingeniero de IA.

Es probable que este sea el trabajo de ingeniería con mayor demanda en la próxima década.

Los ingenieros de IA se encontrarán en todas partes, desde gigantes tecnológicos como Microsoft y Google, hasta empresas emergentes líderes como Figma, Vercel y Notion, hasta desarrolladores independientes como Simon Willison, Pieter Levels y Riley Goodside. Ganan $ 300,000 al año por su práctica de ingeniería en Anthropic y $ 900,000 al año por la creación de software en OpenAI. Pasan sus fines de semana libres reflexionando sobre ideas en AGI House y compartiendo consejos en el subreddit /r/LocalLLaMA en Reddit.

Lo que todos tienen en común es la capacidad de traducir los avances en inteligencia artificial en productos prácticos utilizados por millones de personas casi de la noche a la mañana. Y en él no se ve un título de doctorado. Cuando entrega productos de IA, necesita ingenieros, no investigadores.

La gran reversión de los ingenieros de IA y los ingenieros de ML

Un conjunto de datos en el sitio web de Indeed muestra que la cantidad de puestos para ingenieros de aprendizaje automático es 10 veces mayor que la de ingenieros de IA, pero en comparación, la tasa de crecimiento en el campo de IA es más rápida y se prevé que esto La proporción será dentro de cinco años. Se produce la inversión y habrá muchas veces más ingenieros de IA que ingenieros de ML.

HN Who's Hiring (que es una publicación mensual en Hacker News que proporciona una plataforma para que los empleadores publiquen ofertas de trabajo) Tendencias mensuales de empleo por categoría

El debate sobre las diferencias entre IA y ML ha sido interminable, pero cauteloso. También sabemos que el software de IA puede ser desarrollado por ingenieros de software ordinarios. Recientemente, sin embargo, las discusiones han girado en torno a otro tema, a saber, un hilo popular en Hacker News "Cómo ingresar a la ingeniería de IA" que ha despertado un gran interés. Esta publicación popular también ilustra los principios limitantes básicos que aún existen en el mercado, la distinción. entre cada posición sigue siendo muy fina.

*Captura de pantalla de una publicación de junio de 2023 en Hacker News: "Cómo ingresar a la ingeniería de IA" Respuestas más votadas. *

Hasta ahora, muchas personas pensaban en la ingeniería de IA como una forma de ingeniería de ML o ingeniería de datos, por lo que cuando alguien pregunta cómo ingresar a un campo, tiende a recomendar los mismos requisitos previos, ya que en las respuestas anteriores, muchas personas recomiendan Coursera de Andrew Ng. curso. Pero ninguno de esos ingenieros de inteligencia artificial efectivos completó el curso de Wu Enda en Coursera, no están familiarizados con PyTorch y no conocen la diferencia entre Data Lake y Data Warehouse.

En un futuro cercano, nadie sugerirá que empieces a aprender ingeniería de IA leyendo el artículo de Transformer "Todo lo que necesitas es atención", como tampoco empezarás a aprender a conducir leyendo los planos del Ford Modelo T. Por supuesto, es útil comprender los fundamentos y el desarrollo histórico de la tecnología, lo que puede ayudarlo a encontrar formas de mejorar su pensamiento y eficiencia. Pero a veces también puedes usar productos para aprender sus características a través de la experiencia práctica.

La reversión de los ingenieros de IA frente a los ingenieros de ML no ocurrirá de la noche a la mañana, y para alguien con una buena experiencia en ciencia de datos y aprendizaje automático, la ingeniería y la ingeniería de IA pueden no verse bien por mucho tiempo. Sin embargo, con el tiempo, prevalecerá la economía de la oferta y la demanda, y cambiará la opinión de las personas sobre la ingeniería de IA.

**¿Por qué se levantarán los ingenieros de IA? **

En el nivel del modelo, muchos modelos básicos ahora son aprendices de pocos intentos con un fuerte aprendizaje de contexto y capacidades de transferencia de cero intentos. El rendimiento del modelo a menudo supera la intención original del modelo de entrenamiento. En otras palabras, las personas que crean estos modelos no conocen completamente el alcance de las capacidades de los modelos. Y aquellos que no son expertos en LLM (Large Language Model) pueden descubrir y explotar estas capacidades interactuando más con el modelo y aplicándolo a dominios subestimados por la investigación.

A nivel de talento, Microsoft, Google, Meta y los grandes laboratorios de modelos básicos han monopolizado los escasos talentos de investigación y proporcionan API para la "investigación de IA como servicio". Es posible que no pueda contratar a este tipo de investigador, pero puede alquilar sus servicios. Ahora hay alrededor de 5000 investigadores LLM y 50 millones de ingenieros de software en todo el mundo. Esta restricción de suministro dicta que los ingenieros de IA en la categoría "media" se elevarán para satisfacer la demanda de talento.

A nivel de hardware, las principales empresas e instituciones tecnológicas han acumulado GPU en grandes cantidades. Por supuesto, OpenAI y Microsoft fueron los primeros en hacerlo, pero Stability AI inició la competencia de GPU para nuevas empresas al enfatizar sus 4,000 clústeres de GPU.

Además, algunas nuevas empresas como Inflection ($ 1.3B), Mistral ($ 113M), Reka ($ 58M), Poolside ($ 26M) y Contextual ($ 20M) en general, comenzaron a recaudar grandes sumas Semilla ronda de financiamiento para poseer su Instalaciones propias de ferretería.

El ejecutivo e inversor tecnológico estadounidense Nat Friedman incluso anunció su iniciativa Andromeda, un clúster de GPU de 100 millones de dólares con 10 exaflops de potencia informática dedicados a apoyar a las nuevas empresas en las que invierte. En el otro lado del panorama de las API, más ingenieros de IA podrán usar modelos, no solo entrenarlos.

En términos de eficiencia, en lugar de requerir que los científicos de datos y los ingenieros de aprendizaje automático realicen una tediosa recopilación de datos antes de entrenar un único modelo específico de dominio y ponerlo en producción, los gerentes de productos y los ingenieros de software pueden crear y verificar ideas de productos interactuando con LLM.

Digamos que los últimos (ingenieros de datos, ML) superan en número a los primeros (ingenieros de IA) de 100 a 1000 veces, y la forma en que trabaja interactuando con LLM lo hará 10 a 100 veces más rápido que el aprendizaje automático tradicional. Como resultado, los ingenieros de IA podrán validar productos de IA 10 000 veces más baratos que antes.

A nivel de software, habrá cambios de Python a Java. El mundo de los datos y la IA se ha centrado tradicionalmente en Python, al igual que las primeras herramientas de ingeniería de IA, como LangChain, LlamaIndex y Guardrails. Sin embargo, debería haber al menos tantos desarrolladores de Java como desarrolladores de Python, por lo que las herramientas se están extendiendo cada vez más en esta dirección, desde LangChain.js y Transformers.js hasta el nuevo AI SDK de Vercel. El tamaño general del mercado y la oportunidad para Java son impresionantes.

Cada vez que llega un subgrupo con antecedentes completamente diferentes, habla un idioma completamente diferente, fabrica un producto completamente diferente, usa una herramienta completamente diferente, termina dividiéndose en su propio grupo.

El papel del código en la evolución del software 2.0 al software 3.0

Hace 6 años, Andrej Karpathy escribió un artículo muy influyente que describía el Software 2.0, contrastando montones clásicos de lenguajes de programación escritos a mano que modelan la lógica con precisión con nuevos montones de redes neuronales de aprendizaje automático de lógica aproximada. El artículo muestra que el software puede resolver muchos más problemas de los que los humanos pueden modelar.

Este año, Karpathy continuó publicando que el nuevo lenguaje de programación más popular es el inglés, ya que las sugerencias de la IA generativa pueden entenderse como código diseñado por humanos, en muchos casos en inglés, e interpretadas por LLM, lo que eventualmente llena los vacíos en su gráfico. área gris.

*Nota: La pila clásica de Software 1.0 (Software 1.0) está escrita en Python, C++ y otros lenguajes. El software 2.0 se escribió utilizando pesos de redes neuronales y nadie participó en el proceso de escritura de este código porque hay muchos pesos. *

El año pasado, la ingeniería se convirtió en un tema popular y la gente comenzó a aplicar GPT-3 y Stable Diffusion al trabajo. Las personas se burlan de las nuevas empresas de IA como envoltorios de OpenAI y se preocupan por la vulnerabilidad de las aplicaciones LLM para la inyección de sugerencias y la ingeniería inversa de sugerencias.

Pero un tema muy importante en 2023 es el restablecimiento del papel del código escrito por humanos, desde el gigante Langchain con más de 200 millones de dólares hasta el Voyager respaldado por Nvidia, mostrando la importancia de la generación y reutilización de código. La ingeniería es a la vez sobrevalorada y persistente, pero el resurgimiento del paradigma del Software 1.0 en las aplicaciones del Software 3.0 es tanto una gran oportunidad como un nuevo espacio para una plétora de startups:

A medida que los ingenieros humanos aprendan a utilizar la IA y la IA se haga cargo cada vez más de los trabajos de ingeniería, en el futuro, cuando miremos hacia atrás, será difícil notar la diferencia entre los dos.

Contenido de referencia:

Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Compartir
Comentar
0/400
Sin comentarios
Opere con criptomonedas en cualquier momento y lugar
qrCode
Escanee para descargar la aplicación Gate
Comunidad
Español
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)