OPML: Nueva paradigma de aprendizaje automático basado en el enfoque optimista

OPML(El aprendizaje automático optimista) es una tecnología emergente, diseñada para aplicar métodos optimistas en la inferencia y entrenamiento/ajuste de modelos de IA en sistemas de blockchain. En comparación con ZKML, OPML tiene la ventaja de ser de bajo costo y alta eficiencia, pudiendo ejecutar modelos de lenguaje grandes, como el modelo 7B-LLaMA(, que tiene un tamaño de aproximadamente 26GB) en una PC normal.

OPML utiliza un mecanismo de juego de verificación para garantizar la descentralización y la verificabilidad de los servicios de ML. Su proceso básico es el siguiente:

1. El solicitante inicia la tarea del servicio ML
2. El servidor completa la tarea y envía el resultado a la cadena.
3. Los validadores verifican los resultados; si hay objeciones, se inicia el juego de verificación.
4. Arbitraje paso a paso a través de contratos inteligentes

Juego de verificación de una sola fase

Los elementos clave del OPML de una sola etapa incluyen:

• Construir una máquina virtual para la ejecución fuera de la cadena y el arbitraje en la cadena (VM)
• Implementar una biblioteca DNN ligera especializada, mejorar la eficiencia de inferencia del modelo de IA
• Utilizar tecnología de compilación cruzada para compilar el código de inferencia del modelo de IA en instrucciones de VM
• Utilizar árboles de Merkle para gestionar imágenes de VM, solo subir el hash raíz a la cadena.

Localizar los pasos de disputa a través del protocolo de división y enviarlos al contrato de arbitraje en la cadena. Las pruebas preliminares indican que la inferencia del modelo de IA básico se puede completar en menos de 2 segundos en una PC normal, y todo el proceso del desafío dura aproximadamente 2 minutos.

Juego de verificación de múltiples etapas

Para superar las limitaciones del método de una sola fase, OPML ha introducido un juego de validación de múltiples fases:

• Solo calcular en la VM en la última etapa, las otras etapas se pueden ejecutar en el entorno local.
• Utilizar la capacidad de aceleración de hardware como CPU, GPU y TPU
• Al reducir la dependencia de la VM, se mejora significativamente el rendimiento de ejecución.

La idea central del OPML de múltiples etapas es representar el proceso de cálculo de DNN como un gráfico computacional y realizar validaciones en diferentes etapas. Este enfoque puede aprovechar al máximo la aceleración del hardware y mejorar la eficiencia general.

Mejora del rendimiento

El OPML de múltiples etapas tiene ventajas significativas en comparación con el método de una sola etapa:

• Aumento de velocidad de cálculo α veces ( α es la relación de aceleración de GPU o cálculo paralelo )
• El tamaño del árbol de Merkle se reduce de O(mn) a O(m+n), donde m es el número de microinstrucciones de VM y n es el número de nodos en el grafo computacional.

Estas mejoras han aumentado significativamente la eficiencia y escalabilidad del sistema.

Consistencia y determinación

Para garantizar la consistencia de los resultados de ML, OPML ha adoptado las siguientes estrategias:

1. Utilizar el algoritmo de punto fijo ( y la técnica de cuantización ) para reducir el impacto del error de punto flotante.
2. Utilizar una biblioteca de punto flotante basada en software para garantizar la consistencia entre plataformas.

Estos métodos abordan eficazmente el problema de las diferencias en los cálculos de punto flotante en diferentes plataformas de hardware, mejorando la fiabilidad del cálculo de OPML.

En general, OPML proporciona una solución eficiente y de bajo costo para la inferencia y el entrenamiento de modelos de IA en sistemas de blockchain. Aunque actualmente se centra principalmente en la inferencia de modelos, el marco también admite el proceso de entrenamiento, con la esperanza de convertirse en una solución general para todo tipo de tareas de aprendizaje automático.