OPML:楽観主義に基づく機械学習の新しいパラダイム

OPML(楽観的機械学習)は、新興の技術で、楽観主義的アプローチをブロックチェーンシステム内のAIモデルの推論およびトレーニング/ファインチューニングに適用することを目的としています。ZKMLと比較して、OPMLはコストが低く、効率が高い利点があり、通常のPC上で7B-LLaMA(モデルサイズ約26GB)のような大規模言語モデルを実行できます。

OPMLは、MLサービスの非中央集権性と検証可能性を確保するために、検証ゲームメカニズムを採用しています。基本的なプロセスは次のとおりです:

1. リクエスターはMLサービスタスクを開始します
2. サーバーはタスクを完了し、結果をチェーンに提出します。
3. バリデーターは結果を検証し、異議がある場合は検証ゲームを開始します。
4. スマートコントラクトによるワンステップ仲裁

! OPML:楽観的ロールアップによる機械学習

シングルステージ検証ゲーム

単段階OPMLのコア要素には次のものが含まれます:

• オフチェーン実行およびオンチェーン仲裁のための仮想マシン(VM)
• 専用の軽量DNNライブラリを実現し、AIモデルの推論効率を向上させる
• クロスコンパイル技術を使用してAIモデル推論コードをVM命令にコンパイルする
• メルクルツリーを使用してVMイメージを管理し、ルートハッシュのみをチェーンにアップロードします。

二分法プロトコルを使用して、争議のステップを特定し、それをオンチェーン仲裁契約に送信します。初期テストでは、一般的なPC上で基本的なAIモデルの推論を2秒以内に完了でき、全体のチャレンジプロセスは約2分です。

! OPML:楽観的ロールアップシステムによる機械学習

マルチステージ検証ゲーム

単一段階法の限界を克服するために、OPMLは多段階検証ゲームを導入しました:

• 最後の段階でのみVM内で計算し、他の段階はローカル環境で実行可能
• CPU、GPU、TPUなどのハードウェアアクセラレーション能力を利用する
• VMへの依存を減らすことで、実行性能が大幅に向上します。

多段階OPMLの核心思想は、DNN計算プロセスを計算グラフとして表現し、異なる段階で検証を行うことです。この方法はハードウェアアクセラレーションを最大限に活用し、全体の効率を向上させることができます。

! OPML:楽観的ロールアップによる機械学習

パフォーマンスの改善

多段階OPMLは単段階手法に比べて顕著な利点があります:

• GPUや並列計算よりもα倍高速(α )高速
• MerkleツリーのサイズはO(mn)からO(m+n)に減少し、ここでmはVMマイクロ命令の数、nは計算グラフのノード数です。

これらの改善は、システムの効率とスケーラビリティを大幅に向上させました。

! OPML:楽観的ロールアップによる機械学習

一貫性と確実性

ML結果の一貫性を確保するために、OPMLは以下の戦略を採用しました:

1. 定点アルゴリズム(を使用して、量子技術)による浮動小数点エラーの影響を減らします。
2. ソフトウェアベースの浮動小数点ライブラリを採用し、クロスプラットフォームの一貫性を保証します。

これらの方法は、異なるハードウェアプラットフォームにおける浮動小数点計算の差異問題を効果的に解決し、OPML計算の信頼性を高めました。

! OPML:楽観的ロールアップシステムによる機械学習

総じて、OPMLはブロックチェーンシステムにおけるAIモデルの推論とトレーニングに高効率かつ低コストのソリューションを提供します。現在は主にモデル推論に焦点を当てていますが、このフレームワークはトレーニングプロセスもサポートしており、様々な機械学習タスクの一般的なソリューションとなることが期待されています。