En ce moment, la disponibilité est si limitée que nous ne nous attendons pas à pouvoir les faire fonctionner à grande échelle, du moins pas avant quelques mois, mais faire fonctionner une seule instance pour héberger des modèles de codage pour nos utilisateurs - c'est définitivement une possibilité. Nous utilisons des B200, H200, H100, A100, L40S et 4090 48 Go.
Voir l'original