Source de l'article : Notes de recherche sur Alpha Rabbit
Le 21 juillet 2023, selon l'annonce de la Maison Blanche, le président américain Joe Biden a convoqué sept grandes sociétés d'intelligence artificielle à la Maison Blanche le 21 juillet—Amazon, Anthropic, Google, Inflection, Meta, Microsoft et OpenAI, et a annoncé que ces sociétés se sont volontairement engagées à aider à réaliser le développement sûr, fiable et transparent de la technologie d'intelligence artificielle. **
texte intégral
Afin de renforcer la sûreté, la sécurité et la crédibilité de la technologie et des services d'intelligence artificielle, OpenAI et d'autres laboratoires d'intelligence artificielle de premier plan ont pris des engagements volontaires. ** Cet effort, coordonné principalement par la Maison Blanche, est une étape importante dans la promotion d'une gouvernance significative et efficace de l'IA aux États-Unis et dans le monde. **
Dans la poursuite de sa mission de création d'une intelligence artificielle sûre et bénéfique, OpenAI continuera de piloter et d'affiner des pratiques de gouvernance spécifiques adaptées aux modèles de base capables de production comme OpenAI. En outre, OpenAI continuera d'investir dans des domaines de recherche qui contribuent à éclairer la réglementation, comme le développement de technologies pour évaluer les dangers potentiels des modèles d'intelligence artificielle.
« Les décideurs politiques du monde entier envisagent de nouvelles lois ciblant des systèmes d'IA hautement performants. Notre engagement aujourd'hui contribue concrètement aux discussions en cours. Cette annonce s'inscrit dans le cadre de la collaboration continue d'OpenAI avec les gouvernements, les organisations de la société civile et d'autres acteurs du monde entier pour faire progresser la gouvernance de l'IA », a déclaré Anna Makanju, vice-présidente des affaires mondiales chez OpenAI. *
Engagements volontaires pour l'IA
La liste suivante d'engagements volontaires a été initialement publiée par la Maison Blanche :
Voici une liste des engagements pris par les entreprises pour promouvoir le développement et l'application sûrs, fiables et transparents des technologies d'intelligence artificielle. Les engagements suivants sont conformes aux lois et réglementations en vigueur et sont conçus pour promouvoir la solidité des systèmes juridiques et politiques d'intelligence artificielle. Chaque entreprise remplira les engagements volontaires suivants jusqu'à l'entrée en vigueur des lois, réglementations et systèmes pertinents, et certaines entreprises peuvent prendre d'autres engagements au-delà de cet engagement.
Portée : Cet engagement fait référence à des modèles spécifiques qui s'appliquent uniquement aux modèles d'IA générative qui sont plus puissants que la frontière actuelle de l'industrie (par exemple, des modèles qui sont plus puissants que n'importe quel modèle actuellement publié, y compris GPT-4, Claude 2, PaLM 2, Titan et DALL-E 2 pour la génération d'images).
Remarque : la sécurité correspond aux menaces délibérées (créées par l'homme) et la sécurité correspond aux vulnérabilités ou aux conséquences inattendues du système d'IA lui-même ; ici, la sécurité de l'IA correspond à la sécurité fonctionnelle et la sécurité de l'IA correspond à la sécurité des informations de l'IA
Sécurité (accent mis sur la sécurité fonctionnelle)
**1) Engagement à réévaluer les modèles et les systèmes à l'interne et à l'externe en ce qui concerne les abus, les risques sociétaux et les problèmes de sécurité nationale (par exemple, biologique, cyber et autres domaines de sécurité). **
Les entreprises impliquées dans la prise de ces engagements comprennent que de solides tests de l'équipe rouge sont essentiels pour créer des produits finis, garantir la confiance du public dans l'IA et se prémunir contre les menaces importantes pour la sécurité nationale. ** L'évaluation de la sécurité et des capacités des modèles, y compris les tests de l'équipe rouge, est un domaine ouvert d'exploration scientifique et des travaux supplémentaires sont nécessaires. Les entreprises s'engagent à faire progresser la recherche dans ce domaine et à développer des régimes de test multiformes, spécialisés et détaillés en équipe rouge pour les principales versions publiques de tous les nouveaux modèles concernés, y compris, ici, avec la contribution d'experts indépendants du domaine. Lors de la conception du système, assurez-vous qu'une priorité élevée est accordée à :**
Risques biologiques, chimiques et radiologiques, tels que la manière dont le système réduit les barrières à l'entrée pour le développement, la conception, l'acquisition ou l'utilisation d'armes
Les capacités de cybersécurité, telles que la manière dont le système aide à découvrir, exploiter ou exploiter les vulnérabilités, doivent prendre en compte les capacités du modèle, peuvent également avoir des utilisations défensives utiles et peuvent être incluses dans le système
Effets de l'interaction du système et de l'utilisation des outils, y compris la capacité de contrôler les systèmes physiques
Capacité d'un modèle à se répliquer ou à "s'auto-répliquer"
Risques sociaux tels que les préjugés et la discrimination
Pour soutenir les travaux ci-dessus, les entreprises participantes feront progresser la recherche en cours sur la sécurité de l'IA, y compris l'explicabilité des processus décisionnels des systèmes d'IA et l'amélioration de la robustesse des systèmes d'IA contre les abus. De même, les entreprises s'engagent à divulguer publiquement les tests de l'équipe rouge et du programme de sécurité dans les rapports de transparence.
2) S'engager à partager des informations entre les entreprises et les gouvernements sur les risques de confiance et de sécurité, les dangers ou les capacités émergentes de l'IA, et les tentatives de contournement des garanties
Les entreprises qui participent à cet engagement doivent reconnaître l'importance du partage d'informations, des normes communes et des meilleures pratiques pour les tests de l'équipe rouge et la promotion de la confiance et de la sécurité dans l'IA. **Vous vous engagez à établir ou à rejoindre un forum ou un mécanisme par lequel participer au développement, à l'avancement et à l'adoption de normes partagées et de meilleures pratiques sur la sécurité de pointe de l'IA, telles que le cadre de gestion des risques de l'IA du NIST ou les futures normes liées aux tests de l'équipe rouge, à la sécurité et aux risques sociétaux. ** Un forum ou un mécanisme qui facilite le partage d'informations sur les progrès des capacités frontalières et les risques et menaces émergents, tels que les tentatives de contournement des garanties, et facilite le développement de groupes de travail techniques sur les domaines de préoccupation prioritaires. Dans ce travail, la Société travaillera en étroite collaboration avec les gouvernements, y compris le gouvernement américain, la société civile et le milieu universitaire, le cas échéant.
Sécurité/Sécurité du réseau (Sécurité, axée sur la sécurité de l'information)
3) Investir dans des défenses de cybersécurité et des protections contre les menaces internes pour protéger les modèles propriétaires et non publiés
Les entreprises participant à l'engagement doivent considérer les pondérations non publiées des modèles d'IA des modèles concernés comme la propriété intellectuelle essentielle de leur entreprise, en particulier en ce qui concerne la cybersécurité et les risques de menaces internes. Cela comprend la limitation de l'accès aux pondérations des modèles aux seules personnes dont les fonctions professionnelles l'exigent et la mise en place d'un programme robuste de détection des menaces internes compatible avec la protection de votre propriété intellectuelle et de vos secrets commerciaux les plus précieux. De plus, les poids doivent être stockés et utilisés dans un environnement sécurisé approprié pour réduire le risque de distribution non autorisée.
4) Encouragez les tiers à découvrir et à signaler les problèmes et les vulnérabilités
Les entreprises qui prennent cet engagement reconnaissent que les systèmes d'IA peuvent encore être vulnérables même après des "tests d'équipe rouges" robustes, et les entreprises s'engagent à établir des primes pour les systèmes dans le cadre de systèmes de primes, de concours ou de prix afin d'encourager la divulgation responsable des faiblesses, telles que les comportements non sécurisés, ou pour incorporer des systèmes d'IA dans le programme de primes de bogues existant d'une entreprise.
Confiance
**5) Pour le contenu audio ou vidéo généré par l'IA, de nouveaux mécanismes doivent être développés et déployés, principalement pour permettre aux utilisateurs de comprendre si le contenu audio ou vidéo a été généré par l'IA, y compris une attribution fiable, un filigrane ou les deux. **
Les entreprises impliquées dans cet engagement reconnaissent l'importance de permettre aux gens de savoir si le contenu audio ou vidéo a été généré par l'intelligence artificielle. Pour y parvenir, les entreprises acceptent de développer des mécanismes robustes, y compris dans la mesure où ils sont introduits, pour fournir des systèmes d'attribution et/ou de filigrane pour le contenu audio ou vidéo créé par l'un de leurs systèmes accessibles au public une fois leur développement terminé. Ils développeront également des outils ou des API pour déterminer si un contenu particulier a été créé par leurs systèmes. Les contenus audiovisuels facilement distinguables de la réalité, ou conçus pour être facilement reconnaissables comme générés par les systèmes d'intelligence artificielle de l'entreprise (comme la voix par défaut d'un assistant d'intelligence artificielle) ne sont pas couverts par cet engagement.
Les données de filigrane ou d'attribution doivent inclure l'identifiant du service ou du modèle qui a créé le contenu, mais n'ont pas besoin d'inclure d'informations permettant d'identifier l'utilisateur. Plus généralement, les entreprises qui s'engagent à travailler avec leurs homologues du secteur et les organismes de normalisation pour développer un cadre technique qui aidera les utilisateurs à faire la distinction entre le contenu audio ou vidéo généré par l'utilisateur et le contenu audio ou vidéo généré par l'IA.
**6) Signaler publiquement les capacités, les limites et les domaines d'utilisation appropriée et inappropriée d'un modèle ou d'un système, y compris une discussion sur les risques sociétaux tels que l'impact sur l'équité et la partialité. **
Les entreprises participant à l'engagement doivent reconnaître que les utilisateurs doivent être conscients des capacités et des limites connues des systèmes d'IA qu'ils utilisent ou avec lesquels ils interagissent. Les entreprises sont tenues de publier publiquement des rapports de publication pour tous les nouveaux modèles importants concernés. Ces rapports doivent inclure les évaluations de sécurité effectuées (y compris dans des domaines tels que les capacités dangereuses, mais ces évaluations sont soumises à la divulgation publique), les limitations importantes des performances qui affectent les domaines d'utilisation appropriée, une discussion de l'impact du modèle sur les risques sociétaux tels que l'équité et la partialité, et les résultats des tests contradictoires menés pour évaluer l'adéquation du modèle au déploiement.
**7) Donner la priorité à la recherche sur les risques sociaux posés par les systèmes d'IA, notamment en évitant les préjugés et la discrimination préjudiciables et en protégeant la vie privée. **
Les entreprises participant à l'engagement doivent reconnaître l'importance d'empêcher les systèmes d'IA de propager des préjugés préjudiciables et de la discrimination. Les entreprises s'engagent généralement à renforcer les équipes de confiance et de sécurité, à faire progresser la recherche sur la sécurité de l'IA, à promouvoir la confidentialité, à protéger les enfants et à s'efforcer de gérer de manière proactive les risques de l'IA pour un bénéfice ultime.
8) Développer et déployer des systèmes d'IA de pointe pour aider à relever les plus grands défis de la société
Les entreprises participant à l'engagement devront accepter de soutenir la recherche et le développement de systèmes d'intelligence artificielle de pointe pour aider à relever les plus grands défis de la société, tels que l'atténuation et l'adaptation au changement climatique, la détection et la prévention précoces du cancer et la lutte contre les cybermenaces. Les entreprises se sont également engagées à soutenir les initiatives visant à faire progresser l'éducation et la formation des étudiants et du personnel afin de bénéficier des avantages de l'IA, et à aider les citoyens à comprendre la nature, les capacités, les limites et les implications des technologies de l'IA.
Référence : Faire avancer la gouvernance de l'IA (openai.com)
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Article complet | La Maison Blanche convoque 7 entreprises d'IA pour émettre un engagement volontaire en faveur de l'intelligence artificielle
Source de l'article : Notes de recherche sur Alpha Rabbit
texte intégral
Afin de renforcer la sûreté, la sécurité et la crédibilité de la technologie et des services d'intelligence artificielle, OpenAI et d'autres laboratoires d'intelligence artificielle de premier plan ont pris des engagements volontaires. ** Cet effort, coordonné principalement par la Maison Blanche, est une étape importante dans la promotion d'une gouvernance significative et efficace de l'IA aux États-Unis et dans le monde. **
Dans la poursuite de sa mission de création d'une intelligence artificielle sûre et bénéfique, OpenAI continuera de piloter et d'affiner des pratiques de gouvernance spécifiques adaptées aux modèles de base capables de production comme OpenAI. En outre, OpenAI continuera d'investir dans des domaines de recherche qui contribuent à éclairer la réglementation, comme le développement de technologies pour évaluer les dangers potentiels des modèles d'intelligence artificielle.
Engagements volontaires pour l'IA
La liste suivante d'engagements volontaires a été initialement publiée par la Maison Blanche :
Voici une liste des engagements pris par les entreprises pour promouvoir le développement et l'application sûrs, fiables et transparents des technologies d'intelligence artificielle. Les engagements suivants sont conformes aux lois et réglementations en vigueur et sont conçus pour promouvoir la solidité des systèmes juridiques et politiques d'intelligence artificielle. Chaque entreprise remplira les engagements volontaires suivants jusqu'à l'entrée en vigueur des lois, réglementations et systèmes pertinents, et certaines entreprises peuvent prendre d'autres engagements au-delà de cet engagement.
Portée : Cet engagement fait référence à des modèles spécifiques qui s'appliquent uniquement aux modèles d'IA générative qui sont plus puissants que la frontière actuelle de l'industrie (par exemple, des modèles qui sont plus puissants que n'importe quel modèle actuellement publié, y compris GPT-4, Claude 2, PaLM 2, Titan et DALL-E 2 pour la génération d'images).
Remarque : la sécurité correspond aux menaces délibérées (créées par l'homme) et la sécurité correspond aux vulnérabilités ou aux conséquences inattendues du système d'IA lui-même ; ici, la sécurité de l'IA correspond à la sécurité fonctionnelle et la sécurité de l'IA correspond à la sécurité des informations de l'IA
Sécurité (accent mis sur la sécurité fonctionnelle)
**1) Engagement à réévaluer les modèles et les systèmes à l'interne et à l'externe en ce qui concerne les abus, les risques sociétaux et les problèmes de sécurité nationale (par exemple, biologique, cyber et autres domaines de sécurité). **
Les entreprises impliquées dans la prise de ces engagements comprennent que de solides tests de l'équipe rouge sont essentiels pour créer des produits finis, garantir la confiance du public dans l'IA et se prémunir contre les menaces importantes pour la sécurité nationale. ** L'évaluation de la sécurité et des capacités des modèles, y compris les tests de l'équipe rouge, est un domaine ouvert d'exploration scientifique et des travaux supplémentaires sont nécessaires. Les entreprises s'engagent à faire progresser la recherche dans ce domaine et à développer des régimes de test multiformes, spécialisés et détaillés en équipe rouge pour les principales versions publiques de tous les nouveaux modèles concernés, y compris, ici, avec la contribution d'experts indépendants du domaine. Lors de la conception du système, assurez-vous qu'une priorité élevée est accordée à :**
Pour soutenir les travaux ci-dessus, les entreprises participantes feront progresser la recherche en cours sur la sécurité de l'IA, y compris l'explicabilité des processus décisionnels des systèmes d'IA et l'amélioration de la robustesse des systèmes d'IA contre les abus. De même, les entreprises s'engagent à divulguer publiquement les tests de l'équipe rouge et du programme de sécurité dans les rapports de transparence.
2) S'engager à partager des informations entre les entreprises et les gouvernements sur les risques de confiance et de sécurité, les dangers ou les capacités émergentes de l'IA, et les tentatives de contournement des garanties
Les entreprises qui participent à cet engagement doivent reconnaître l'importance du partage d'informations, des normes communes et des meilleures pratiques pour les tests de l'équipe rouge et la promotion de la confiance et de la sécurité dans l'IA. **Vous vous engagez à établir ou à rejoindre un forum ou un mécanisme par lequel participer au développement, à l'avancement et à l'adoption de normes partagées et de meilleures pratiques sur la sécurité de pointe de l'IA, telles que le cadre de gestion des risques de l'IA du NIST ou les futures normes liées aux tests de l'équipe rouge, à la sécurité et aux risques sociétaux. ** Un forum ou un mécanisme qui facilite le partage d'informations sur les progrès des capacités frontalières et les risques et menaces émergents, tels que les tentatives de contournement des garanties, et facilite le développement de groupes de travail techniques sur les domaines de préoccupation prioritaires. Dans ce travail, la Société travaillera en étroite collaboration avec les gouvernements, y compris le gouvernement américain, la société civile et le milieu universitaire, le cas échéant.
Sécurité/Sécurité du réseau (Sécurité, axée sur la sécurité de l'information)
3) Investir dans des défenses de cybersécurité et des protections contre les menaces internes pour protéger les modèles propriétaires et non publiés
Les entreprises participant à l'engagement doivent considérer les pondérations non publiées des modèles d'IA des modèles concernés comme la propriété intellectuelle essentielle de leur entreprise, en particulier en ce qui concerne la cybersécurité et les risques de menaces internes. Cela comprend la limitation de l'accès aux pondérations des modèles aux seules personnes dont les fonctions professionnelles l'exigent et la mise en place d'un programme robuste de détection des menaces internes compatible avec la protection de votre propriété intellectuelle et de vos secrets commerciaux les plus précieux. De plus, les poids doivent être stockés et utilisés dans un environnement sécurisé approprié pour réduire le risque de distribution non autorisée.
4) Encouragez les tiers à découvrir et à signaler les problèmes et les vulnérabilités
Les entreprises qui prennent cet engagement reconnaissent que les systèmes d'IA peuvent encore être vulnérables même après des "tests d'équipe rouges" robustes, et les entreprises s'engagent à établir des primes pour les systèmes dans le cadre de systèmes de primes, de concours ou de prix afin d'encourager la divulgation responsable des faiblesses, telles que les comportements non sécurisés, ou pour incorporer des systèmes d'IA dans le programme de primes de bogues existant d'une entreprise.
Confiance
**5) Pour le contenu audio ou vidéo généré par l'IA, de nouveaux mécanismes doivent être développés et déployés, principalement pour permettre aux utilisateurs de comprendre si le contenu audio ou vidéo a été généré par l'IA, y compris une attribution fiable, un filigrane ou les deux. **
Les entreprises impliquées dans cet engagement reconnaissent l'importance de permettre aux gens de savoir si le contenu audio ou vidéo a été généré par l'intelligence artificielle. Pour y parvenir, les entreprises acceptent de développer des mécanismes robustes, y compris dans la mesure où ils sont introduits, pour fournir des systèmes d'attribution et/ou de filigrane pour le contenu audio ou vidéo créé par l'un de leurs systèmes accessibles au public une fois leur développement terminé. Ils développeront également des outils ou des API pour déterminer si un contenu particulier a été créé par leurs systèmes. Les contenus audiovisuels facilement distinguables de la réalité, ou conçus pour être facilement reconnaissables comme générés par les systèmes d'intelligence artificielle de l'entreprise (comme la voix par défaut d'un assistant d'intelligence artificielle) ne sont pas couverts par cet engagement.
Les données de filigrane ou d'attribution doivent inclure l'identifiant du service ou du modèle qui a créé le contenu, mais n'ont pas besoin d'inclure d'informations permettant d'identifier l'utilisateur. Plus généralement, les entreprises qui s'engagent à travailler avec leurs homologues du secteur et les organismes de normalisation pour développer un cadre technique qui aidera les utilisateurs à faire la distinction entre le contenu audio ou vidéo généré par l'utilisateur et le contenu audio ou vidéo généré par l'IA.
**6) Signaler publiquement les capacités, les limites et les domaines d'utilisation appropriée et inappropriée d'un modèle ou d'un système, y compris une discussion sur les risques sociétaux tels que l'impact sur l'équité et la partialité. **
Les entreprises participant à l'engagement doivent reconnaître que les utilisateurs doivent être conscients des capacités et des limites connues des systèmes d'IA qu'ils utilisent ou avec lesquels ils interagissent. Les entreprises sont tenues de publier publiquement des rapports de publication pour tous les nouveaux modèles importants concernés. Ces rapports doivent inclure les évaluations de sécurité effectuées (y compris dans des domaines tels que les capacités dangereuses, mais ces évaluations sont soumises à la divulgation publique), les limitations importantes des performances qui affectent les domaines d'utilisation appropriée, une discussion de l'impact du modèle sur les risques sociétaux tels que l'équité et la partialité, et les résultats des tests contradictoires menés pour évaluer l'adéquation du modèle au déploiement.
**7) Donner la priorité à la recherche sur les risques sociaux posés par les systèmes d'IA, notamment en évitant les préjugés et la discrimination préjudiciables et en protégeant la vie privée. **
Les entreprises participant à l'engagement doivent reconnaître l'importance d'empêcher les systèmes d'IA de propager des préjugés préjudiciables et de la discrimination. Les entreprises s'engagent généralement à renforcer les équipes de confiance et de sécurité, à faire progresser la recherche sur la sécurité de l'IA, à promouvoir la confidentialité, à protéger les enfants et à s'efforcer de gérer de manière proactive les risques de l'IA pour un bénéfice ultime.
8) Développer et déployer des systèmes d'IA de pointe pour aider à relever les plus grands défis de la société
Les entreprises participant à l'engagement devront accepter de soutenir la recherche et le développement de systèmes d'intelligence artificielle de pointe pour aider à relever les plus grands défis de la société, tels que l'atténuation et l'adaptation au changement climatique, la détection et la prévention précoces du cancer et la lutte contre les cybermenaces. Les entreprises se sont également engagées à soutenir les initiatives visant à faire progresser l'éducation et la formation des étudiants et du personnel afin de bénéficier des avantages de l'IA, et à aider les citoyens à comprendre la nature, les capacités, les limites et les implications des technologies de l'IA.
Référence : Faire avancer la gouvernance de l'IA (openai.com)