Fonte do artigo: Notas de pesquisa do Alpha Rabbit
Em 21 de julho de 2023, de acordo com o anúncio da Casa Branca, o presidente dos EUA, Joe Biden, convocou sete das principais empresas de inteligência artificial na Casa Branca em 21 de julho—Amazon, Anthropic, Google, Inflection, Meta, Microsoft e OpenAI, e anunciou que essas empresas se comprometeram voluntariamente a ajudar a realizar o desenvolvimento seguro, confiável e transparente da tecnologia de inteligência artificial. Este artigo é do site oficial da OpenAI, e o conteúdo principal é consistente com o site da Casa Branca**. **
texto completo
A fim de consolidar a segurança, a proteção e a credibilidade da tecnologia e dos serviços de inteligência artificial, a OpenAI e outros laboratórios líderes de inteligência artificial assumiram compromissos voluntários. **Este esforço, coordenado principalmente pela Casa Branca, é um passo importante no avanço da governança de IA significativa e eficaz nos Estados Unidos e em todo o mundo. **
Em busca de sua missão de construir IA segura e benéfica, a OpenAI continuará a pilotar e refinar práticas de governança específicas que são adaptadas para um modelo básico com capacidade de produção como a OpenAI. Além disso, a OpenAI continuará investindo em áreas de pesquisa que ajudam a informar a regulamentação, como o desenvolvimento de tecnologias para avaliar os perigos potenciais dos modelos de inteligência artificial.
"Os formuladores de políticas em todo o mundo estão considerando novas leis visando sistemas de IA altamente capazes. Nosso compromisso hoje contribui com práticas concretas para as discussões em andamento. Este anúncio faz parte da colaboração contínua da OpenAI com governos, organizações da sociedade civil e outros em todo o mundo para promover a governança de IA", disse Anna Makanju, vice-presidente de Assuntos Globais da OpenAI. *
Compromissos voluntários de IA
A seguinte lista de compromissos voluntários foi originalmente emitida pela Casa Branca:
A seguir está uma lista de compromissos assumidos por empresas para promover o desenvolvimento e a aplicação seguros, confiáveis e transparentes de tecnologias de inteligência artificial. Cada empresa cumprirá os seguintes compromissos voluntários até que as leis, regulamentos e sistemas relevantes entrem em vigor, e algumas empresas podem assumir outros compromissos além deste compromisso.
Escopo: os modelos específicos mencionados neste compromisso aplicam-se apenas a modelos de IA generativa que são mais poderosos do que a fronteira atual do setor (por exemplo, modelos que são mais poderosos do que qualquer modelo lançado atualmente, incluindo GPT-4, Claude 2, PaLM 2, Titan e DALL-E 2 para geração de imagens).
Observação: Segurança corresponde a ameaças deliberadas (feitas pelo homem) e Segurança corresponde às vulnerabilidades ou consequências inesperadas do próprio sistema de IA; aqui, Segurança de IA corresponde à segurança funcional e Segurança de IA corresponde à segurança da informação de IA
Segurança (foco na segurança funcional)
**1) Compromisso de reavaliar modelos e sistemas interna e externamente em relação ao uso indevido, risco social e preocupações de segurança nacional (por exemplo, domínios de segurança biológica, cibernética e outros). **
As empresas envolvidas em assumir esses compromissos entendem que testes fortes de equipe vermelha são essenciais para criar produtos acabados, garantir a confiança do público na IA e proteger contra ameaças significativas à segurança nacional. A avaliação de segurança e capacidade do modelo, incluindo testes de equipe vermelha, é uma área aberta de exploração científica e mais trabalho é necessário. As empresas se comprometem a avançar na pesquisa nessa área e a desenvolver regimes de teste de equipe vermelha multifacetados, especializados e detalhados para os principais lançamentos públicos de todos os novos modelos em escopo, incluindo, aqui, informações de especialistas independentes do domínio. Ao projetar o sistema, certifique-se de que seja dada alta prioridade a:
Riscos biológicos, químicos e radiológicos, por exemplo, como o sistema reduz as barreiras à entrada para desenvolvimento, projeto, aquisição ou uso de armas
Os recursos de segurança cibernética, como a maneira pela qual o sistema ajuda a descobrir, explorar ou operar usando vulnerabilidades, precisam levar em conta os recursos do modelo, também podem ter usos defensivos úteis e são adequados para inclusão no sistema
Efeitos da interação do sistema e uso de ferramentas, incluindo a capacidade de controlar sistemas físicos
Capacidade de um modelo de se replicar ou "auto-replicar"
Riscos sociais como preconceito e discriminação
Para apoiar o trabalho acima, as empresas participantes avançarão na pesquisa de segurança de IA em andamento, incluindo a explicabilidade dos processos de tomada de decisão do sistema de IA e melhorando a robustez dos sistemas de IA contra abusos. Da mesma forma, as empresas se comprometem a divulgar publicamente os testes da equipe vermelha e do programa de segurança em relatórios de transparência.
2) Comprometer-se a compartilhar informações entre empresas e governos sobre confiança e riscos de segurança, perigos ou recursos emergentes de IA e tentativas de contornar as salvaguardas
As empresas que participam desse compromisso precisam reconhecer a importância do compartilhamento de informações, padrões comuns e melhores práticas para testes de equipe vermelha e promoção da confiança e segurança na IA. **Você se compromete a estabelecer ou ingressar em um fórum ou mecanismo por meio do qual participar do desenvolvimento, avanço e adoção de padrões compartilhados e melhores práticas sobre segurança de ponta em IA, como o NIST AI Risk Management Framework ou futuros padrões relacionados a testes de equipe vermelha, segurança e riscos sociais. **Um fórum ou mecanismo que facilita o compartilhamento de informações sobre avanços em capacidades de fronteira e riscos e ameaças emergentes, como tentativas de burlar salvaguardas, e facilita o desenvolvimento de grupos de trabalho técnicos em áreas prioritárias de enfoque. Nesse trabalho, a Empresa trabalhará em estreita colaboração com os governos, incluindo o governo dos EUA, a sociedade civil e a academia, conforme apropriado.
Segurança/Segurança de Rede (Segurança, com foco em segurança da informação)
3) Invista em defesas de segurança cibernética e salvaguardas contra ameaças internas para proteger modelos proprietários e inéditos
As empresas que participam do compromisso precisam considerar pesos de modelos de IA não publicados de modelos em escopo como propriedade intelectual essencial para seus negócios, especialmente no que diz respeito à segurança cibernética e aos riscos de ameaças internas. Isso inclui limitar o acesso aos pesos do modelo apenas para aqueles cujas funções de trabalho o exijam e estabelecer um programa robusto de detecção de ameaças internas consistente com a proteção de sua propriedade intelectual e segredos comerciais mais valiosos. Além disso, os pesos precisam ser armazenados e usados em um ambiente seguro apropriado para reduzir o risco de distribuição não autorizada.
4) Incentivar terceiros a descobrir e relatar problemas e vulnerabilidades
As empresas que assumem esse compromisso reconhecem que os sistemas de IA ainda podem ser vulneráveis mesmo após robustos "testes de equipe vermelha" e as empresas se comprometem a estabelecer recompensas para sistemas dentro do escopo de sistemas de recompensas, concursos ou prêmios para incentivar a divulgação responsável de pontos fracos, como comportamento inseguro, ou para incorporar sistemas de IA ao programa de recompensas de bugs existente de uma empresa.
Confiar
**5) Para conteúdo de áudio ou vídeo gerado por IA, novos mecanismos precisam ser desenvolvidos e implantados, principalmente para permitir que os usuários entendam se o conteúdo de áudio ou vídeo foi gerado por IA, incluindo atribuição confiável, marca d'água ou ambos. **
As empresas envolvidas nesse compromisso reconhecem a importância de permitir que as pessoas saibam se o conteúdo de áudio ou vídeo foi gerado por inteligência artificial. Para conseguir isso, as empresas concordam em desenvolver mecanismos robustos, inclusive na medida em que forem introduzidos, para fornecer sistemas de atribuição e/ou marca d'água para conteúdo de áudio ou vídeo criado por qualquer um de seus sistemas disponíveis ao público após a conclusão do desenvolvimento. Eles também desenvolverão ferramentas ou APIs para determinar se um determinado conteúdo foi criado por seus sistemas. Conteúdos audiovisuais facilmente distinguíveis da realidade ou concebidos para serem facilmente reconhecíveis como gerados pelos sistemas de inteligência artificial da empresa (como a voz padrão de um assistente de inteligência artificial) não são cobertos por este compromisso.
Os dados de marca d'água ou atribuição devem incluir o identificador do serviço ou modelo que criou o conteúdo, mas não precisam incluir nenhuma informação de identificação do usuário. De forma mais ampla, as empresas que fazem esse compromisso se comprometem a trabalhar com colegas do setor e órgãos de definição de padrões para desenvolver uma estrutura técnica que ajudará os usuários a distinguir entre conteúdo de áudio ou vídeo gerado pelo usuário e conteúdo de áudio ou vídeo gerado por IA.
**6) Informar publicamente sobre as capacidades, limitações e áreas de uso apropriado e inapropriado de um modelo ou sistema, incluindo discussão de riscos sociais, como impacto na justiça e viés. **
As empresas participantes do compromisso precisam reconhecer que os usuários devem estar cientes das capacidades e limitações conhecidas dos sistemas de IA que usam ou com os quais interagem. As empresas são obrigadas a publicar publicamente relatórios de lançamento para todos os novos modelos significativos no escopo. Esses relatórios devem incluir as avaliações de segurança realizadas (incluindo em áreas como recursos perigosos, mas essas avaliações estão sujeitas à divulgação pública), limitações significativas no desempenho que afetam áreas de uso apropriado, uma discussão sobre o impacto do modelo sobre os riscos sociais, como justiça e viés, e os resultados dos testes contraditórios conduzidos para avaliar a adequação do modelo para implantação.
**7) Priorizar a pesquisa sobre os riscos sociais apresentados pelos sistemas de IA, incluindo evitar preconceitos e discriminação prejudiciais e proteger a privacidade. **
As empresas que participam do compromisso precisam reconhecer a importância de impedir que os sistemas de IA espalhem preconceitos e discriminações prejudiciais. As empresas geralmente se comprometem a capacitar as equipes de confiança e segurança, avançando na pesquisa de segurança da IA, promovendo a privacidade, protegendo as crianças e se esforçando para gerenciar proativamente os riscos da IA para o benefício final.
8) Desenvolver e implantar sistemas de IA de ponta para ajudar a enfrentar os maiores desafios da sociedade
As empresas participantes do compromisso precisarão concordar em apoiar a pesquisa e o desenvolvimento de sistemas de inteligência artificial de ponta para ajudar a enfrentar os maiores desafios da sociedade, como mitigação e adaptação às mudanças climáticas, detecção e prevenção precoce do câncer e combate a ameaças cibernéticas. As empresas também se comprometeram a apoiar iniciativas para promover a educação e o treinamento de alunos e funcionários para se beneficiar dos benefícios da IA e ajudar os cidadãos a entender a natureza, as capacidades, as limitações e os impactos das tecnologias de IA.
Referência: Avançando na governança de IA (openai.com)
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
História completa | A Casa Branca convoca 7 empresas de IA para emitir um compromisso voluntário com a inteligência artificial
Fonte do artigo: Notas de pesquisa do Alpha Rabbit
texto completo
A fim de consolidar a segurança, a proteção e a credibilidade da tecnologia e dos serviços de inteligência artificial, a OpenAI e outros laboratórios líderes de inteligência artificial assumiram compromissos voluntários. **Este esforço, coordenado principalmente pela Casa Branca, é um passo importante no avanço da governança de IA significativa e eficaz nos Estados Unidos e em todo o mundo. **
Em busca de sua missão de construir IA segura e benéfica, a OpenAI continuará a pilotar e refinar práticas de governança específicas que são adaptadas para um modelo básico com capacidade de produção como a OpenAI. Além disso, a OpenAI continuará investindo em áreas de pesquisa que ajudam a informar a regulamentação, como o desenvolvimento de tecnologias para avaliar os perigos potenciais dos modelos de inteligência artificial.
Compromissos voluntários de IA
A seguinte lista de compromissos voluntários foi originalmente emitida pela Casa Branca:
A seguir está uma lista de compromissos assumidos por empresas para promover o desenvolvimento e a aplicação seguros, confiáveis e transparentes de tecnologias de inteligência artificial. Cada empresa cumprirá os seguintes compromissos voluntários até que as leis, regulamentos e sistemas relevantes entrem em vigor, e algumas empresas podem assumir outros compromissos além deste compromisso.
Escopo: os modelos específicos mencionados neste compromisso aplicam-se apenas a modelos de IA generativa que são mais poderosos do que a fronteira atual do setor (por exemplo, modelos que são mais poderosos do que qualquer modelo lançado atualmente, incluindo GPT-4, Claude 2, PaLM 2, Titan e DALL-E 2 para geração de imagens).
Observação: Segurança corresponde a ameaças deliberadas (feitas pelo homem) e Segurança corresponde às vulnerabilidades ou consequências inesperadas do próprio sistema de IA; aqui, Segurança de IA corresponde à segurança funcional e Segurança de IA corresponde à segurança da informação de IA
Segurança (foco na segurança funcional)
**1) Compromisso de reavaliar modelos e sistemas interna e externamente em relação ao uso indevido, risco social e preocupações de segurança nacional (por exemplo, domínios de segurança biológica, cibernética e outros). **
As empresas envolvidas em assumir esses compromissos entendem que testes fortes de equipe vermelha são essenciais para criar produtos acabados, garantir a confiança do público na IA e proteger contra ameaças significativas à segurança nacional. A avaliação de segurança e capacidade do modelo, incluindo testes de equipe vermelha, é uma área aberta de exploração científica e mais trabalho é necessário. As empresas se comprometem a avançar na pesquisa nessa área e a desenvolver regimes de teste de equipe vermelha multifacetados, especializados e detalhados para os principais lançamentos públicos de todos os novos modelos em escopo, incluindo, aqui, informações de especialistas independentes do domínio. Ao projetar o sistema, certifique-se de que seja dada alta prioridade a:
Para apoiar o trabalho acima, as empresas participantes avançarão na pesquisa de segurança de IA em andamento, incluindo a explicabilidade dos processos de tomada de decisão do sistema de IA e melhorando a robustez dos sistemas de IA contra abusos. Da mesma forma, as empresas se comprometem a divulgar publicamente os testes da equipe vermelha e do programa de segurança em relatórios de transparência.
2) Comprometer-se a compartilhar informações entre empresas e governos sobre confiança e riscos de segurança, perigos ou recursos emergentes de IA e tentativas de contornar as salvaguardas
As empresas que participam desse compromisso precisam reconhecer a importância do compartilhamento de informações, padrões comuns e melhores práticas para testes de equipe vermelha e promoção da confiança e segurança na IA. **Você se compromete a estabelecer ou ingressar em um fórum ou mecanismo por meio do qual participar do desenvolvimento, avanço e adoção de padrões compartilhados e melhores práticas sobre segurança de ponta em IA, como o NIST AI Risk Management Framework ou futuros padrões relacionados a testes de equipe vermelha, segurança e riscos sociais. **Um fórum ou mecanismo que facilita o compartilhamento de informações sobre avanços em capacidades de fronteira e riscos e ameaças emergentes, como tentativas de burlar salvaguardas, e facilita o desenvolvimento de grupos de trabalho técnicos em áreas prioritárias de enfoque. Nesse trabalho, a Empresa trabalhará em estreita colaboração com os governos, incluindo o governo dos EUA, a sociedade civil e a academia, conforme apropriado.
Segurança/Segurança de Rede (Segurança, com foco em segurança da informação)
3) Invista em defesas de segurança cibernética e salvaguardas contra ameaças internas para proteger modelos proprietários e inéditos
As empresas que participam do compromisso precisam considerar pesos de modelos de IA não publicados de modelos em escopo como propriedade intelectual essencial para seus negócios, especialmente no que diz respeito à segurança cibernética e aos riscos de ameaças internas. Isso inclui limitar o acesso aos pesos do modelo apenas para aqueles cujas funções de trabalho o exijam e estabelecer um programa robusto de detecção de ameaças internas consistente com a proteção de sua propriedade intelectual e segredos comerciais mais valiosos. Além disso, os pesos precisam ser armazenados e usados em um ambiente seguro apropriado para reduzir o risco de distribuição não autorizada.
4) Incentivar terceiros a descobrir e relatar problemas e vulnerabilidades
As empresas que assumem esse compromisso reconhecem que os sistemas de IA ainda podem ser vulneráveis mesmo após robustos "testes de equipe vermelha" e as empresas se comprometem a estabelecer recompensas para sistemas dentro do escopo de sistemas de recompensas, concursos ou prêmios para incentivar a divulgação responsável de pontos fracos, como comportamento inseguro, ou para incorporar sistemas de IA ao programa de recompensas de bugs existente de uma empresa.
Confiar
**5) Para conteúdo de áudio ou vídeo gerado por IA, novos mecanismos precisam ser desenvolvidos e implantados, principalmente para permitir que os usuários entendam se o conteúdo de áudio ou vídeo foi gerado por IA, incluindo atribuição confiável, marca d'água ou ambos. **
As empresas envolvidas nesse compromisso reconhecem a importância de permitir que as pessoas saibam se o conteúdo de áudio ou vídeo foi gerado por inteligência artificial. Para conseguir isso, as empresas concordam em desenvolver mecanismos robustos, inclusive na medida em que forem introduzidos, para fornecer sistemas de atribuição e/ou marca d'água para conteúdo de áudio ou vídeo criado por qualquer um de seus sistemas disponíveis ao público após a conclusão do desenvolvimento. Eles também desenvolverão ferramentas ou APIs para determinar se um determinado conteúdo foi criado por seus sistemas. Conteúdos audiovisuais facilmente distinguíveis da realidade ou concebidos para serem facilmente reconhecíveis como gerados pelos sistemas de inteligência artificial da empresa (como a voz padrão de um assistente de inteligência artificial) não são cobertos por este compromisso.
Os dados de marca d'água ou atribuição devem incluir o identificador do serviço ou modelo que criou o conteúdo, mas não precisam incluir nenhuma informação de identificação do usuário. De forma mais ampla, as empresas que fazem esse compromisso se comprometem a trabalhar com colegas do setor e órgãos de definição de padrões para desenvolver uma estrutura técnica que ajudará os usuários a distinguir entre conteúdo de áudio ou vídeo gerado pelo usuário e conteúdo de áudio ou vídeo gerado por IA.
**6) Informar publicamente sobre as capacidades, limitações e áreas de uso apropriado e inapropriado de um modelo ou sistema, incluindo discussão de riscos sociais, como impacto na justiça e viés. **
As empresas participantes do compromisso precisam reconhecer que os usuários devem estar cientes das capacidades e limitações conhecidas dos sistemas de IA que usam ou com os quais interagem. As empresas são obrigadas a publicar publicamente relatórios de lançamento para todos os novos modelos significativos no escopo. Esses relatórios devem incluir as avaliações de segurança realizadas (incluindo em áreas como recursos perigosos, mas essas avaliações estão sujeitas à divulgação pública), limitações significativas no desempenho que afetam áreas de uso apropriado, uma discussão sobre o impacto do modelo sobre os riscos sociais, como justiça e viés, e os resultados dos testes contraditórios conduzidos para avaliar a adequação do modelo para implantação.
**7) Priorizar a pesquisa sobre os riscos sociais apresentados pelos sistemas de IA, incluindo evitar preconceitos e discriminação prejudiciais e proteger a privacidade. **
As empresas que participam do compromisso precisam reconhecer a importância de impedir que os sistemas de IA espalhem preconceitos e discriminações prejudiciais. As empresas geralmente se comprometem a capacitar as equipes de confiança e segurança, avançando na pesquisa de segurança da IA, promovendo a privacidade, protegendo as crianças e se esforçando para gerenciar proativamente os riscos da IA para o benefício final.
8) Desenvolver e implantar sistemas de IA de ponta para ajudar a enfrentar os maiores desafios da sociedade
As empresas participantes do compromisso precisarão concordar em apoiar a pesquisa e o desenvolvimento de sistemas de inteligência artificial de ponta para ajudar a enfrentar os maiores desafios da sociedade, como mitigação e adaptação às mudanças climáticas, detecção e prevenção precoce do câncer e combate a ameaças cibernéticas. As empresas também se comprometeram a apoiar iniciativas para promover a educação e o treinamento de alunos e funcionários para se beneficiar dos benefícios da IA e ajudar os cidadãos a entender a natureza, as capacidades, as limitações e os impactos das tecnologias de IA.
Referência: Avançando na governança de IA (openai.com)