*Este artigo é baseado em uma apresentação de Simon Worthington no Boston Summit em maio de 2023. *
O Bacalhau revoluciona o cenário de processamento de dados ao permitir a computação nativa de dados: enviando código para executar análises onde os dados residem, em vez de mover dados para o código. Ao preservar os dados e permitir que sejam autorizados, auditados e controlados para computação, mais dados podem ser usados, reduzindo o risco de uso indevido, que é a resposta para o problema da governança de dados. Os volumes de dados estão crescendo 45% mais rápido do que a largura de banda da rede, 57% dos dados são armazenados fora da nuvem ou dos datacenters tradicionais, e a movimentação de dados é muito lenta e cara para qualquer organização que opera em escala.
Há outro bom motivo para manter os dados localmente: controle. Seja por meio de regulamentações obrigatórias, como a Lei de Portabilidade e Responsabilidade de Seguro Saúde (HIPAA) ou o Regulamento Geral de Proteção de Dados (GDPR), ou proteções nativas para segredos financeiros ou corporativos confidenciais, quase 100% de todos os dados estão sob alguma forma de governança. Mover dados para a computação os tira de sua zona segura usual e aumenta o risco de uso indevido.
A maioria dos dados não é estritamente aberta ou fechada, mas existe dentro de um determinado intervalo. Dentro desse escopo, pessoas específicas podem ter acesso para fins específicos.
Fonte: ODI
Desde 2008, as multas globais de governança de dados totalizaram quase US$ 250 bilhões. Não é nenhuma surpresa, então, que a maioria das empresas teme o compartilhamento de dados, resultando em 68% dos dados corporativos inexplorados. Na verdade, a maioria dos dados controlados poderia, em princípio, ser compartilhada e usada para uma tomada de decisão mais eficaz – mas apenas com as pessoas certas e para o propósito certo.
O compartilhamento de dados requer aplicação técnica
A maioria das organizações tenta atender a essa necessidade com acordos ou contratos rígidos de compartilhamento de dados. Esses protocolos são caros e demorados para configurar – para empresas como governos nacionais ou instituições financeiras, pode levar meses para passar pela governança de dados para permitir o compartilhamento de dados entre equipes internas.
Pior ainda, esses acordos simplesmente não funcionam — a maioria dos acordos de compartilhamento de dados são completamente inaplicáveis e servem apenas para fornecer uma falsa sensação de segurança. Depois que os dados cruzam o limite de confiança, apenas mecanismos flexíveis (como confiar que todos cumprirão o acordo) podem impedir o abuso. A operação real de compartilhamento de dados é invisível para todos e é difícil de supervisionar.
“Contratos ou acordos entre provedores de dados e usuários de dados muitas vezes se mostram ineficazes.
No escândalo da Cambridge Analytica, os termos do contrato foram completamente ignorados e os dados pessoais foram mal utilizados.
A falta de qualquer evidência técnica forte pode impedir que os tribunais tenham acesso a informações válidas e dificultar a compreensão do que aconteceu para reguladores, políticos, jornalistas e o público. "
——Confiança em dados confiáveis, Register Dynamics, 2019
Claramente, o que é necessário é uma nova maneira de reutilizar dados além dos limites de confiança: uma que forneça aos analistas acesso simples e controlado aos dados sem arriscar multas regulatórias e manchetes para os proprietários dos dados.
Bacalhau torna o compartilhamento de dados visível e auditável
Na Bacalhau, acreditamos que a computação nativa de dados é a resposta para os desafios de governança de dados. Ao preservar os dados e permitir que sejam autorizados, auditados e controlados para computação, mais dados podem ser usados, reduzindo o risco de uso indevido.
Além disso, como o Bacalhau é uma plataforma de computação distribuída, não há necessidade de mover dados para armazenamento central. Os dados podem estar onde quer que estejam na organização, evitando mudanças organizacionais difíceis e tirando qualquer controle dos proprietários dos dados.
Temos o orgulho de anunciar que, como parte do Bacalhau 1.0, adicionamos recursos de governança de trabalho e dados. Com o Bacalhau, os proprietários dos dados podem controlar quem, o quê, onde, por que e como os cálculos são realizados em seus dados privados.
Código de controle e saída do Bacalhau
Bacalhau usa uma abordagem de duas etapas para o controle do trabalho. Primeiro, os proprietários dos dados têm a oportunidade de verificar se os trabalhos estão em conformidade com suas políticas. Essa fase de pré-governança ocorre antes do início da execução de um trabalho e permite que o controle aprove ou negue cálculos com base nos dados que serão usados, quem está solicitando o trabalho e o código que será executado no trabalho.
Embora os humanos estejam sempre no controle, nem toda decisão precisa ser tomada por um humano. O processo de pré-governança é flexível e pode ser automatizado conforme necessário. Os proprietários de dados podem definir políticas, inspecionar profundamente cálculos futuros, definir políticas diferentes para pessoas diferentes e invocar algoritmos complexos que analisam segurança e risco. Quando um trabalho não é adequado para controle automático, um ser humano pode tomar a decisão final.
Bacalhau fornece dois gateways para computação - um antes da computação e outro após a computação.
Uma vez aprovado, o Bacalhau envia o trabalho para o executor apropriado, que só tem acesso aos dados solicitados e está isolado de forma segura do sistema host. O Bacalhau impõe restrições de recursos nas tarefas para controlar o poder de processamento e o uso da memória.
Embora o pré-controle forneça uma primeira linha razoável de defesa da confiança, em geral, decidir o que um programa de computador fará sem executá-lo é difícil e requer habilidades técnicas. Aprendemos com a experiência que o ONS e outros ambientes de pesquisa controlados relacionados permitem com segurança o acesso controlado a dados há décadas e emprestados de suas práticas no mundo digital. Assim, além dos controles de pré-execução, o Bacalhau também permite a modificação dos resultados após a execução antes de serem liberados para os remetentes da tarefa.
Quando o Bacalhau conclui seus cálculos, ele salva os resultados em um campo privado de pré-lançamento. Os administradores então usam os resultados da verificação de antecedentes do trabalho para determinar se esses resultados são esperados para o trabalho. Os resultados podem ser baixados se o administrador considerar o conteúdo adequado para compartilhamento. Além do mais, o acesso à área de armazenamento privado é estritamente bloqueado e os usuários podem apenas transmitir os resultados de seus próprios trabalhos por meio do recurso de download do Bacalhau.
Tal como acontece com os pré-controles, todo um conjunto complexo de análises pode ser realizado nos resultados. Com a tecnologia Amplify, os proprietários de dados podem detectar automaticamente informações de identificação pessoal (PII), resumir dados tabulares, como CSVs, e analisar conteúdo em imagens e videoclipes. Os metadados gerados podem ser usados tanto para publicar resultados automaticamente quanto para fornecer informações valiosas para a tomada de decisões humanas.
Controle para abrir um novo aprendizado conjunto
A computação em dados separados por limites de confiança permite o compartilhamento massivo de dados, mas atualmente não há solução técnica segura. As organizações agora podem aplicar a moderação de trabalho do Bacalhau e o acesso aberto a dados sem a necessidade de uma governança de dados complexa se os dados mantidos por uma organização forem compartilhados de forma mais ampla para gerar valor compartilhado.
Por exemplo, uma universidade pode disponibilizar mais dados para cientistas cidadãos ou pesquisadores externos, um departamento do governo pode permitir que outro analise seus dados ou uma equipe de uma instituição financeira altamente regulamentada pode permitir que outra analise profundamente seus dados. Em resumo, é importante não liberar dados brutos para usuários menos confiáveis. Bacalhau garante que os usuários obtenham seus resultados de análise e nada mais.
O mesmo modelo de computação controlada distribuída também permite o aprendizado federado entre participantes em diferentes organizações. Com o Bacalhau, organizações independentes podem realizar análises aprofundadas de dados agregados sem compartilhar os dados. Com técnicas de aprendizado federado, os cientistas de dados agora podem treinar modelos de aprendizado de máquina ou IA nos conjuntos de dados de muitas organizações independentes ou até mesmo concorrentes, sem entregar a essas organizações o controle dos dados e a visibilidade precisa do uso dos dados.
Por exemplo, agências do governo central responsáveis pela formulação de políticas macroeconômicas podem usar dados mantidos por organizações locais. Da mesma forma, órgãos da indústria, como reguladores de seguros, podem treinar modelos enviando trabalhos federados de aprendizagem do Bacalhau para todas as seguradoras membros.
A centralização de dados em um local pode levar à venda ou uso indevido desses valiosos dados agregados; mas manter os dados localmente permite que cada seguradora tenha certeza de que seus dados estão sendo usados apenas para fins mutuamente acordados de benefício mútuo.
Compute ilhas para análise de temas específicos
Por fim, o controle refinado sobre a execução do trabalho fornecido pelo Bacalhau agora permite que os administradores sejam a porta de entrada para as ilhas de computação. Nessa estrutura, provedores de computação independentes e proprietários de dados interessados em fornecer recursos para fins específicos podem delegar autorização de trabalho a controladores confiáveis.
Por exemplo, cientistas que colaboram para coletar dados médicos que podem ajudar a tratar o câncer podem fornecer dados e cálculos por meio de curadores externos em quem confiam. O controlador só aceita trabalhos que cumpram as políticas acordadas - neste caso, trabalhos que contribuam para novos tratamentos para o câncer.
Dessa forma, os cientistas podem se concentrar em objetivos de bem público maiores, delegando solicitações de acesso externo aos controladores. Com o robusto registro de auditoria do Bacalhau, os cientistas podem verificar posteriormente se os controladores agiram de acordo com as políticas acordadas.
Bacalhau é o futuro da partilha de dados
Estamos entusiasmados em lançar recursos de governança de dados e tarefas no Bacalhau 1.0! Acreditamos que a computação de dados representa uma nova maneira de pensar sobre o compartilhamento de dados - em suma, manter os dados seguros sem compartilhá-los!
Hoje, trabalhamos com empresas e agências governamentais que reconhecem o potencial da computação governada além dos limites da confiança. Se quiser saber mais sobre como esses recursos podem funcionar para você, entre no Bacalhau Slack ou entre em contato diretamente conosco.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
Entendendo o Bacalhau 1.0 em um artigo: Desbloqueando o potencial dos dados privados
Fonte original: Filecoin Network
*Este artigo é baseado em uma apresentação de Simon Worthington no Boston Summit em maio de 2023. *
O Bacalhau revoluciona o cenário de processamento de dados ao permitir a computação nativa de dados: enviando código para executar análises onde os dados residem, em vez de mover dados para o código. Ao preservar os dados e permitir que sejam autorizados, auditados e controlados para computação, mais dados podem ser usados, reduzindo o risco de uso indevido, que é a resposta para o problema da governança de dados. Os volumes de dados estão crescendo 45% mais rápido do que a largura de banda da rede, 57% dos dados são armazenados fora da nuvem ou dos datacenters tradicionais, e a movimentação de dados é muito lenta e cara para qualquer organização que opera em escala.
Há outro bom motivo para manter os dados localmente: controle. Seja por meio de regulamentações obrigatórias, como a Lei de Portabilidade e Responsabilidade de Seguro Saúde (HIPAA) ou o Regulamento Geral de Proteção de Dados (GDPR), ou proteções nativas para segredos financeiros ou corporativos confidenciais, quase 100% de todos os dados estão sob alguma forma de governança. Mover dados para a computação os tira de sua zona segura usual e aumenta o risco de uso indevido.
A maioria dos dados não é estritamente aberta ou fechada, mas existe dentro de um determinado intervalo. Dentro desse escopo, pessoas específicas podem ter acesso para fins específicos.
Fonte: ODI
Desde 2008, as multas globais de governança de dados totalizaram quase US$ 250 bilhões. Não é nenhuma surpresa, então, que a maioria das empresas teme o compartilhamento de dados, resultando em 68% dos dados corporativos inexplorados. Na verdade, a maioria dos dados controlados poderia, em princípio, ser compartilhada e usada para uma tomada de decisão mais eficaz – mas apenas com as pessoas certas e para o propósito certo.
O compartilhamento de dados requer aplicação técnica
A maioria das organizações tenta atender a essa necessidade com acordos ou contratos rígidos de compartilhamento de dados. Esses protocolos são caros e demorados para configurar – para empresas como governos nacionais ou instituições financeiras, pode levar meses para passar pela governança de dados para permitir o compartilhamento de dados entre equipes internas.
Pior ainda, esses acordos simplesmente não funcionam — a maioria dos acordos de compartilhamento de dados são completamente inaplicáveis e servem apenas para fornecer uma falsa sensação de segurança. Depois que os dados cruzam o limite de confiança, apenas mecanismos flexíveis (como confiar que todos cumprirão o acordo) podem impedir o abuso. A operação real de compartilhamento de dados é invisível para todos e é difícil de supervisionar.
Claramente, o que é necessário é uma nova maneira de reutilizar dados além dos limites de confiança: uma que forneça aos analistas acesso simples e controlado aos dados sem arriscar multas regulatórias e manchetes para os proprietários dos dados.
Bacalhau torna o compartilhamento de dados visível e auditável
Na Bacalhau, acreditamos que a computação nativa de dados é a resposta para os desafios de governança de dados. Ao preservar os dados e permitir que sejam autorizados, auditados e controlados para computação, mais dados podem ser usados, reduzindo o risco de uso indevido.
Além disso, como o Bacalhau é uma plataforma de computação distribuída, não há necessidade de mover dados para armazenamento central. Os dados podem estar onde quer que estejam na organização, evitando mudanças organizacionais difíceis e tirando qualquer controle dos proprietários dos dados.
Temos o orgulho de anunciar que, como parte do Bacalhau 1.0, adicionamos recursos de governança de trabalho e dados. Com o Bacalhau, os proprietários dos dados podem controlar quem, o quê, onde, por que e como os cálculos são realizados em seus dados privados.
Código de controle e saída do Bacalhau
Bacalhau usa uma abordagem de duas etapas para o controle do trabalho. Primeiro, os proprietários dos dados têm a oportunidade de verificar se os trabalhos estão em conformidade com suas políticas. Essa fase de pré-governança ocorre antes do início da execução de um trabalho e permite que o controle aprove ou negue cálculos com base nos dados que serão usados, quem está solicitando o trabalho e o código que será executado no trabalho.
Embora os humanos estejam sempre no controle, nem toda decisão precisa ser tomada por um humano. O processo de pré-governança é flexível e pode ser automatizado conforme necessário. Os proprietários de dados podem definir políticas, inspecionar profundamente cálculos futuros, definir políticas diferentes para pessoas diferentes e invocar algoritmos complexos que analisam segurança e risco. Quando um trabalho não é adequado para controle automático, um ser humano pode tomar a decisão final.
Bacalhau fornece dois gateways para computação - um antes da computação e outro após a computação.
Uma vez aprovado, o Bacalhau envia o trabalho para o executor apropriado, que só tem acesso aos dados solicitados e está isolado de forma segura do sistema host. O Bacalhau impõe restrições de recursos nas tarefas para controlar o poder de processamento e o uso da memória.
Embora o pré-controle forneça uma primeira linha razoável de defesa da confiança, em geral, decidir o que um programa de computador fará sem executá-lo é difícil e requer habilidades técnicas. Aprendemos com a experiência que o ONS e outros ambientes de pesquisa controlados relacionados permitem com segurança o acesso controlado a dados há décadas e emprestados de suas práticas no mundo digital. Assim, além dos controles de pré-execução, o Bacalhau também permite a modificação dos resultados após a execução antes de serem liberados para os remetentes da tarefa.
Quando o Bacalhau conclui seus cálculos, ele salva os resultados em um campo privado de pré-lançamento. Os administradores então usam os resultados da verificação de antecedentes do trabalho para determinar se esses resultados são esperados para o trabalho. Os resultados podem ser baixados se o administrador considerar o conteúdo adequado para compartilhamento. Além do mais, o acesso à área de armazenamento privado é estritamente bloqueado e os usuários podem apenas transmitir os resultados de seus próprios trabalhos por meio do recurso de download do Bacalhau.
Tal como acontece com os pré-controles, todo um conjunto complexo de análises pode ser realizado nos resultados. Com a tecnologia Amplify, os proprietários de dados podem detectar automaticamente informações de identificação pessoal (PII), resumir dados tabulares, como CSVs, e analisar conteúdo em imagens e videoclipes. Os metadados gerados podem ser usados tanto para publicar resultados automaticamente quanto para fornecer informações valiosas para a tomada de decisões humanas.
Controle para abrir um novo aprendizado conjunto
A computação em dados separados por limites de confiança permite o compartilhamento massivo de dados, mas atualmente não há solução técnica segura. As organizações agora podem aplicar a moderação de trabalho do Bacalhau e o acesso aberto a dados sem a necessidade de uma governança de dados complexa se os dados mantidos por uma organização forem compartilhados de forma mais ampla para gerar valor compartilhado.
Por exemplo, uma universidade pode disponibilizar mais dados para cientistas cidadãos ou pesquisadores externos, um departamento do governo pode permitir que outro analise seus dados ou uma equipe de uma instituição financeira altamente regulamentada pode permitir que outra analise profundamente seus dados. Em resumo, é importante não liberar dados brutos para usuários menos confiáveis. Bacalhau garante que os usuários obtenham seus resultados de análise e nada mais.
O mesmo modelo de computação controlada distribuída também permite o aprendizado federado entre participantes em diferentes organizações. Com o Bacalhau, organizações independentes podem realizar análises aprofundadas de dados agregados sem compartilhar os dados. Com técnicas de aprendizado federado, os cientistas de dados agora podem treinar modelos de aprendizado de máquina ou IA nos conjuntos de dados de muitas organizações independentes ou até mesmo concorrentes, sem entregar a essas organizações o controle dos dados e a visibilidade precisa do uso dos dados.
Por exemplo, agências do governo central responsáveis pela formulação de políticas macroeconômicas podem usar dados mantidos por organizações locais. Da mesma forma, órgãos da indústria, como reguladores de seguros, podem treinar modelos enviando trabalhos federados de aprendizagem do Bacalhau para todas as seguradoras membros.
A centralização de dados em um local pode levar à venda ou uso indevido desses valiosos dados agregados; mas manter os dados localmente permite que cada seguradora tenha certeza de que seus dados estão sendo usados apenas para fins mutuamente acordados de benefício mútuo.
Compute ilhas para análise de temas específicos
Por fim, o controle refinado sobre a execução do trabalho fornecido pelo Bacalhau agora permite que os administradores sejam a porta de entrada para as ilhas de computação. Nessa estrutura, provedores de computação independentes e proprietários de dados interessados em fornecer recursos para fins específicos podem delegar autorização de trabalho a controladores confiáveis.
Por exemplo, cientistas que colaboram para coletar dados médicos que podem ajudar a tratar o câncer podem fornecer dados e cálculos por meio de curadores externos em quem confiam. O controlador só aceita trabalhos que cumpram as políticas acordadas - neste caso, trabalhos que contribuam para novos tratamentos para o câncer.
Dessa forma, os cientistas podem se concentrar em objetivos de bem público maiores, delegando solicitações de acesso externo aos controladores. Com o robusto registro de auditoria do Bacalhau, os cientistas podem verificar posteriormente se os controladores agiram de acordo com as políticas acordadas.
Bacalhau é o futuro da partilha de dados
Estamos entusiasmados em lançar recursos de governança de dados e tarefas no Bacalhau 1.0! Acreditamos que a computação de dados representa uma nova maneira de pensar sobre o compartilhamento de dados - em suma, manter os dados seguros sem compartilhá-los!
Hoje, trabalhamos com empresas e agências governamentais que reconhecem o potencial da computação governada além dos limites da confiança. Se quiser saber mais sobre como esses recursos podem funcionar para você, entre no Bacalhau Slack ou entre em contato diretamente conosco.