*Cet article est basé sur une présentation de Simon Worthington au sommet de Boston en mai 2023. *
Bacalhau révolutionne le paysage du traitement des données en permettant le calcul natif des données : envoyer du code pour exécuter des analyses là où résident les données, plutôt que de déplacer les données vers le code. En préservant les données et en leur permettant d'être autorisées, auditées et contrôlées pour le calcul, davantage de données peuvent être utilisées tout en réduisant le risque d'abus, ce qui est la réponse au problème de gouvernance des données. Les volumes de données augmentent 45 % plus vite que la bande passante du réseau, 57 % des données sont stockées en dehors du cloud ou des centres de données traditionnels, et le déplacement des données est trop lent et coûteux pour toute organisation opérant à grande échelle.
Il y a une autre bonne raison de conserver les données localement : le contrôle. Que ce soit par le biais de réglementations obligatoires telles que la loi HIPAA (Health Insurance Portability and Accountability Act) ou le règlement général sur la protection des données (RGPD), ou de protections natives pour les secrets financiers ou d'entreprise sensibles, près de 100 % de toutes les données sont sous une forme de gouvernance. Le transfert de données vers l'informatique les fait sortir de leur zone de sécurité habituelle et augmente leur risque d'utilisation abusive.
La plupart des données ne sont pas strictement ouvertes ou fermées, mais existent dans une certaine plage. Dans ce cadre, des personnes spécifiques peuvent se voir accorder un accès à des fins spécifiques.
Source : L'ODI
Depuis 2008, les amendes mondiales en matière de gouvernance des données ont totalisé près de 250 milliards de dollars. Il n'est donc pas surprenant que la plupart des entreprises craignent le partage de données, ce qui fait que 68 % des données d'entreprise sont inexploitées. En fait, la plupart des données contrôlées pourraient en principe être partagées et utilisées pour une prise de décision plus efficace, mais uniquement avec les bonnes personnes et dans le bon but.
Le partage de données nécessite une application technique
La plupart des organisations essaient de répondre à ce besoin avec des accords ou des contrats stricts de partage de données. Ces protocoles sont coûteux et longs à mettre en place. Pour les entreprises telles que les gouvernements nationaux ou les institutions financières, cela peut prendre des mois pour passer par la gouvernance des données afin de permettre le partage des données entre les équipes internes.
Pire encore, ces accords ne fonctionnent tout simplement pas - la plupart des accords de partage de données sont totalement inapplicables et ne servent qu'à donner un faux sentiment de sécurité. Une fois que les données franchissent la limite de confiance, seuls des mécanismes souples (comme faire confiance à tout le monde pour respecter l'accord) peuvent empêcher les abus. L'opération même de partage des données est invisible pour tout le monde, et difficilement contrôlable.
« Les contrats ou accords entre les fournisseurs de données et les utilisateurs de données s'avèrent souvent inefficaces.
Dans le scandale de Cambridge Analytica, les clauses contractuelles ont été complètement ignorées et les données personnelles ont été utilisées à mauvais escient.
L'absence de toute preuve technique solide pourrait empêcher les salles d'audience d'accéder à des informations valables et empêcher les régulateurs, les politiciens, les journalistes et le public de comprendre ce qui s'est passé. "
——Mettre la confiance dans les fiducies de données, Register Dynamics, 2019
De toute évidence, ce qu'il faut, c'est une nouvelle façon de réutiliser les données au-delà des frontières de confiance : une qui donne aux analystes un accès simple et contrôlé aux données sans risquer des amendes réglementaires et des gros titres pour les propriétaires de données.
Bacalhau rend le partage de données visible et auditable
Chez Bacalhau, nous croyons que l'informatique native des données est la réponse aux défis de la gouvernance des données. En préservant les données et en leur permettant d'être autorisées, auditées et contrôlées pour le calcul, davantage de données peuvent être utilisées tout en réduisant le risque d'utilisation abusive.
De plus, comme Bacalhau est une plate-forme informatique distribuée, il n'est pas nécessaire de déplacer les données vers un stockage central. Les données peuvent vivre là où elles sont censées se trouver dans l'organisation, évitant ainsi les changements organisationnels difficiles et enlevant tout contrôle aux propriétaires des données.
Nous sommes fiers d'annoncer que dans le cadre de Bacalhau 1.0, nous avons ajouté des fonctionnalités de gouvernance des emplois et des données. Avec Bacalhau, les propriétaires de données peuvent contrôler qui, quoi, où, pourquoi et comment les calculs sont effectués sur leurs données privées.
Code de contrôle Bacalhau et sortie
Bacalhau utilise une approche en deux étapes pour contrôler le travail. Premièrement, les propriétaires de données ont la possibilité de vérifier que les emplois sont conformes à leurs politiques. Cette phase de pré-gouvernance se produit avant le début de l'exécution d'une tâche et permet à la gouvernance d'approuver ou de refuser les calculs en fonction des données qui seront utilisées, de la personne qui demande la tâche et du code qui sera exécuté sur la tâche.
Bien que les humains aient toujours le contrôle, toutes les décisions ne doivent pas être prises par un humain. Le processus de pré-gouvernance est flexible et peut être automatisé selon les besoins. Les propriétaires de données peuvent définir des politiques, inspecter en profondeur les calculs à venir, définir différentes politiques pour différentes personnes et invoquer des algorithmes complexes qui analysent la sécurité et les risques. Lorsqu'un travail n'est pas adapté au contrôle automatique, un humain peut prendre la décision finale.
Bacalhau fournit deux passerelles pour le calcul - une avant le calcul et une après le calcul.
Une fois approuvé, Bacalhau envoie le travail à l'exécuteur approprié, qui n'a accès qu'aux données demandées et est isolé de manière sécurisée du système hôte. Bacalhau impose des contraintes de ressources sur les travaux pour contrôler la puissance de traitement et l'utilisation de la mémoire.
Alors que le contrôle préalable fournit une première ligne raisonnable de défense de la confiance, de manière générale, décider ce qu'un programme informatique fera sans l'exécuter est difficile et nécessite des compétences techniques. Nous avons appris de l'expérience que l'ONS et d'autres environnements de recherche contrôlés connexes autorisent en toute sécurité un accès contrôlé aux données depuis des décennies et empruntent à leurs pratiques dans le domaine numérique. Ainsi, en plus des contrôles de pré-exécution, Bacalhau permet également la modification des résultats après exécution avant qu'ils ne soient transmis aux soumissionnaires de tâches.
Lorsque Bacalhau termine ses calculs, il enregistre les résultats dans un champ privé de pré-version. Les administrateurs utilisent ensuite les résultats de la vérification des antécédents du travail pour déterminer si ces résultats sont attendus pour le travail. Les résultats peuvent être téléchargés si l'administrateur juge le contenu approprié pour le partage. De plus, l'accès à la zone de stockage privée est strictement verrouillé et les utilisateurs ne peuvent diffuser les résultats que pour leurs propres travaux via la fonction de téléchargement de Bacalhau.
Comme pour les pré-contrôles, tout un ensemble complexe d'analyses peut être effectué sur les résultats. Grâce à la technologie Amplify, les propriétaires de données peuvent détecter automatiquement les informations personnellement identifiables (PII), résumer les données tabulaires telles que les CSV et analyser le contenu des images et des clips vidéo. Les métadonnées générées peuvent être utilisées à la fois pour publier automatiquement les résultats et pour fournir des informations précieuses pour la prise de décision humaine.
Contrôle pour ouvrir un nouvel apprentissage conjoint
Le calcul sur des données séparées par des frontières de confiance permet un partage massif de données, mais il n'existe actuellement aucune solution technique sécurisée. Les organisations peuvent désormais appliquer la modération des emplois Bacalhau et l'accès aux données ouvertes sans avoir besoin d'une gouvernance complexe des données si les données détenues par une organisation sont partagées plus largement pour générer une valeur partagée.
Par exemple, une université pourrait mettre davantage de données à la disposition des scientifiques citoyens ou des chercheurs extérieurs, un ministère pourrait autoriser un autre à analyser ses données, ou une équipe d'une institution financière hautement réglementée pourrait permettre à une autre d'analyser en profondeur ses données. En résumé, il est important de ne pas divulguer de données brutes à des utilisateurs moins dignes de confiance. Bacalhau s'assure que les utilisateurs obtiennent leurs résultats d'analyse et rien de plus.
Le même modèle informatique contrôlé distribué permet également un apprentissage fédéré entre les participants de différentes organisations. Avec Bacalhau, les organisations indépendantes peuvent effectuer une analyse approfondie à partir de données agrégées sans partager les données. Grâce aux techniques d'apprentissage fédéré, les scientifiques des données peuvent désormais former des modèles d'apprentissage automatique ou d'IA sur les ensembles de données de nombreuses organisations indépendantes ou même concurrentes sans donner à ces organisations le contrôle des données et une visibilité précise sur l'utilisation des données.
Par exemple, les agences du gouvernement central chargées de formuler les politiques macroéconomiques peuvent utiliser les données détenues par les organisations locales. De même, les organismes de l'industrie tels que les régulateurs d'assurance peuvent former des modèles en soumettant des emplois d'apprentissage fédéré Bacalhau à toutes leurs compagnies d'assurance membres.
La centralisation des données en un seul endroit pourrait conduire à la vente ou à l'utilisation abusive de ces précieuses données agrégées ; mais la conservation des données localement permet à chaque assureur d'être sûr que ses données ne sont utilisées qu'à des fins d'intérêt mutuel convenues d'un commun accord.
Calculer des îlots pour une analyse de thème spécifique
Enfin, le contrôle fin de l'exécution des tâches fourni par Bacalhau permet désormais aux administrateurs d'être la porte d'entrée des îlots informatiques. Dans cette structure, les fournisseurs informatiques indépendants et les propriétaires de données intéressés à fournir des ressources à des fins spécifiques peuvent déléguer l'autorisation de travail à des contrôleurs de confiance.
Par exemple, les scientifiques qui collaborent pour collecter des données médicales qui pourraient aider à traiter le cancer peuvent fournir des données et des calculs par l'intermédiaire de conservateurs externes en qui ils ont confiance. Le contrôleur n'accepte que les emplois conformes aux politiques convenues - dans ce cas, les emplois qui contribuent à de nouveaux traitements contre le cancer.
De cette manière, les scientifiques peuvent se concentrer sur des objectifs de bien public plus larges en déléguant les demandes d'accès externes aux contrôleurs. Grâce au journal d'audit robuste de Bacalhau, les scientifiques peuvent vérifier ultérieurement que les contrôleurs ont agi conformément aux politiques convenues.
Bacalhau est l'avenir du partage de données
Nous sommes ravis de publier les fonctionnalités de gouvernance des tâches et des données dans Bacalhau 1.0 ! Nous pensons que l'informatique représente une nouvelle façon de penser le partage des données - en bref, protéger les données en ne les partageant pas !
Aujourd'hui, nous travaillons avec des entreprises et des agences gouvernementales qui reconnaissent le potentiel de l'informatique gouvernée au-delà des frontières de confiance. Si vous souhaitez en savoir plus sur la façon dont ces fonctionnalités peuvent fonctionner pour vous, rejoignez le Bacalhau Slack ou contactez-nous directement.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Comprendre Bacalhau 1.0 en un article : Libérer le potentiel des données privées
Source originale : Réseau Filecoin
*Cet article est basé sur une présentation de Simon Worthington au sommet de Boston en mai 2023. *
Bacalhau révolutionne le paysage du traitement des données en permettant le calcul natif des données : envoyer du code pour exécuter des analyses là où résident les données, plutôt que de déplacer les données vers le code. En préservant les données et en leur permettant d'être autorisées, auditées et contrôlées pour le calcul, davantage de données peuvent être utilisées tout en réduisant le risque d'abus, ce qui est la réponse au problème de gouvernance des données. Les volumes de données augmentent 45 % plus vite que la bande passante du réseau, 57 % des données sont stockées en dehors du cloud ou des centres de données traditionnels, et le déplacement des données est trop lent et coûteux pour toute organisation opérant à grande échelle.
Il y a une autre bonne raison de conserver les données localement : le contrôle. Que ce soit par le biais de réglementations obligatoires telles que la loi HIPAA (Health Insurance Portability and Accountability Act) ou le règlement général sur la protection des données (RGPD), ou de protections natives pour les secrets financiers ou d'entreprise sensibles, près de 100 % de toutes les données sont sous une forme de gouvernance. Le transfert de données vers l'informatique les fait sortir de leur zone de sécurité habituelle et augmente leur risque d'utilisation abusive.
La plupart des données ne sont pas strictement ouvertes ou fermées, mais existent dans une certaine plage. Dans ce cadre, des personnes spécifiques peuvent se voir accorder un accès à des fins spécifiques.
Source : L'ODI
Depuis 2008, les amendes mondiales en matière de gouvernance des données ont totalisé près de 250 milliards de dollars. Il n'est donc pas surprenant que la plupart des entreprises craignent le partage de données, ce qui fait que 68 % des données d'entreprise sont inexploitées. En fait, la plupart des données contrôlées pourraient en principe être partagées et utilisées pour une prise de décision plus efficace, mais uniquement avec les bonnes personnes et dans le bon but.
Le partage de données nécessite une application technique
La plupart des organisations essaient de répondre à ce besoin avec des accords ou des contrats stricts de partage de données. Ces protocoles sont coûteux et longs à mettre en place. Pour les entreprises telles que les gouvernements nationaux ou les institutions financières, cela peut prendre des mois pour passer par la gouvernance des données afin de permettre le partage des données entre les équipes internes.
Pire encore, ces accords ne fonctionnent tout simplement pas - la plupart des accords de partage de données sont totalement inapplicables et ne servent qu'à donner un faux sentiment de sécurité. Une fois que les données franchissent la limite de confiance, seuls des mécanismes souples (comme faire confiance à tout le monde pour respecter l'accord) peuvent empêcher les abus. L'opération même de partage des données est invisible pour tout le monde, et difficilement contrôlable.
De toute évidence, ce qu'il faut, c'est une nouvelle façon de réutiliser les données au-delà des frontières de confiance : une qui donne aux analystes un accès simple et contrôlé aux données sans risquer des amendes réglementaires et des gros titres pour les propriétaires de données.
Bacalhau rend le partage de données visible et auditable
Chez Bacalhau, nous croyons que l'informatique native des données est la réponse aux défis de la gouvernance des données. En préservant les données et en leur permettant d'être autorisées, auditées et contrôlées pour le calcul, davantage de données peuvent être utilisées tout en réduisant le risque d'utilisation abusive.
De plus, comme Bacalhau est une plate-forme informatique distribuée, il n'est pas nécessaire de déplacer les données vers un stockage central. Les données peuvent vivre là où elles sont censées se trouver dans l'organisation, évitant ainsi les changements organisationnels difficiles et enlevant tout contrôle aux propriétaires des données.
Nous sommes fiers d'annoncer que dans le cadre de Bacalhau 1.0, nous avons ajouté des fonctionnalités de gouvernance des emplois et des données. Avec Bacalhau, les propriétaires de données peuvent contrôler qui, quoi, où, pourquoi et comment les calculs sont effectués sur leurs données privées.
Code de contrôle Bacalhau et sortie
Bacalhau utilise une approche en deux étapes pour contrôler le travail. Premièrement, les propriétaires de données ont la possibilité de vérifier que les emplois sont conformes à leurs politiques. Cette phase de pré-gouvernance se produit avant le début de l'exécution d'une tâche et permet à la gouvernance d'approuver ou de refuser les calculs en fonction des données qui seront utilisées, de la personne qui demande la tâche et du code qui sera exécuté sur la tâche.
Bien que les humains aient toujours le contrôle, toutes les décisions ne doivent pas être prises par un humain. Le processus de pré-gouvernance est flexible et peut être automatisé selon les besoins. Les propriétaires de données peuvent définir des politiques, inspecter en profondeur les calculs à venir, définir différentes politiques pour différentes personnes et invoquer des algorithmes complexes qui analysent la sécurité et les risques. Lorsqu'un travail n'est pas adapté au contrôle automatique, un humain peut prendre la décision finale.
Bacalhau fournit deux passerelles pour le calcul - une avant le calcul et une après le calcul.
Une fois approuvé, Bacalhau envoie le travail à l'exécuteur approprié, qui n'a accès qu'aux données demandées et est isolé de manière sécurisée du système hôte. Bacalhau impose des contraintes de ressources sur les travaux pour contrôler la puissance de traitement et l'utilisation de la mémoire.
Alors que le contrôle préalable fournit une première ligne raisonnable de défense de la confiance, de manière générale, décider ce qu'un programme informatique fera sans l'exécuter est difficile et nécessite des compétences techniques. Nous avons appris de l'expérience que l'ONS et d'autres environnements de recherche contrôlés connexes autorisent en toute sécurité un accès contrôlé aux données depuis des décennies et empruntent à leurs pratiques dans le domaine numérique. Ainsi, en plus des contrôles de pré-exécution, Bacalhau permet également la modification des résultats après exécution avant qu'ils ne soient transmis aux soumissionnaires de tâches.
Lorsque Bacalhau termine ses calculs, il enregistre les résultats dans un champ privé de pré-version. Les administrateurs utilisent ensuite les résultats de la vérification des antécédents du travail pour déterminer si ces résultats sont attendus pour le travail. Les résultats peuvent être téléchargés si l'administrateur juge le contenu approprié pour le partage. De plus, l'accès à la zone de stockage privée est strictement verrouillé et les utilisateurs ne peuvent diffuser les résultats que pour leurs propres travaux via la fonction de téléchargement de Bacalhau.
Comme pour les pré-contrôles, tout un ensemble complexe d'analyses peut être effectué sur les résultats. Grâce à la technologie Amplify, les propriétaires de données peuvent détecter automatiquement les informations personnellement identifiables (PII), résumer les données tabulaires telles que les CSV et analyser le contenu des images et des clips vidéo. Les métadonnées générées peuvent être utilisées à la fois pour publier automatiquement les résultats et pour fournir des informations précieuses pour la prise de décision humaine.
Contrôle pour ouvrir un nouvel apprentissage conjoint
Le calcul sur des données séparées par des frontières de confiance permet un partage massif de données, mais il n'existe actuellement aucune solution technique sécurisée. Les organisations peuvent désormais appliquer la modération des emplois Bacalhau et l'accès aux données ouvertes sans avoir besoin d'une gouvernance complexe des données si les données détenues par une organisation sont partagées plus largement pour générer une valeur partagée.
Par exemple, une université pourrait mettre davantage de données à la disposition des scientifiques citoyens ou des chercheurs extérieurs, un ministère pourrait autoriser un autre à analyser ses données, ou une équipe d'une institution financière hautement réglementée pourrait permettre à une autre d'analyser en profondeur ses données. En résumé, il est important de ne pas divulguer de données brutes à des utilisateurs moins dignes de confiance. Bacalhau s'assure que les utilisateurs obtiennent leurs résultats d'analyse et rien de plus.
Le même modèle informatique contrôlé distribué permet également un apprentissage fédéré entre les participants de différentes organisations. Avec Bacalhau, les organisations indépendantes peuvent effectuer une analyse approfondie à partir de données agrégées sans partager les données. Grâce aux techniques d'apprentissage fédéré, les scientifiques des données peuvent désormais former des modèles d'apprentissage automatique ou d'IA sur les ensembles de données de nombreuses organisations indépendantes ou même concurrentes sans donner à ces organisations le contrôle des données et une visibilité précise sur l'utilisation des données.
Par exemple, les agences du gouvernement central chargées de formuler les politiques macroéconomiques peuvent utiliser les données détenues par les organisations locales. De même, les organismes de l'industrie tels que les régulateurs d'assurance peuvent former des modèles en soumettant des emplois d'apprentissage fédéré Bacalhau à toutes leurs compagnies d'assurance membres.
La centralisation des données en un seul endroit pourrait conduire à la vente ou à l'utilisation abusive de ces précieuses données agrégées ; mais la conservation des données localement permet à chaque assureur d'être sûr que ses données ne sont utilisées qu'à des fins d'intérêt mutuel convenues d'un commun accord.
Calculer des îlots pour une analyse de thème spécifique
Enfin, le contrôle fin de l'exécution des tâches fourni par Bacalhau permet désormais aux administrateurs d'être la porte d'entrée des îlots informatiques. Dans cette structure, les fournisseurs informatiques indépendants et les propriétaires de données intéressés à fournir des ressources à des fins spécifiques peuvent déléguer l'autorisation de travail à des contrôleurs de confiance.
Par exemple, les scientifiques qui collaborent pour collecter des données médicales qui pourraient aider à traiter le cancer peuvent fournir des données et des calculs par l'intermédiaire de conservateurs externes en qui ils ont confiance. Le contrôleur n'accepte que les emplois conformes aux politiques convenues - dans ce cas, les emplois qui contribuent à de nouveaux traitements contre le cancer.
De cette manière, les scientifiques peuvent se concentrer sur des objectifs de bien public plus larges en déléguant les demandes d'accès externes aux contrôleurs. Grâce au journal d'audit robuste de Bacalhau, les scientifiques peuvent vérifier ultérieurement que les contrôleurs ont agi conformément aux politiques convenues.
Bacalhau est l'avenir du partage de données
Nous sommes ravis de publier les fonctionnalités de gouvernance des tâches et des données dans Bacalhau 1.0 ! Nous pensons que l'informatique représente une nouvelle façon de penser le partage des données - en bref, protéger les données en ne les partageant pas !
Aujourd'hui, nous travaillons avec des entreprises et des agences gouvernementales qui reconnaissent le potentiel de l'informatique gouvernée au-delà des frontières de confiance. Si vous souhaitez en savoir plus sur la façon dont ces fonctionnalités peuvent fonctionner pour vous, rejoignez le Bacalhau Slack ou contactez-nous directement.