*Эта статья основана на презентации Саймона Уортингтона на саммите в Бостоне в мае 2023 года. *
Bacalhau революционизирует ландшафт обработки данных, позволяя выполнять вычисления с использованием данных: отправка кода для запуска аналитики там, где находятся данные, а не перемещение данных в код. Сохраняя данные и позволяя их авторизовать, проверять и контролировать для вычислений, можно использовать больше данных при одновременном снижении риска неправильного использования, что является ответом на проблему управления данными. Объемы данных растут на 45 % быстрее, чем пропускная способность сети, 57 % данных хранятся вне облака или традиционных центров обработки данных, а перемещение данных является слишком медленным и дорогостоящим для любой организации, работающей в масштабе.
Есть еще одна веская причина хранить данные локально: контроль. Будь то обязательные правила, такие как Закон о переносимости и подотчетности медицинского страхования (HIPAA) или Общее положение о защите данных (GDPR), или встроенные средства защиты конфиденциальной финансовой или корпоративной тайны, почти 100% всех данных находятся в той или иной форме управления. Перемещение данных в вычисления выводит их из их обычной безопасной зоны и увеличивает риск их неправильного использования.
Большинство данных не являются строго открытыми или закрытыми, а существуют в определенном диапазоне. В рамках этой области определенным лицам может быть предоставлен доступ для определенных целей.
Источник: ОДИ
С 2008 года штрафы за глобальное управление данными составили почти 250 миллиардов долларов. Поэтому неудивительно, что большинство предприятий опасаются обмена данными, в результате чего 68% корпоративных данных остаются неиспользованными. На самом деле большинство контролируемых данных в принципе могут быть переданы и использованы для более эффективного принятия решений, но только с нужными людьми и для правильной цели.
Обмен данными требует технического контроля
Большинство организаций пытаются удовлетворить эту потребность с помощью строгих соглашений или контрактов на обмен данными. Эти протоколы являются дорогостоящими и требуют много времени для настройки — для таких компаний, как национальные правительства или финансовые учреждения, могут потребоваться месяцы, чтобы пройти через управление данными, чтобы обеспечить обмен данными между внутренними командами.
Хуже того, эти соглашения просто не работают — большинство соглашений об обмене данными совершенно не имеют законной силы и служат только для обеспечения ложного чувства безопасности. Как только данные пересекают границу доверия, только мягкие механизмы (такие как доверие всем соблюдать соглашение) могут предотвратить злоупотребления. Фактическая операция обмена данными невидима для всех, и ее трудно контролировать.
«Контракты или соглашения между поставщиками данных и пользователями данных часто оказываются неэффективными.
В скандале с Cambridge Analytica условия контракта полностью игнорировались, а персональные данные использовались не по назначению.
Отсутствие каких-либо веских технических доказательств может лишить залы суда доступа к достоверной информации и затруднить понимание того, что произошло, для регулирующих органов, политиков, журналистов и общественности. "
—— Доверие к доверительным отношениям с данными, Register Dynamics, 2019 г.
Очевидно, что необходим новый способ повторного использования данных через границы доверия: такой, который дает аналитикам простой контролируемый доступ к данным без риска штрафов со стороны регулирующих органов и заголовков для владельцев данных.
Bacalhau делает обмен данными видимым и доступным для аудита
В Bacalhau мы считаем, что вычисления с данными — это ответ на проблемы управления данными. За счет сохранения данных и разрешения их авторизации, аудита и контроля для вычислений можно использовать больше данных, снижая при этом риск неправильного использования.
Более того, поскольку Bacalhau является распределенной вычислительной платформой, нет необходимости перемещать данные в центральное хранилище. Данные могут жить там, где они должны находиться в организации, избегая сложных организационных изменений и лишая владельцев данных какого-либо контроля.
Мы с гордостью сообщаем, что в рамках Bacalhau 1.0 мы добавили возможности управления работой и данными. С помощью Bacalhau владельцы данных могут контролировать, кто, что, где, почему и как выполняются вычисления с их личными данными.
Код управления Bacalhau и вывод
Bacalhau использует двухэтапный подход к управлению работой. Во-первых, у владельцев данных есть возможность проверить соответствие вакансий их политике. Этот этап предварительного управления происходит перед запуском задания и позволяет управлению утверждать или отклонять вычисления на основе данных, которые будут использоваться, кто запрашивает задание и код, который будет выполняться для задания.
Хотя люди всегда контролируют ситуацию, не каждое решение должно приниматься человеком. Процесс предварительного управления является гибким и может быть автоматизирован по мере необходимости. Владельцы данных могут устанавливать политики, тщательно проверять предстоящие вычисления, устанавливать разные политики для разных людей и запускать сложные алгоритмы для анализа безопасности и рисков. Когда работа не подходит для автоматического управления, окончательное решение может принять человек.
Bacalhau предоставляет два шлюза для вычислений — один перед вычислением и один после вычисления.
После утверждения Bacalhau отправляет задание соответствующему исполнителю, который имеет доступ только к запрошенным данным и надежно изолирован от хост-системы. Bacalhau накладывает ограничения ресурсов на задания, чтобы контролировать вычислительную мощность и использование памяти.
В то время как предварительный контроль обеспечивает разумную первую линию защиты доверия, вообще говоря, решить, что компьютерная программа будет делать без ее запуска, сложно и требует технических навыков. Из опыта мы узнали, что ONS и другие связанные контролируемые исследовательские среды десятилетиями обеспечивали безопасный контролируемый доступ к данным и заимствовали их методы работы в цифровой сфере. Таким образом, помимо контроля перед выполнением, Bacalhau также позволяет модифицировать результаты после выполнения, прежде чем они будут переданы отправителям задачи.
Когда Bacalhau завершает свои расчеты, он сохраняет результаты в закрытом предварительном поле. Затем администраторы используют результаты фоновой проверки задания, чтобы определить, ожидаются ли эти результаты для задания. Результаты могут быть загружены, если администратор сочтет содержимое пригодным для совместного использования. Более того, доступ к личному хранилищу строго заблокирован, и пользователи могут передавать результаты только для своих собственных заданий через функцию загрузки Bacalhau.
Как и в случае с предварительным контролем, по результатам может быть выполнен целый комплекс анализов. С помощью технологии Amplify владельцы данных могут автоматически обнаруживать личную информацию (PII), обобщать табличные данные, такие как файлы CSV, и анализировать содержимое изображений и видеоклипов. Сгенерированные метаданные можно использовать как для автоматической публикации результатов, так и для предоставления ценной информации для принятия решений человеком.
Элемент управления, чтобы открыть новое совместное обучение
Вычисления на основе данных, разделенных границами доверия, позволяют массово обмениваться данными, но в настоящее время нет безопасного технического решения. Теперь организации могут применять модерацию заданий Bacalhau и открытый доступ к данным без необходимости сложного управления данными, если данные, хранящиеся в организации, используются более широко для создания общей ценности.
Например, университет может предоставить больше данных гражданским ученым или сторонним исследователям, одно государственное ведомство может позволить другому анализировать свои данные, или одна команда в строго регулируемом финансовом учреждении может позволить другой глубоко проанализировать свои данные. Таким образом, важно не раскрывать необработанные данные менее надежным пользователям. Bacalhau гарантирует, что пользователи получат результаты анализа и ничего более.
Та же модель распределенных управляемых вычислений также обеспечивает федеративное обучение участников из разных организаций. С помощью Bacalhau независимые организации могут проводить углубленный анализ на основе агрегированных данных без обмена данными. Благодаря методам федеративного обучения специалисты по данным теперь могут обучать модели машинного обучения или ИИ на наборах данных множества различных независимых или даже конкурирующих организаций, не передавая этим организациям контроль над данными и точную видимость использования данных.
Например, центральные правительственные учреждения, отвечающие за разработку макроэкономической политики, могут использовать данные, хранящиеся в местных организациях. Точно так же отраслевые органы, такие как страховые регуляторы, могут обучать моделей, отправляя федеративное обучение вакансиям Bacalhau всем своим страховым компаниям-членам.
Централизация данных в одном месте может привести к продаже или неправильному использованию этих ценных агрегированных данных, но локальное хранение данных позволяет каждому страховщику быть уверенным, что его данные используются только во взаимно согласованных целях для взаимной выгоды.
Вычислительные острова для анализа конкретной темы
Наконец, детальный контроль над выполнением заданий, обеспечиваемый Bacalhau, теперь позволяет администраторам быть воротами в вычислительные острова. В этой структуре независимые поставщики вычислительных ресурсов и владельцы данных, заинтересованные в предоставлении ресурсов для определенных целей, могут делегировать авторизацию работы доверенным контролерам.
Например, ученые, сотрудничающие для сбора медицинских данных, которые могут помочь в лечении рака, могут предоставлять данные и расчеты через внешних кураторов, которым они доверяют. Контролер принимает только те вакансии, которые соответствуют согласованным политикам — в данном случае, те, которые способствуют разработке новых методов лечения рака.
Таким образом, ученые могут сосредоточиться на более крупных целях общественного блага, делегируя запросы внешнего доступа контроллерам. Благодаря надежному журналу аудита Bacalhau ученые могут позже убедиться, что контроллеры действовали в соответствии с согласованными политиками.
Bacalhau — будущее обмена данными
Мы рады представить возможности управления работой и данными в Bacalhau 1.0! Мы верим, что вычисления данных представляют собой новый взгляд на совместное использование данных — короче говоря, обеспечение безопасности данных путем их неразглашения!
Сегодня мы работаем с компаниями и государственными учреждениями, которые осознают потенциал управляемых вычислений за пределами доверия. Если вы хотите узнать больше о том, как эти функции могут работать на вас, присоединитесь к Bacalhau Slack или свяжитесь с нами напрямую.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Понимание Bacalhau 1.0 в одной статье: раскрытие потенциала личных данных
Первоисточник: Сеть Filecoin
*Эта статья основана на презентации Саймона Уортингтона на саммите в Бостоне в мае 2023 года. *
Bacalhau революционизирует ландшафт обработки данных, позволяя выполнять вычисления с использованием данных: отправка кода для запуска аналитики там, где находятся данные, а не перемещение данных в код. Сохраняя данные и позволяя их авторизовать, проверять и контролировать для вычислений, можно использовать больше данных при одновременном снижении риска неправильного использования, что является ответом на проблему управления данными. Объемы данных растут на 45 % быстрее, чем пропускная способность сети, 57 % данных хранятся вне облака или традиционных центров обработки данных, а перемещение данных является слишком медленным и дорогостоящим для любой организации, работающей в масштабе.
Есть еще одна веская причина хранить данные локально: контроль. Будь то обязательные правила, такие как Закон о переносимости и подотчетности медицинского страхования (HIPAA) или Общее положение о защите данных (GDPR), или встроенные средства защиты конфиденциальной финансовой или корпоративной тайны, почти 100% всех данных находятся в той или иной форме управления. Перемещение данных в вычисления выводит их из их обычной безопасной зоны и увеличивает риск их неправильного использования.
Большинство данных не являются строго открытыми или закрытыми, а существуют в определенном диапазоне. В рамках этой области определенным лицам может быть предоставлен доступ для определенных целей.
Источник: ОДИ
С 2008 года штрафы за глобальное управление данными составили почти 250 миллиардов долларов. Поэтому неудивительно, что большинство предприятий опасаются обмена данными, в результате чего 68% корпоративных данных остаются неиспользованными. На самом деле большинство контролируемых данных в принципе могут быть переданы и использованы для более эффективного принятия решений, но только с нужными людьми и для правильной цели.
Обмен данными требует технического контроля
Большинство организаций пытаются удовлетворить эту потребность с помощью строгих соглашений или контрактов на обмен данными. Эти протоколы являются дорогостоящими и требуют много времени для настройки — для таких компаний, как национальные правительства или финансовые учреждения, могут потребоваться месяцы, чтобы пройти через управление данными, чтобы обеспечить обмен данными между внутренними командами.
Хуже того, эти соглашения просто не работают — большинство соглашений об обмене данными совершенно не имеют законной силы и служат только для обеспечения ложного чувства безопасности. Как только данные пересекают границу доверия, только мягкие механизмы (такие как доверие всем соблюдать соглашение) могут предотвратить злоупотребления. Фактическая операция обмена данными невидима для всех, и ее трудно контролировать.
Очевидно, что необходим новый способ повторного использования данных через границы доверия: такой, который дает аналитикам простой контролируемый доступ к данным без риска штрафов со стороны регулирующих органов и заголовков для владельцев данных.
Bacalhau делает обмен данными видимым и доступным для аудита
В Bacalhau мы считаем, что вычисления с данными — это ответ на проблемы управления данными. За счет сохранения данных и разрешения их авторизации, аудита и контроля для вычислений можно использовать больше данных, снижая при этом риск неправильного использования.
Более того, поскольку Bacalhau является распределенной вычислительной платформой, нет необходимости перемещать данные в центральное хранилище. Данные могут жить там, где они должны находиться в организации, избегая сложных организационных изменений и лишая владельцев данных какого-либо контроля.
Мы с гордостью сообщаем, что в рамках Bacalhau 1.0 мы добавили возможности управления работой и данными. С помощью Bacalhau владельцы данных могут контролировать, кто, что, где, почему и как выполняются вычисления с их личными данными.
Код управления Bacalhau и вывод
Bacalhau использует двухэтапный подход к управлению работой. Во-первых, у владельцев данных есть возможность проверить соответствие вакансий их политике. Этот этап предварительного управления происходит перед запуском задания и позволяет управлению утверждать или отклонять вычисления на основе данных, которые будут использоваться, кто запрашивает задание и код, который будет выполняться для задания.
Хотя люди всегда контролируют ситуацию, не каждое решение должно приниматься человеком. Процесс предварительного управления является гибким и может быть автоматизирован по мере необходимости. Владельцы данных могут устанавливать политики, тщательно проверять предстоящие вычисления, устанавливать разные политики для разных людей и запускать сложные алгоритмы для анализа безопасности и рисков. Когда работа не подходит для автоматического управления, окончательное решение может принять человек.
Bacalhau предоставляет два шлюза для вычислений — один перед вычислением и один после вычисления.
После утверждения Bacalhau отправляет задание соответствующему исполнителю, который имеет доступ только к запрошенным данным и надежно изолирован от хост-системы. Bacalhau накладывает ограничения ресурсов на задания, чтобы контролировать вычислительную мощность и использование памяти.
В то время как предварительный контроль обеспечивает разумную первую линию защиты доверия, вообще говоря, решить, что компьютерная программа будет делать без ее запуска, сложно и требует технических навыков. Из опыта мы узнали, что ONS и другие связанные контролируемые исследовательские среды десятилетиями обеспечивали безопасный контролируемый доступ к данным и заимствовали их методы работы в цифровой сфере. Таким образом, помимо контроля перед выполнением, Bacalhau также позволяет модифицировать результаты после выполнения, прежде чем они будут переданы отправителям задачи.
Когда Bacalhau завершает свои расчеты, он сохраняет результаты в закрытом предварительном поле. Затем администраторы используют результаты фоновой проверки задания, чтобы определить, ожидаются ли эти результаты для задания. Результаты могут быть загружены, если администратор сочтет содержимое пригодным для совместного использования. Более того, доступ к личному хранилищу строго заблокирован, и пользователи могут передавать результаты только для своих собственных заданий через функцию загрузки Bacalhau.
Как и в случае с предварительным контролем, по результатам может быть выполнен целый комплекс анализов. С помощью технологии Amplify владельцы данных могут автоматически обнаруживать личную информацию (PII), обобщать табличные данные, такие как файлы CSV, и анализировать содержимое изображений и видеоклипов. Сгенерированные метаданные можно использовать как для автоматической публикации результатов, так и для предоставления ценной информации для принятия решений человеком.
Элемент управления, чтобы открыть новое совместное обучение
Вычисления на основе данных, разделенных границами доверия, позволяют массово обмениваться данными, но в настоящее время нет безопасного технического решения. Теперь организации могут применять модерацию заданий Bacalhau и открытый доступ к данным без необходимости сложного управления данными, если данные, хранящиеся в организации, используются более широко для создания общей ценности.
Например, университет может предоставить больше данных гражданским ученым или сторонним исследователям, одно государственное ведомство может позволить другому анализировать свои данные, или одна команда в строго регулируемом финансовом учреждении может позволить другой глубоко проанализировать свои данные. Таким образом, важно не раскрывать необработанные данные менее надежным пользователям. Bacalhau гарантирует, что пользователи получат результаты анализа и ничего более.
Та же модель распределенных управляемых вычислений также обеспечивает федеративное обучение участников из разных организаций. С помощью Bacalhau независимые организации могут проводить углубленный анализ на основе агрегированных данных без обмена данными. Благодаря методам федеративного обучения специалисты по данным теперь могут обучать модели машинного обучения или ИИ на наборах данных множества различных независимых или даже конкурирующих организаций, не передавая этим организациям контроль над данными и точную видимость использования данных.
Например, центральные правительственные учреждения, отвечающие за разработку макроэкономической политики, могут использовать данные, хранящиеся в местных организациях. Точно так же отраслевые органы, такие как страховые регуляторы, могут обучать моделей, отправляя федеративное обучение вакансиям Bacalhau всем своим страховым компаниям-членам.
Централизация данных в одном месте может привести к продаже или неправильному использованию этих ценных агрегированных данных, но локальное хранение данных позволяет каждому страховщику быть уверенным, что его данные используются только во взаимно согласованных целях для взаимной выгоды.
Вычислительные острова для анализа конкретной темы
Наконец, детальный контроль над выполнением заданий, обеспечиваемый Bacalhau, теперь позволяет администраторам быть воротами в вычислительные острова. В этой структуре независимые поставщики вычислительных ресурсов и владельцы данных, заинтересованные в предоставлении ресурсов для определенных целей, могут делегировать авторизацию работы доверенным контролерам.
Например, ученые, сотрудничающие для сбора медицинских данных, которые могут помочь в лечении рака, могут предоставлять данные и расчеты через внешних кураторов, которым они доверяют. Контролер принимает только те вакансии, которые соответствуют согласованным политикам — в данном случае, те, которые способствуют разработке новых методов лечения рака.
Таким образом, ученые могут сосредоточиться на более крупных целях общественного блага, делегируя запросы внешнего доступа контроллерам. Благодаря надежному журналу аудита Bacalhau ученые могут позже убедиться, что контроллеры действовали в соответствии с согласованными политиками.
Bacalhau — будущее обмена данными
Мы рады представить возможности управления работой и данными в Bacalhau 1.0! Мы верим, что вычисления данных представляют собой новый взгляд на совместное использование данных — короче говоря, обеспечение безопасности данных путем их неразглашения!
Сегодня мы работаем с компаниями и государственными учреждениями, которые осознают потенциал управляемых вычислений за пределами доверия. Если вы хотите узнать больше о том, как эти функции могут работать на вас, присоединитесь к Bacalhau Slack или свяжитесь с нами напрямую.