*Ця стаття заснована на презентації Саймона Вортінгтона на Бостонському саміті в травні 2023 року. *
Bacalhau революціонізує ландшафт обробки даних, увімкнувши обчислення на основі даних: надсилання коду для запуску аналітики там, де дані знаходяться, а не переміщення даних у код. Зберігаючи дані та дозволяючи їх авторизувати, перевіряти та контролювати для обчислень, можна використовувати більше даних, одночасно зменшуючи ризик неправильного використання, що є відповіддю на проблему керування даними. Обсяги даних зростають на 45% швидше, ніж пропускна здатність мережі, 57% даних зберігаються за межами хмари чи традиційних центрів обробки даних, а переміщення даних надто повільне та дороге для будь-якої організації, що працює в масштабі.
Є ще одна вагома причина зберігати дані локально: контроль. Незалежно від обов’язкових нормативних актів, таких як Закон про перенесення та підзвітність медичного страхування (HIPAA) чи Загального регламенту захисту даних (GDPR), чи внутрішніх засобів захисту конфіденційної фінансової чи корпоративної таємниці, майже 100% усіх даних перебуває під певною формою управління. Переміщення даних у комп’ютер виводить їх із звичайної безпечної зони та збільшує ризик неправомірного використання.
Більшість даних не є строго відкритими чи закритими, але існують у певному діапазоні. У межах цього обсягу певним особам можна надати доступ для певних цілей.
Джерело: ODI
З 2008 року глобальні штрафи за управління даними склали майже 250 мільярдів доларів. Тому не дивно, що більшість компаній побоюються обміну даними, в результаті чого 68% корпоративних даних залишаються невикористаними. Насправді більшість контрольованих даних можна в принципі ділитися та використовувати для більш ефективного прийняття рішень, але лише з потрібними людьми та з правильною метою.
Обмін даними потребує технічного забезпечення
Більшість організацій намагаються задовольнити цю потребу за допомогою суворих угод або контрактів про обмін даними. Налаштування цих протоколів є дорогим і трудомістким — для компаній, таких як національні уряди чи фінансові установи, можуть знадобитися місяці, щоб пройти процес керування даними, щоб забезпечити обмін даними між внутрішніми командами.
Гірше того, ці угоди просто не працюють — більшість угод про обмін даними абсолютно невиконувані та створюють лише помилкове відчуття безпеки. Коли дані перетинають межу довіри, лише м’які механізми (такі як довіра всім дотримуватись угоди) можуть запобігти зловживанню. Фактична операція обміну даними невидима для всіх, і її важко контролювати.
«Контракти чи угоди між постачальниками даних і користувачами даних часто виявляються неефективними.
У скандалі з Cambridge Analytica умови контракту були повністю проігноровані, а особисті дані використані не за призначенням.
Відсутність будь-яких вагомих технічних доказів може позбавити суди достовірної інформації та ускладнить розуміння того, що сталося, регуляторним органам, політикам, журналістам і громадськості. "
——Довіра до довіри даних, Register Dynamics, 2019
Зрозуміло, що потрібен новий спосіб повторного використання даних за межами довіри: такий, який надає аналітикам простий контрольований доступ до даних без ризику регуляторних штрафів і заголовків для власників даних.
Bacalhau робить обмін даними видимим і доступним для перевірки
У Bacalhau ми віримо, що обчислення на базі даних є відповіддю на виклики управління даними. Зберігаючи дані та дозволяючи їх авторизувати, перевіряти та контролювати для обчислень, можна використовувати більше даних, зменшуючи ризик неправильного використання.
Більше того, оскільки Bacalhau є розподіленою обчислювальною платформою, немає необхідності переміщувати дані в центральне сховище. Дані можуть зберігатися в будь-якому місці організації, уникаючи важких організаційних змін і позбавляючи власників даних будь-якого контролю.
Ми з гордістю повідомляємо, що в рамках Bacalhau 1.0 ми додали можливості управління роботами та даними. За допомогою Bacalhau власники даних можуть контролювати, хто, що, де, чому та як виконує обчислення з їхніми особистими даними.
Код керування Bacalhau та вихід
Bacalhau використовує двоетапний підхід до контролю роботи. По-перше, власники даних мають можливість перевірити відповідність робочих місць їхнім політикам. Ця фаза попереднього керування відбувається перед початком виконання завдання та дозволяє керуючому персоналу схвалювати або відхиляти обчислення на основі даних, які використовуватимуться, хто надсилає запит на завдання та коду, який буде виконано для завдання.
Хоча люди завжди контролюють ситуацію, не кожне рішення має приймати людина. Процес попереднього управління є гнучким і може бути автоматизований за потреби. Власники даних можуть встановлювати політики, детально перевіряти майбутні обчислення, встановлювати різні політики для різних людей і запускати складні алгоритми, які аналізують безпеку та ризики. Коли робота не підходить для автоматичного контролю, остаточне рішення приймає людина.
Bacalhau надає два шлюзи для обчислень - один до обчислення і один після обчислення.
Після схвалення Bacalhau надсилає завдання відповідному виконавцю, який має доступ лише до запитаних даних і надійно ізольований від головної системи. Bacalhau накладає обмеження на ресурси для завдань, щоб контролювати потужність обробки та використання пам’яті.
Хоча попередній контроль забезпечує розумну першу лінію захисту довіри, загалом, вирішити, що робитиме комп’ютерна програма без її запуску, важко і вимагає технічних навичок. З досвіду ми зрозуміли, що ONS та інші відповідні контрольовані дослідницькі середовища протягом десятиліть безпечно надають контрольований доступ до даних і запозичені з їх практики в цифровій сфері. Таким чином, на додаток до елементів керування перед виконанням, Bacalhau також дозволяє модифікувати результати після виконання, перш ніж вони будуть передані тим, хто надсилає завдання.
Коли Bacalhau завершує обчислення, він зберігає результати в приватному полі попередньої версії. Потім адміністратори використовують результати перевірки фону завдання, щоб визначити, чи очікувані ці результати для завдання. Результати можна завантажити, якщо адміністратор вважає вміст придатним для спільного використання. Більше того, доступ до приватного сховища суворо заблоковано, і користувачі можуть транслювати результати лише для своїх власних завдань за допомогою функції завантаження Bacalhau.
Як і у випадку з попереднім контролем, цілий складний набір аналізів можна виконати за результатами. Завдяки технології Amplify власники даних можуть автоматично виявляти особисту інформацію (PII), узагальнювати табличні дані, такі як CSV, і аналізувати вміст зображень і відеокліпів. Згенеровані метадані можна використовувати як для автоматичної публікації результатів, так і для надання цінної інформації для прийняття рішень людиною.
Control для відкриття нового спільного навчання
Обчислення даних, розділених кордонами довіри, дають змогу масово обмінюватися даними, але наразі немає безпечного технічного рішення. Тепер організації можуть застосовувати модерацію вакансій Bacalhau та відкритий доступ до даних без потреби в складному управлінні даними, якщо дані, що зберігаються в організації, ширше використовуються для створення спільної цінності.
Наприклад, університет може зробити більше даних доступними для вчених-громадян або сторонніх дослідників, один державний департамент може дозволити іншому проаналізувати свої дані, або одна команда в жорстко регульованій фінансовій установі може дозволити іншій глибоко проаналізувати свої дані. Таким чином, важливо не передавати необроблені дані менш надійним користувачам. Bacalhau гарантує, що користувачі отримають результати аналізу і нічого більше.
Та сама модель розподілених керованих обчислень також забезпечує об’єднане навчання серед учасників у різних організаціях. За допомогою Bacalhau незалежні організації можуть проводити поглиблений аналіз зібраних даних без спільного використання даних. Завдяки методам федеративного навчання науковці з обробки даних тепер можуть навчати машинне навчання або моделі штучного інтелекту на наборах даних багатьох різних незалежних або навіть конкуруючих організацій, не даючи цим організаціям контроль над даними та точну видимість використання даних.
Наприклад, центральні урядові установи, відповідальні за формування макроекономічної політики, можуть використовувати дані, які зберігаються в місцевих організаціях. Подібним чином галузеві органи, такі як страхові регулятори, можуть навчати моделей, надсилаючи завдання Bacalhau щодо федеративного навчання всім страховим компаніям-учасникам.
Централізація даних в одному місці може призвести до продажу або зловживання цими цінними сукупними даними; але локальне зберігання даних дозволяє кожному страховику бути впевненим, що його дані використовуються лише для взаємоузгоджених цілей обопільної вигоди.
Обчислюйте острови для аналізу конкретної теми
Нарешті, детальний контроль над виконанням завдань, наданий Bacalhau, тепер дозволяє адміністраторам бути воротами до обчислювальних островів. У цій структурі незалежні постачальники обчислювальних послуг і власники даних, зацікавлені в наданні ресурсів для певних цілей, можуть делегувати повноваження на роботу довіреним контролерам.
Наприклад, науковці, які співпрацюють для збору медичних даних, які можуть допомогти в лікуванні раку, можуть мати дані та обчислення, надані зовнішніми кураторами, яким вони довіряють. Контролер приймає лише ті вакансії, які відповідають узгодженій політиці — у цьому випадку вакансії, які сприяють створенню нових методів лікування раку.
Таким чином, науковці можуть зосередитися на більших суспільних цілях, делегуючи зовнішні запити на доступ контролерам. За допомогою надійного журналу аудиту Bacalhau вчені можуть пізніше перевірити, чи контролери діяли відповідно до узгодженої політики.
Bacalhau — це майбутнє обміну даними
Ми раді представити можливості керування роботою та даними в Bacalhau 1.0! Ми віримо, що обчислення даних представляє новий спосіб мислення щодо обміну даними, коротше кажучи, збереження даних у безпеці, не передаючи їх!
Сьогодні ми співпрацюємо з компаніями та державними установами, які визнають потенціал керованих обчислень поза межами довіри. Якщо ви хочете дізнатися більше про те, як ці функції можуть працювати для вас, приєднайтеся до Bacalhau Slack або зв’яжіться з нами безпосередньо.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Розуміння Bacalhau 1.0 в одній статті: Розкриття потенціалу приватних даних
Джерело: Filecoin Network
*Ця стаття заснована на презентації Саймона Вортінгтона на Бостонському саміті в травні 2023 року. *
Bacalhau революціонізує ландшафт обробки даних, увімкнувши обчислення на основі даних: надсилання коду для запуску аналітики там, де дані знаходяться, а не переміщення даних у код. Зберігаючи дані та дозволяючи їх авторизувати, перевіряти та контролювати для обчислень, можна використовувати більше даних, одночасно зменшуючи ризик неправильного використання, що є відповіддю на проблему керування даними. Обсяги даних зростають на 45% швидше, ніж пропускна здатність мережі, 57% даних зберігаються за межами хмари чи традиційних центрів обробки даних, а переміщення даних надто повільне та дороге для будь-якої організації, що працює в масштабі.
Є ще одна вагома причина зберігати дані локально: контроль. Незалежно від обов’язкових нормативних актів, таких як Закон про перенесення та підзвітність медичного страхування (HIPAA) чи Загального регламенту захисту даних (GDPR), чи внутрішніх засобів захисту конфіденційної фінансової чи корпоративної таємниці, майже 100% усіх даних перебуває під певною формою управління. Переміщення даних у комп’ютер виводить їх із звичайної безпечної зони та збільшує ризик неправомірного використання.
Більшість даних не є строго відкритими чи закритими, але існують у певному діапазоні. У межах цього обсягу певним особам можна надати доступ для певних цілей.
Джерело: ODI
З 2008 року глобальні штрафи за управління даними склали майже 250 мільярдів доларів. Тому не дивно, що більшість компаній побоюються обміну даними, в результаті чого 68% корпоративних даних залишаються невикористаними. Насправді більшість контрольованих даних можна в принципі ділитися та використовувати для більш ефективного прийняття рішень, але лише з потрібними людьми та з правильною метою.
Обмін даними потребує технічного забезпечення
Більшість організацій намагаються задовольнити цю потребу за допомогою суворих угод або контрактів про обмін даними. Налаштування цих протоколів є дорогим і трудомістким — для компаній, таких як національні уряди чи фінансові установи, можуть знадобитися місяці, щоб пройти процес керування даними, щоб забезпечити обмін даними між внутрішніми командами.
Гірше того, ці угоди просто не працюють — більшість угод про обмін даними абсолютно невиконувані та створюють лише помилкове відчуття безпеки. Коли дані перетинають межу довіри, лише м’які механізми (такі як довіра всім дотримуватись угоди) можуть запобігти зловживанню. Фактична операція обміну даними невидима для всіх, і її важко контролювати.
Зрозуміло, що потрібен новий спосіб повторного використання даних за межами довіри: такий, який надає аналітикам простий контрольований доступ до даних без ризику регуляторних штрафів і заголовків для власників даних.
Bacalhau робить обмін даними видимим і доступним для перевірки
У Bacalhau ми віримо, що обчислення на базі даних є відповіддю на виклики управління даними. Зберігаючи дані та дозволяючи їх авторизувати, перевіряти та контролювати для обчислень, можна використовувати більше даних, зменшуючи ризик неправильного використання.
Більше того, оскільки Bacalhau є розподіленою обчислювальною платформою, немає необхідності переміщувати дані в центральне сховище. Дані можуть зберігатися в будь-якому місці організації, уникаючи важких організаційних змін і позбавляючи власників даних будь-якого контролю.
Ми з гордістю повідомляємо, що в рамках Bacalhau 1.0 ми додали можливості управління роботами та даними. За допомогою Bacalhau власники даних можуть контролювати, хто, що, де, чому та як виконує обчислення з їхніми особистими даними.
Код керування Bacalhau та вихід
Bacalhau використовує двоетапний підхід до контролю роботи. По-перше, власники даних мають можливість перевірити відповідність робочих місць їхнім політикам. Ця фаза попереднього керування відбувається перед початком виконання завдання та дозволяє керуючому персоналу схвалювати або відхиляти обчислення на основі даних, які використовуватимуться, хто надсилає запит на завдання та коду, який буде виконано для завдання.
Хоча люди завжди контролюють ситуацію, не кожне рішення має приймати людина. Процес попереднього управління є гнучким і може бути автоматизований за потреби. Власники даних можуть встановлювати політики, детально перевіряти майбутні обчислення, встановлювати різні політики для різних людей і запускати складні алгоритми, які аналізують безпеку та ризики. Коли робота не підходить для автоматичного контролю, остаточне рішення приймає людина.
Bacalhau надає два шлюзи для обчислень - один до обчислення і один після обчислення.
Після схвалення Bacalhau надсилає завдання відповідному виконавцю, який має доступ лише до запитаних даних і надійно ізольований від головної системи. Bacalhau накладає обмеження на ресурси для завдань, щоб контролювати потужність обробки та використання пам’яті.
Хоча попередній контроль забезпечує розумну першу лінію захисту довіри, загалом, вирішити, що робитиме комп’ютерна програма без її запуску, важко і вимагає технічних навичок. З досвіду ми зрозуміли, що ONS та інші відповідні контрольовані дослідницькі середовища протягом десятиліть безпечно надають контрольований доступ до даних і запозичені з їх практики в цифровій сфері. Таким чином, на додаток до елементів керування перед виконанням, Bacalhau також дозволяє модифікувати результати після виконання, перш ніж вони будуть передані тим, хто надсилає завдання.
Коли Bacalhau завершує обчислення, він зберігає результати в приватному полі попередньої версії. Потім адміністратори використовують результати перевірки фону завдання, щоб визначити, чи очікувані ці результати для завдання. Результати можна завантажити, якщо адміністратор вважає вміст придатним для спільного використання. Більше того, доступ до приватного сховища суворо заблоковано, і користувачі можуть транслювати результати лише для своїх власних завдань за допомогою функції завантаження Bacalhau.
Як і у випадку з попереднім контролем, цілий складний набір аналізів можна виконати за результатами. Завдяки технології Amplify власники даних можуть автоматично виявляти особисту інформацію (PII), узагальнювати табличні дані, такі як CSV, і аналізувати вміст зображень і відеокліпів. Згенеровані метадані можна використовувати як для автоматичної публікації результатів, так і для надання цінної інформації для прийняття рішень людиною.
Control для відкриття нового спільного навчання
Обчислення даних, розділених кордонами довіри, дають змогу масово обмінюватися даними, але наразі немає безпечного технічного рішення. Тепер організації можуть застосовувати модерацію вакансій Bacalhau та відкритий доступ до даних без потреби в складному управлінні даними, якщо дані, що зберігаються в організації, ширше використовуються для створення спільної цінності.
Наприклад, університет може зробити більше даних доступними для вчених-громадян або сторонніх дослідників, один державний департамент може дозволити іншому проаналізувати свої дані, або одна команда в жорстко регульованій фінансовій установі може дозволити іншій глибоко проаналізувати свої дані. Таким чином, важливо не передавати необроблені дані менш надійним користувачам. Bacalhau гарантує, що користувачі отримають результати аналізу і нічого більше.
Та сама модель розподілених керованих обчислень також забезпечує об’єднане навчання серед учасників у різних організаціях. За допомогою Bacalhau незалежні організації можуть проводити поглиблений аналіз зібраних даних без спільного використання даних. Завдяки методам федеративного навчання науковці з обробки даних тепер можуть навчати машинне навчання або моделі штучного інтелекту на наборах даних багатьох різних незалежних або навіть конкуруючих організацій, не даючи цим організаціям контроль над даними та точну видимість використання даних.
Наприклад, центральні урядові установи, відповідальні за формування макроекономічної політики, можуть використовувати дані, які зберігаються в місцевих організаціях. Подібним чином галузеві органи, такі як страхові регулятори, можуть навчати моделей, надсилаючи завдання Bacalhau щодо федеративного навчання всім страховим компаніям-учасникам.
Централізація даних в одному місці може призвести до продажу або зловживання цими цінними сукупними даними; але локальне зберігання даних дозволяє кожному страховику бути впевненим, що його дані використовуються лише для взаємоузгоджених цілей обопільної вигоди.
Обчислюйте острови для аналізу конкретної теми
Нарешті, детальний контроль над виконанням завдань, наданий Bacalhau, тепер дозволяє адміністраторам бути воротами до обчислювальних островів. У цій структурі незалежні постачальники обчислювальних послуг і власники даних, зацікавлені в наданні ресурсів для певних цілей, можуть делегувати повноваження на роботу довіреним контролерам.
Наприклад, науковці, які співпрацюють для збору медичних даних, які можуть допомогти в лікуванні раку, можуть мати дані та обчислення, надані зовнішніми кураторами, яким вони довіряють. Контролер приймає лише ті вакансії, які відповідають узгодженій політиці — у цьому випадку вакансії, які сприяють створенню нових методів лікування раку.
Таким чином, науковці можуть зосередитися на більших суспільних цілях, делегуючи зовнішні запити на доступ контролерам. За допомогою надійного журналу аудиту Bacalhau вчені можуть пізніше перевірити, чи контролери діяли відповідно до узгодженої політики.
Bacalhau — це майбутнє обміну даними
Ми раді представити можливості керування роботою та даними в Bacalhau 1.0! Ми віримо, що обчислення даних представляє новий спосіб мислення щодо обміну даними, коротше кажучи, збереження даних у безпеці, не передаючи їх!
Сьогодні ми співпрацюємо з компаніями та державними установами, які визнають потенціал керованих обчислень поза межами довіри. Якщо ви хочете дізнатися більше про те, як ці функції можуть працювати для вас, приєднайтеся до Bacalhau Slack або зв’яжіться з нами безпосередньо.