Кризис данных на горизонте - зачем нам переосмысливать хранилище данных

Автор: Laura McKinney
Дата создания: 3 Апрель 2021
Дата обновления: 1 Июль 2024
Anonim
Тренды в области управления данными. Архитектура платформ управления данными
Видео: Тренды в области управления данными. Архитектура платформ управления данными

Содержание


вынос:

Поскольку данные играют все более заметную роль в современном мире, нам нужны более эффективные и эффективные решения для хранения данных.

Данные всегда играли важную роль в современной промышленности, и эта роль становится все более заметной с каждым годом.

В последнее время рост «больших данных» оказал огромное влияние на промышленность. По прогнозам, выручка от продажи программного обеспечения и услуг возрастет до 103 миллиарда долларов в 2027 году, совокупный годовой темп роста 11,4%. Данные постоянно собираются повсюду, от наших учетных записей в социальных сетях до оборудования, которое мы используем для добычи нефти, и это чрезвычайно ценно.

Это означает, что одной из самых больших проблем, стоящих перед технологией в ближайшие годы, будет вопрос о том, как хранить все эти данные таким образом, чтобы он был не только безопасным и доступным, но и легко доступным. По мере того, как количество доступных данных растет, мы должны убедиться, что имеющиеся у нас системы хранения справятся с этим и не потерпят краха в результате нагрузки.


На данный момент это сложно. Текущие варианты хранения уже пытаются справиться с растущим количеством данных, и со временем это будет только усложняться. Нам нужно переосмыслить взгляд на хранилище и найти новые решения в меняющемся мире.

Прежде чем исследовать некоторые решения этой проблемы, давайте сначала подробнее рассмотрим проблемы с современными методами централизованного хранения.

Почему нынешний подход нарушен

Современные методы хранения данных в основном основаны на больших централизованных центрах обработки данных. Даже облачное хранилище в значительной степени опирается на эти массивные центральные базы данных, и при таком подходе возникают всевозможные проблемы. Они включают:

  • Они раздутые и негабаритные. Это делает их дорогостоящими и трудоемкими в обслуживании, не говоря уже о разрушительных для окружающей среды.
  • Они уязвимы для взлома и киберпреступности потому что у них есть центральная точка отказа, которая может быть направлена ​​на то, чтобы разрушить все это. Кроме того, любая централизованно контролируемая система подвержена риску коррупции изнутри.
  • Их сложно масштабировать. Объем данных там растет в геометрической прогрессии, и этим централизованным базам данных скоро будет трудно работать с таким большим спросом.

Это не идеальная ситуация. Но каково решение? Многие считают, что блокчейн, с его децентрализованным подходом к хранению, может быть ответом.


Решение Blockchain

Технология Blockchain получила свое название в качестве главной книги, лежащей в основе биткойнов и других криптовалют. Но технология работает со всеми видами данных, и она принципиально отличается от существующих методов отсутствием центральной точки. Это дает ему ряд преимуществ:

Нет ошибок, нет стресса - ваше пошаговое руководство по созданию изменяющего жизнь программного обеспечения без разрушения вашей жизни

Вы не можете улучшить свои навыки программирования, когда никто не заботится о качестве программного обеспечения.

  • Это безопасно. Данные шифруются и распределяются по нескольким узлам, образуя децентрализованную сеть без единой центральной точки, которая затрудняет нанесение ущерба злоумышленникам.
  • Поскольку нет центральной ответственной партии, это очень сложно развратить блокчейн Это может быть сделано только в некоторых сетях путем захвата контроля над большинством узлов, что практически невозможно. Это действительно демократично и очень устойчиво к мошенничеству.
  • Это неизменно. Это означает, что данные не могут быть обработаны или обработаны, иными словами, пользователи могут доверять данным и их целостности.
  • Это быстро. Используя обширную сеть узлов вместо центральных серверов, блокчейны могут быть намного быстрее, чем традиционные методы хранения, обеспечивая беспрепятственный доступ.

Блокчейн кажется явным победителем во многих областях, и это так. Но до сих пор технология боролась с крупномасштабным хранением данных.

Давайте посмотрим, почему это так и как это может скоро измениться.

Проблемы блокчейна - и как их решить

Традиционно, поскольку блокчейны стали включать в себя все больше и больше данных, они боролись за масштабирование. Биткойн является, пожалуй, самым ярким примером этого - во времена возросшей активности и более высокой стоимости его время транзакций и стоимость резко возросли, что привело к серьезным проблемам для пользователей.

Это серьезная проблема; данные постоянно растут, и блокчейны должны быть в состоянии адаптироваться к этому постоянному росту и спросу на хранилище. Если блокчейны не справляются с большими объемами, они не подходят для использования в основном хранилище данных. Есть несколько текущих подходов, и компании пытаются решить эту проблему.

Стоимость хранения

В то время как блокчейн имеет большой потенциал для хранения данных, технология должна сначала решить свои проблемы с хранением. Когда блокчейны оказываются под напряжением, затраты имеют тенденцию выходить из-под контроля. Например, когда в прошлом году Биткойн испытал ценовой бум, транзакционные издержки резко возросли. до 50 долларов.Этого недостаточно, чтобы противостоять взрыву данных, которые ожидают нас впереди.

Sia а также Storj оба работают в больших сетях хранения данных на основе цепочек блоков, нацеленных на быстрое и дешевое хранение данных без необходимости в центральной точке или контроле третьей стороны. Обе сети работают, разбивая файлы на куски, затем шифруя их и распределяя их по сети. Sia уже была развернута с более чем 130 ТБ, хранящимися среди более чем 300 участников. Storj готовится к запуску в ближайшее время.

Filecoin работает аналогичным образом, полагаясь на узлы в мощной сети IFPS для распространения своих файлов. Компания привлекла более 250 миллионов долларов и в настоящее время разрабатывает децентрализованный маркетинг для хранения данных.

Безопасность данных и масштабируемость

Для любой системы хранения данных безопасность должна быть первостепенной. Текущие облачные модели, подобные тем, которые предлагаются Google и Amazon, отдают приоритет безопасности, но их централизованная природа ставит их в невыгодное положение, поскольку они построены вокруг центральной точки отказа и оставляют данные пользователей в руках компании.

Технология Blockchain, которую часто хвалят за ее герметичную структуру и присущую безопасность, является здесь явным победителем.

Но одной проблемой, мешающей пространству блокчейна, является проблема масштабируемости. Ethereum и Blockchain, самые большие блокчейны, изо всех сил, чтобы войти в двойные числа когда дело доходит до транзакций в секунду. Visa, с другой стороны, может обработать 44 000, а колоссальные 175 000.

ArweaveНовый растущий стартап в этой экосистеме позволил создать новый способ работы с данными. Компания нашла способ хранения данных непосредственно на самой блокчейне, в отличие от некоторых других подходов к хранению данных блокчейна, которые основаны на сторонних протоколах, построенных поверх существующих блокчейнов.

По существу, по мере увеличения объема данных, хранящихся в блокчейне, хеширование, необходимое для достижения консенсуса, уменьшается, что делает его легко масштабируемым.

В дополнение к этому платформа использует новый согласованный механизм, называемый Proof of Access, где майнеры соревнуются за то, кто может реплицировать наибольшее количество данных. Это гораздо менее энергоемко по сравнению с существующими моделями, такими как Proof of Work, что, по сути, вознаграждает майнера, способного собрать наибольшую вычислительную мощность.

«То, что мы сделали, на самом деле - это решение для хранения данных в цепочке, в отличие от других решений с сетью распространения файлов P2P в фоновом режиме и последующим расчетом платежей в цепочке, мы создали систему криптоэкономических стимулов, которая позволяет вам увеличивать размер блокчейн огромных размеров, а затем распределяет данные по всем компьютерам », - говорит Сэм Уильямс, генеральный директор Arweave. Этот подход предлагает лучший способ хранения наших данных, и он работает в больших масштабах.

Более того, платформа хранит данные постоянно и требует единовременной платы от своих пользователей. Нет необходимости связываться с дорогостоящими ежемесячными контрактами, что является неприятным побочным эффектом многих моделей облачных хранилищ.

Arweave также недавно объявила о запуске Permaweb - новый неизменный и децентрализованный веб, который предлагает недорогое, не требующее обслуживания хранилище, навсегда. Он предлагает удобство, эффективность и защиту информации без вмешательства третьих лиц. Это также идет со своим собственным уровень конфиденциальности, предлагая общение в безопасности от любых внешних сил.

Поскольку данные играют все более важную роль в нашем мире, нам необходимо двигаться в сторону инноваций, и с такими первопроходцами, как Arweave, Filecoin, Sia и Storj, 2019 год может стать годом, когда мы отойдем от устаревших методов хранения.