Распределенная файловая система Hadoop (HDFS)

Автор: Judy Howell
Дата создания: 28 Июль 2021
Дата обновления: 1 Июль 2024
Anonim
Hadoop. Распределённая файловая система HDFS
Видео: Hadoop. Распределённая файловая система HDFS

Содержание

Определение. Что означает распределенная файловая система Hadoop (HDFS)?

Распределенная файловая система Hadoop (HDFS) - это распределенная файловая система, которая работает на стандартном или низкоуровневом оборудовании. Разработанная Apache Hadoop, HDFS работает как стандартная распределенная файловая система, но обеспечивает лучшую пропускную способность и доступ к данным с помощью алгоритма MapReduce, высокую отказоустойчивость и встроенную поддержку больших наборов данных.


Введение в Microsoft Azure и Microsoft Cloud | Из этого руководства вы узнаете, что такое облачные вычисления и как Microsoft Azure может помочь вам перенести и запустить свой бизнес из облака.

Techopedia объясняет распределенную файловую систему Hadoop (HDFS)

HDFS хранит большой объем данных, размещенных на нескольких машинах, обычно на сотнях и тысячах одновременно подключенных узлов, и обеспечивает надежность данных, реплицируя каждый экземпляр данных в виде трех разных копий - две в одной группе и одна в другой. Эти копии могут быть заменены в случае сбоя.

Архитектура HDFS состоит из кластеров, доступ к каждому из которых осуществляется через один программный инструмент NameNode, установленный на отдельном компьютере, для мониторинга и управления файловой системой и механизмом доступа этих кластеров. Другие машины устанавливают один экземпляр DataNode для управления хранилищем кластера.

Поскольку HDFS написана на Java, она имеет встроенную поддержку интерфейсов прикладного программирования Java (API) для интеграции приложений и доступности. К нему также можно получить доступ через стандартные веб-браузеры.