Файловая система Google (GFS)

Автор: Robert Simon
Дата создания: 15 Июнь 2021
Дата обновления: 1 Июль 2024
Anonim
TFTDS / Семинар 4 / Распределенная файловая система, GFS
Видео: TFTDS / Семинар 4 / Распределенная файловая система, GFS

Содержание

Определение - Что означает файловая система Google (GFS)?

Google File System (GFS) - это масштабируемая распределенная файловая система (DFS), созданная компанией Google Inc. и разработанная для удовлетворения растущих требований Google к обработке данных. GFS обеспечивает отказоустойчивость, надежность, масштабируемость, доступность и производительность для больших сетей и подключенных узлов. GFS состоит из нескольких систем хранения, построенных из недорогих аппаратных компонентов. Он оптимизирован для удовлетворения различных потребностей Googles в использовании и хранении данных, таких как поисковая система, которая генерирует огромные объемы данных, которые необходимо хранить.


Файловая система Google использует преимущества готовых серверов, сводя к минимуму аппаратные недостатки.

GFS также известен как GoogleFS.

Введение в Microsoft Azure и Microsoft Cloud | Из этого руководства вы узнаете, что такое облачные вычисления и как Microsoft Azure может помочь вам перенести и запустить свой бизнес из облака.

Techopedia объясняет файловую систему Google (GFS)

Кластер узлов GFS - это один мастер с несколькими чанк-серверами, к которым постоянно обращаются различные клиентские системы. Серверы чанков хранят данные в виде файлов Linux на локальных дисках. Сохраненные данные делятся на большие порции (64 МБ), которые реплицируются в сети минимум три раза. Большой размер чанка уменьшает нагрузку на сеть.

GFS предназначена для удовлетворения больших требований кластера Google без нагрузки на приложения. Файлы хранятся в иерархических каталогах, обозначенных путями. Метаданные, такие как пространство имен, данные контроля доступа и информация о сопоставлении, контролируются ведущим устройством, которое взаимодействует с обновлениями состояния каждого сервера чанков и контролирует их с помощью синхронизированных импульсов.


Особенности GFS включают в себя:

  • Отказоустойчивость
  • Критическая репликация данных
  • Автоматическое и эффективное восстановление данных
  • Высокая совокупная пропускная способность
  • Уменьшено взаимодействие клиента и мастера из-за большого размера чанк-сервера
  • Управление пространством имен и блокировка
  • Высокая доступность

Самые большие кластеры GFS имеют более 1000 узлов с объемом дискового хранилища 300 ТБ. Это может быть доступно сотням клиентов на постоянной основе.