Содержание
Q:
Какие ключевые вопросы следует учитывать в стратегии хранения больших данных?
A:
Одной из самых больших проблем, которые игнорируются при хранении больших данных, является доступность для групп, которым это необходимо. Данные регулярно хранятся без документации, в местах, где трудно получить доступ или где соответствующие команды не замечают факт их существования. В конечном счете, хранилище больших данных должно использовать открытую первую стратегию, в рамках которой команды узнают о ее существовании, из чего состоят данные и как получить к ним доступ, чтобы команды могли использовать их в программном обеспечении, если им это необходимо.
Другая критическая проблема, которую я обнаружил, - это качество данных, которые хранятся. Данные должны храниться в форме самого высокого качества, в которой они могут существовать в конечном месте хранения. Хранение низкокачественных данных в озере данных, как правило, хорошо, но по мере продвижения по конвейеру данных каждый этап должен повышать качество данных, чтобы они сохранялись в форме самого высокого качества в системе, такой как хранилище данных или аналитическая база данных. Это повысит качество систем, которые занимают место отдыха данных.