Содержание
- Ищу ответы на вопросы о больших данных
- Введите Hadoop
- Большие данные, большие проблемы
- Что ждет будущее для больших данных
- Большая Граница Данных
вынос:
Тот факт, что столь многие отрасли выиграют от решения проблем с данными, многое говорит о будущем больших данных - и, возможно, о нашем собственном.
В начале 2000-х годов стало ясно, что существует огромная потребность в инновациях в отношении данных. Ограничения в том, что фирмы могут делать со своими данными, расстроили руководителей и значительно снизили эффективность. Многие компании хранили огромное количество информации, но просто не могли управлять, анализировать или манипулировать ею в своих интересах. Именно это растущее давление уступило границе больших данных.В 2003 году Google создал MapReduce, приложение для обработки данных, которое позволило фирме за короткий промежуток времени обработать и проанализировать информацию о своих поисковых запросах на тысячах серверов. И масштабируемая, и адаптируемая, программа позволила Google выполнить тысячи задач с данными за считанные минуты, что повысило производительность и переопределило предполагаемые границы того, что можно сделать с данными. Спустя почти 10 лет большие данные стали центральным принципом информационных технологий. Его широкие возможности и возможности в корне изменили управление данными на рабочем месте. Но что вызвало эту эволюцию и как именно большие данные повлияют на будущее? Мы думали, что ты никогда не спросишь. (Для ознакомления с большими данными, ознакомьтесь с Большими данными: как их собирают, используют и используют для принятия бизнес-решений.)
Ищу ответы на вопросы о больших данных
Прелесть MapReduce заключалась в том, что он упрощал очень сложные задачи. Коммуникацией можно управлять между компьютерами, устранять сбои системы и автоматически организовывать входные данные - процесс, за которым могут следить лица, которым больше не нужны высокотехнологичные навыки. Сделав обработку данных не только возможной, но и доступной, Google вдохновил на культурный сдвиг в управлении данными. Вскоре тысячи крупных фирм использовали MapReduce для своих данных.Но была одна проблема: MapReduce была просто моделью программирования. Хотя это облегчало основы обработки данных, само по себе оно не было ответом на существующие недостатки данных; это был только очень необходимый шаг в правильном направлении. Корпорации по-прежнему нуждаются в системе, которая могла бы удовлетворить их уникальные потребности в данных и выйти за рамки простых основ управления данными. Короче говоря, технологии должны развиваться.
Введите Hadoop
Введите Hadoop, программное обеспечение с открытым исходным кодом, созданное несколькими программистами, в том числе Doug Cutting. В то время как MapReduce был базовым и широким, Hadoop обеспечил свежую специфику. Компании могут разрабатывать свои собственные специализированные приложения, которые удовлетворяют потребности в данных способами, недоступными для другого программного обеспечения, и, как правило, они совместимы с другими файловыми системами. Фирма с талантливыми программистами могла бы разработать файловую систему, которая выполняла бы уникальные задачи с данными, которые раньше казались недоступными. Возможно, самое приятное в этом то, что разработчики будут обмениваться приложениями и программами друг с другом, которые могут быть расширены и усовершенствованы.Благодаря демократизации такого важного ресурса Hadoop стал тенденцией. В конце концов, что многие крупные корпорации, особенно поисковые системы, чувствовали, что они нуждались в этом в течение десятилетий! Это было незадолго до того, как гиганты поисковых систем, такие как Yahoo, объявили о внедрении больших приложений Hadoop, которые генерировали данные, используемые в поисковых запросах в Интернете. В то, что казалось волна, несколько известных компаний объявили о внедрении этой технологии для своих огромных баз данных, в том числе, Amazon, Fox, Apple, eBay и FourSquare. Hadoop установил новый стандарт для обработки данных.
Большие данные, большие проблемы
Несмотря на то, что достижения в области технологий обработки данных изменили способы обработки данных компаниями, многие руководители по-прежнему считают, что они не оснащены для выполнения всего спектра необходимых задач. В июле 2012 года Oracle опубликовала опрос более 300 руководителей уровня С, который показал, что, хотя 36 процентов компаний полагаются на ИТ для управления и анализа данных, 29 процентов из них считают, что их системам не хватает возможностей для удовлетворения потребностей их компаний. , Возможно, самым поразительным выводом исследования было то, что 93 процента респондентов полагали, что их фирма теряет до 14 процентов своего дохода, не имея возможности использовать собранные данные. Это доход, который можно потратить на создание более качественных продуктов и наем большего количества работников. В то время, когда компании пытаются оставаться прибыльными, необходимо улучшить данные, чтобы фирмы стали более прибыльными. Опрос показывает, что, несмотря на мнение тех, кто считает, что влияние больших данных на коммерцию уже прошло, возможности для роста и развития, которые он имеет, еще не полностью реализованы.Что ждет будущее для больших данных
Хорошей новостью является то, что Hadoop и MapReduce вдохновили многих других инструментов управления данными. Многие новые компании создают обширные платформы данных, которые работают на Hadoop, но предлагают широкий спектр аналитических функций и упрощают системную интеграцию. Кажется, что корпорации вложили много ресурсов в решение проблем с данными, и финансовый успех фирм, работающих с данными, тому подтверждение. В 2010 году данные фирмы сделали около 3,2 млрд долларов в розничных продажах. По оценкам многих экспертов, только к 2015 году эта цифра вырастет до колоссальных 17 миллиардов долларов. Это факт, который не был потерян на некоторых из крупнейших технологических компаний. И IBM, и Oracle потратили миллиарды за последние несколько месяцев на приобретение фирм данных. Многие другие фирмы предпримут аналогичные шаги в ближайшие годы, продолжая бороться за конкурентную долю рынка.Большая Граница Данных
Объем собираемых данных продолжает расти в геометрической прогрессии, что вызывает у некоторых беспокойство, а у других - волнение. Положительным моментом является то, что люди будут продолжать становиться более продуктивными и адаптивными, поскольку мы узнаем что-то новое о нашем мире с помощью анализа данных. Недостатком является то, что существует такой огромный объем данных, что многие опасаются, что мы не сможем правильно все это хранить, а тем более должным образом управлять им, чтобы его могли использовать все, кто в этом нуждается.Тем не менее, достижения в области больших данных могут предоставить беспрецедентные возможности для решения насущных проблем, связанных с данными. Например, эксперты предположили, что, если бы большие данные были правильно внедрены с акцентом на эффективность и качество, они могли бы сэкономить около 300 миллиардов долларов в год только на расходах на здравоохранение; Ритейлеры смогут улучшить свою операционную маржу, государственный сектор сможет предоставлять более качественные услуги, а крупные предприятия сэкономят миллиарды. Итак, кажется, что решение наших проблем с данными необходимо не только в залах заседаний компании, но и везде. Что говорит о хороших вещах о будущем больших данных - и, возможно, о нашем.