Содержание
- Что такое Apache Spark?
- Почему Spark так важен для Hadoop
- Каковы Искры Уникальные Особенности?
- Почему Spark не является заменой Hadoop
- Что компании думают о Spark и Hadoop
- Практические реализации
- Заключение
Источник: Snake3d / Dreamstime.com
вынос:
Apache Spark - это инструмент с открытым исходным кодом для обработки больших данных, который накапливается (и в некоторых отношениях превосходит) Hadoop.
Apache Hadoop уже давно является основой для приложений с большими данными и считается базовой платформой данных для всех предложений, связанных с большими данными. Тем не менее, база данных и вычисления в оперативной памяти набирают популярность благодаря более высокой производительности и быстрым результатам. Apache Spark - это новая платформа, которая использует возможности оперативной памяти для быстрой обработки (почти в 100 раз быстрее, чем Hadoop). Таким образом, продукт Spark все чаще используется в мире больших данных, и главным образом для более быстрой обработки.
Что такое Apache Spark?
Apache Spark - это платформа с открытым исходным кодом для быстрой и простой обработки огромных объемов данных (больших данных). Подходит для аналитических приложений, основанных на больших данных. Spark можно использовать в среде Hadoop, автономно или в облаке. Он был разработан в Калифорнийском университете, а затем предложен Apache Software Foundation. Таким образом, он принадлежит сообществу разработчиков программного обеспечения с открытым исходным кодом и может быть очень рентабельным, что также позволяет разработчикам-любителям легко работать. (Чтобы узнать больше об открытом исходном коде Hadoops, см. Каково влияние открытого исходного кода на экосистему Apache Hadoop?)
Основная цель Spark заключается в том, что он предлагает разработчикам инфраструктуру приложений, которая работает вокруг центрированной структуры данных. Spark также чрезвычайно мощный и обладает врожденной способностью быстро обрабатывать огромные объемы данных за короткий промежуток времени, обеспечивая тем самым исключительно высокую производительность.Это делает его намного быстрее, чем его ближайший конкурент, Hadoop.
Почему Spark так важен для Hadoop
Известно, что Apache Spark превосходит Hadoop в нескольких функциях, что, вероятно, объясняет, почему он остается таким важным. Одной из главных причин этого было бы учитывать скорость обработки. Фактически, как уже говорилось выше, Spark предлагает примерно в 100 раз более быструю обработку, чем MapReduce Hadoop для того же объема данных. Он также использует значительно меньше ресурсов по сравнению с Hadoop, что делает его экономически эффективным.
Другой ключевой аспект, в котором Spark имеет превосходство, связан с совместимостью с менеджером ресурсов. Известно, что Apache Spark работает с Hadoop, так же как и MapReduce, однако в настоящее время последний совместим только с Hadoop. Однако, что касается Apache Spark, он может работать с другими менеджерами ресурсов, такими как YARN или Mesos. Исследователи данных часто ссылаются на это как на одну из самых больших областей, где Spark действительно превосходит Hadoop.
Когда дело доходит до простоты использования, Spark снова оказывается намного лучше, чем Hadoop. Spark имеет API-интерфейсы для нескольких языков, таких как Scala, Java и Python, помимо Spark SQL. Это относительно просто написать пользовательские функции. Также бывает и интерактивный режим для запуска команд. Hadoop, с другой стороны, написан на Java и заработал репутацию довольно сложного в программировании, хотя у него есть инструменты, которые помогают в этом процессе. (Чтобы узнать больше о Spark, посмотрите, как Apache Spark помогает быстрой разработке приложений.)
Каковы Искры Уникальные Особенности?
Apache Spark обладает некоторыми уникальными функциями, которые действительно отличают его от многих конкурентов в сфере обработки данных. Некоторые из них были кратко изложены ниже.
Вы не можете улучшить свои навыки программирования, когда никто не заботится о качестве программного обеспечения.
Spark также обладает врожденной способностью загружать необходимую информацию в свое ядро с помощью алгоритмов машинного обучения. Это позволяет быть очень быстрым.
Apache Spark обладает способностью обрабатывать графики или даже информацию графического характера, что позволяет легко анализировать данные с большой точностью.
Apache Spark имеет MLib, который является структурой, предназначенной для структурированного машинного обучения. Это также в основном быстрее в реализации, чем Hadoop. MLib также способен решать несколько задач, таких как статистическое чтение, выборка данных и тестирование помещения, и многие другие.
Почему Spark не является заменой Hadoop
Несмотря на то, что у Spark есть несколько аспектов, в которых он опережает Hadoop, есть еще несколько причин, по которым он пока не может заменить Hadoop.
Прежде всего, Hadoop просто предлагает больший набор инструментов по сравнению со Spark. У этого также есть несколько методов, которые признаны в промышленности. Однако Apache Spark все еще относительно молод в этой области, и ему потребуется некоторое время, чтобы привести себя в соответствие с Hadoop.
MapReduce Hadoop также установил определенные отраслевые стандарты, когда речь идет о полномасштабных операциях. С другой стороны, все еще считается, что Spark не полностью готова к работе с полной надежностью. Часто организациям, которые используют Spark, необходимо настроить его, чтобы подготовить его к своим требованиям.
MapReduce от Hadoop, который существует дольше, чем Spark, также проще в настройке. Однако это не относится к Spark, учитывая, что он предлагает совершенно новую платформу, которая на самом деле не тестировала грубые исправления.
Что компании думают о Spark и Hadoop
Многие компании уже начали использовать Spark для своих нужд по обработке данных, но на этом история не заканчивается. Он, безусловно, имеет несколько сильных сторон, которые делают его удивительной платформой обработки данных. Тем не менее, он также имеет свои недостатки, которые необходимо исправить.
В отрасли существует мнение, что Apache Spark всегда здесь и, возможно, является будущим для нужд обработки данных. Тем не менее, он все еще должен пройти большую работу по разработке и полировке, что позволит ему по-настоящему использовать свой потенциал.
Практические реализации
Apache Spark использовался и продолжает использоваться многими компаниями, которые отвечают их требованиям к обработке данных. Одна из самых успешных реализаций была реализована Shopify, которая искала подходящие магазины для сотрудничества с бизнесом. Однако его хранилище данных откладывало время, когда оно хотело понять продукты, которые продавали его клиенты. С помощью Spark компания смогла обработать несколько миллионов записей данных, а затем обработать 67 миллионов записей за несколько минут. Он также определил, какие магазины имеют право.
Используя Spark, Pinterest может выявлять тенденции развития и затем использовать его для понимания поведения пользователей. Это еще больше учитывает ценность сообщества Pinterest. Spark также используется TripAdvisor, одним из крупнейших в мире сайтов туристической информации, для ускорения предоставления рекомендаций посетителям.
Заключение
Никто не может сомневаться в мастерстве Apache Spark, даже в настоящее время, и уникальном наборе функций, которые он предлагает. Его вычислительная мощность и скорость, а также его совместимость задают тон для некоторых вещей в будущем. Тем не менее, у него также есть несколько областей, которые необходимо улучшить, чтобы действительно реализовать свой потенциал. В то время как Hadoop по-прежнему руководит своей работой в настоящее время, Apache Spark имеет большое будущее, и многие считают его будущей платформой для обработки данных.