Содержание
- ETL создает узкие места для аналитики
- Оптимизация ETL с помощью машинного обучения и искусственного интеллекта
- Нет ошибок, нет стресса - ваше пошаговое руководство по созданию изменяющего жизнь программного обеспечения без разрушения вашей жизни
Источник: Pop Nukoonrat / Dreamstime.com
вынос:
Данные имеют решающее значение для бизнеса, но для того, чтобы они были полезны, не должно быть никаких ошибок при сборе, обработке и представлении этих данных. Искусственный интеллект может контролировать процессы ETL, чтобы убедиться, что они безошибочны.
ETL (извлечение, преобразование и загрузка) является одним из наиболее важных процессов в аналитике больших данных - и в то же время он может быть одним из самых больших узких мест. (Более подробную информацию о больших данных можно найти в 5 полезных курсах по большим данным, которые вы можете пройти онлайн.)
Причина, по которой ETL так важен, заключается в том, что большая часть данных, которые собирает компания, в исходном виде не готова для анализа. Для того чтобы аналитическое решение создавало понимание, необработанные данные должны быть извлечены из приложения, в котором они находятся в данный момент, преобразованы в формат, который может прочитать аналитическая программа, а затем загружены в саму аналитическую программу.
Этот процесс аналогичен приготовлению пищи. Ваши сырые ингредиенты - ваши сырые данные. Они должны быть извлечены (куплены в магазине), преобразованы (приготовлены), а затем загружены (покрыты), прежде чем их можно будет проанализировать (попробовать). Сложность и затраты могут быть непредсказуемыми - легко приготовить mac n 'cheese для себя, но гораздо труднее создать изысканное меню для 40 человек на званом обеде. Излишне говорить, что ошибка в любой момент может сделать вашу еду неперевариваемой.
ETL создает узкие места для аналитики
ETL в некотором смысле является основой процесса аналитики, но также имеет некоторые недостатки. Прежде всего, это медленно и дорого в вычислительном отношении. Это означает, что компании часто отдают приоритет только своим наиболее важным данным для аналитики, а просто сохраняют остальные. Это способствует тому, что до 99% всех бизнес-данных не используется в аналитических целях.
Кроме того, процесс ETL никогда не бывает определенным. Ошибки в процессе ETL могут повредить ваши данные. Например, краткая ошибка сети может помешать извлечению данных. Если ваши исходные данные содержат несколько типов файлов, они могут быть неправильно преобразованы. Мусор, мусор, как говорится, ошибки в процессе ETL почти наверняка проявятся в неточной аналитике.
Поврежденный процесс ETL может иметь плохие последствия. Даже в лучшем случае вам, вероятно, придется перезапустить ETL, что означает задержку в часах, а между тем лица, принимающие решения, нетерпеливы. В худшем случае вы не заметите неточную аналитику, пока не начнете терять деньги и клиентов.
Оптимизация ETL с помощью машинного обучения и искусственного интеллекта
Вы можете - и, вероятно, можете - назначить кого-то для мониторинга ETL, но, честно говоря, не все так просто. Плохие данные могут возникать из-за ошибок процесса, которые происходят так быстро, что их невозможно обнаружить в режиме реального времени. Результаты поврежденного процесса ETL часто не отличаются от правильно загруженных данных. Даже если ошибки очевидны, проблема, вызвавшая ошибку, может быть не так легко отследить. (Чтобы узнать больше об анализе данных, см. Job Role: Data Analyst.)
Хорошей новостью является то, что машины могут поймать то, что не могут люди. Это всего лишь несколько способов, с помощью которых ИИ и машинное обучение могут уловить ошибки ETL, прежде чем они превратятся в неточную аналитику.
Нет ошибок, нет стресса - ваше пошаговое руководство по созданию изменяющего жизнь программного обеспечения без разрушения вашей жизни
Вы не можете улучшить свои навыки программирования, когда никто не заботится о качестве программного обеспечения.
1. Обнаружение и оповещение по метрикам ETL
Даже несмотря на то, что ваши данные представляют собой постоянно движущуюся картину, процесс ETL должен по-прежнему давать согласованные значения с постоянной скоростью. Когда эти вещи меняются, это вызывает тревогу. Люди могут видеть большие колебания в данных и распознавать ошибки, но машинное обучение может распознавать более тонкие ошибки, быстрее. Система машинного обучения может предложить обнаружение аномалий в реальном времени и напрямую предупредить ИТ-отдел, что позволит им приостановить процесс и устранить проблему, не тратя часы вычислительных усилий.
2. Определить конкретные узкие места
Даже если ваши результаты точны, они все равно могут выходить слишком медленно, чтобы быть полезными. Гартнер говорит, что 80% идей полученные из аналитики никогда не будут использованы для создания денежной ценности, и это может быть потому, что бизнес-лидер не может вовремя увидеть понимание, чтобы воспользоваться этим. Машинное обучение может сказать вам, где ваша система замедляется, и даст вам ответы - быстрее получит лучшие данные.
3. Количественная оценка влияния управления изменениями
Системы, производящие ваши данные и аналитику, не являются статичными - они постоянно получают исправления и обновления. Иногда они влияют на то, как они производят или интерпретируют данные, что приводит к неточным результатам. Машинное обучение может пометить результаты, которые изменились, и отследить их до конкретной исправленной машины или приложения.
4. Уменьшите стоимость операций
Задержка аналитических операций равна потере денег. Время, которое вы тратите, выясняя не только, как решить проблему, но и кто ответственный для решения проблемы - это время, которое вы могли бы потратить на строительство. Машинное обучение помогает разобраться в сути дела, предупреждая только команды, которые могут отвечать за реагирование на определенные виды инцидентов, позволяя остальной части ИТ-отдела свободно продолжать выполнять основные функции работы. Кроме того, машинное обучение поможет устранить ложные срабатывания, уменьшая общее количество предупреждений и повышая степень детализации информации, которую они могут предоставить. Предупреждение усталости очень реально, поэтому это изменение окажет ощутимое влияние на качество жизни.
Когда дело доходит до победы в бизнесе, аналитика имеет решающее значение. Важное исследование Bain Capital показывает, что компании, использующие аналитику, имеют более чем в два раза больше шансов превзойти в финансовом отношении. ETL обеспечивает основу для успеха в этой области, но задержки и ошибки также могут помешать успеху аналитической программы. Таким образом, машинное обучение становится бесценным инструментом для успеха любой аналитической программы, помогая гарантировать чистые данные и точные результаты.