Раньше для решения бизнес-задач компаниям хватало аналитических инструментов вроде BI (Business Intelligence). Сегодня этого недостаточно, и для эффективной работы требуется анализ огромного объёма структурированных и неструктурированных данных, в том числе и в реальном времени. Подробнее о том, где применяется аналитика больших данных и какие результаты приносит крупным компаниям — в нашей статье.
Задачи бизнеса, которые решает анализ данных
В разных отраслях big data аналитику используют по-разному, но есть общие сферы их применения:
- Оптимизация процессов. Анализ больших данных в бизнесе помогает выявлять узкие места в цепочках поставок, производственных процессах, управлении персоналом и не только. Компании могут уменьшить издержки и улучшить качество работы, ориентируясь на точные данные, а не на интуицию.
- Прогнозирование трендов и спроса. Можно предсказывать изменения на рынке, анализируя разнообразные источники: данные о продажах, поисковые запросы, экономические показатели. Предиктивная аналитика позволяет не только реагировать на колебания спроса, но и предвосхищать их.
- Разработка продуктов и услуг. С помощью аналитики больших данных можно находить идеи для новых продуктов, тестировать гипотезы, анализировать рынок и конкурентов. Это сокращает time-to-market и снижает риск неудачи при запуске новинок.
- Повышение эффективности маркетинга. Традиционные инструменты продвижения уже не дают таких результатов, как раньше. На первое место выходят данные, которые позволяют создавать глубокие профили клиентов, точно сегментировать аудиторию и персонализировать предложения.
- Управление рисками и обеспечение безопасности. Можно предвидеть потенциальные угрозы для компании: от финансовых рисков до сбоев в работе оборудования. Прогнозирование и своевременное предотвращение проблем позволяет минимизировать потери.
Это не все сценарии применения аналитики больших данных, но даже внедрение одного из них принесет бизнесу ощутимый результат.
Ключевые метрики использования больших данных в бизнесе.
Источники: The Global State of CX 2024, Data and AI Leadership Executive Survey (NewVantage Partners), Over 100 Data, Analytics and AI Predictions Through 2030 (Gartner)
Где используются большие данные: опыт крупных компаний
Рассмотрим на примерах, как гиганты рынка из телекоммуникаций и финансового сектора используют машинное обучение и искусственный интеллект.
Телекоммуникации
Управление качеством обслуживания (QoS). Операторы используют большие данные для улучшения клиентского сервиса. Например, испанский телеком-оператор Telefonica анализирует сетевой трафик и звонки, чтобы выявлять зоны с проблемным качеством связи. Это позволяет быстро реагировать на проблемы, повышая удовлетворенность клиентов и снижая количество жалоб.
Оптимизация маркетинговых кампаний. Анализируя поведение клиентов — от потребляемого ими контента до их геолокации — можно точно сегментировать аудиторию, чтобы предлагать наиболее релевантные услуги. Например, оператор Kcell внедрил ML-модели, чтобы составлять глубокий профиль абонентов для повышения конверсии и ARPU.
Управление инфраструктурой и предсказание сбоев. Телекоммуникационная сеть генерирует огромный объём данных, который можно анализировать для её оптимизации. Компания AT&T использует аналитику для разных расчётов, например, чтобы оценить количество потенциальных потребителей на участке сети или определить базовые станции, которые обеспечат связь в случае сбоев на других станциях. Технология больших данных — это мощный инструмент, который позволяет предсказывать и устранять неполадки, делая систему более устойчивой.
Масштабы применения анализа больших данных в телекоме
Источник: Kbvresearch, Telcom Analysis Market, 2020
Финансы
Выявление мошенничества. Использование big data позволяет выявлять подозрительные транзакции и предотвращать финансовые преступления: кардинг, создание поддельных счетов, фишинг. Например, международная организация SWIFT запустила пилотные проекты по использованию AI, работающего на основе больших данных, для обнаружения мошенничества с платежами. Искусственный интеллект позволяет отслеживать аномальные активности вроде неожиданного изменения пароля в личном кабинете или попытки перевести большие суммы.
Кредитный скоринг. Сейчас финансовые организации применяют скоринговые модели, учитывая не только стандартные параметры вроде доходов и кредитной истории клиента, но и аналитические: социальная активность, геолокация, интересы. Например, финтех-компания FICO анализирует историю оплаты коммунальных услуг и сотовых телефонов. Это позволяет оценивать клиентов, у которых нет кредитной истории, например, молодых людей или недавних иммигрантов.
Прогнозирование оттока клиентов. С помощью big data аналитики банки могут исследовать поведение клиентов, оценивать их удовлетворенность и определять тех, кто собирается уйти к конкуренту. Это позволяет предпринять превентивные меры для сохранения клиентской базы.
Влияние аналитических моделей на работу банков.
Источник: McKinsey & Company, Designing next-generation credit-decisioning models, 2021
Реализация подобных сценариев на базе инструментов open-source требует не только месяцев разработки, но и команды опытных дата-специалистов. Высокий порог входа и риск затянуть окупаемость часто заставляют компании откладывать внедрение AI & ML.
Чтобы снять эти барьеры, Eastwind предлагает комплексные услуги по внедрению AI и ML «под ключ». Мы помогаем превратить накопленные данные в источник дохода: от проектирования инфраструктуры и построения профиля клиента 360° до разработки предиктивных моделей. Машинное обучение позволяет автоматизировать сложные бизнес-процессы и минимизировать влияние человеческого фактора.
Технологии и инструменты для аналитики больших данных
Для работы с данными о миллионах клиентов и их операциях нужны надёжные решения для агрегации, хранения, обработки и анализа больших объёмов информации. Рассмотрим их подробнее.
Платформы для хранения и обработки данных
Чтобы обрабатывать массивы данных относительно быстро, необходимо распределить нагрузку между ресурсами. Для масштабных распределённых вычислений чаще используют две open source системы: Apache Hadoop и Apache Spark.
Hadoop — это фреймворк, в котором используют файловую систему HDFS (Hadoop Distributed File System) для хранения данных и модель MapReduce для их обработки. Hadoop — одна из самых популярных технологий в Data Science, которая подходит для работы со структурированными и неструктурированными данными.
Экосистема Hadoop состоит из множества инструментов, всего их около 15
Apache Spark — другой фреймворк, который особенно эффективен для real-time аналитики. Он позволяет производить вычисления в оперативной памяти (in-memory computing), поэтому подходит для сложных задач, например, потоковой обработки данных.
Apache Spark состоит из четырех компонентов и ядра. Есть API для четырех языков программирования
Библиотеки для машинного обучения
Использование Machine Learning — это следующий шаг после построения инфраструктуры с помощью Hadoop или Spark. Именно AI & ML позволяет компаниям достигать бизнес-целей: прогнозировать поведение клиентов и автоматизировать сложные процессы.
Популярные open source библиотеки для построения моделей машинного обучения, такие как TensorFlow и Scikit-learn, могут анализировать огромные объёмы данных и предоставлять ценные бизнес-инсайты.
Процесс создания ML-модели
Вызовы при внедрении big data
При внедрении платформы для обработки данных возникают проблемы, о решении которых стоит подумать заранее.
Обеспечение качества и достоверности данных. Они могут быть неструктурированными, неполными или устаревшими. Для точного анализа необходимо проводить очистку, валидацию и обработку данных. Решить проблему можно с помощью ETL- и ELT-инструментов, которые автоматизируют процесс извлечения, загрузки и трансформации данных. У этих двух методов свои плюсы и минусы, и они подходят для разных задач.
«В случае обработки больших данных обычно используют ELT, когда сначала их извлекают из различных источников, загружают в централизованное хранилище и преобразуют. Этот подход обеспечивает поступление валидированной и актуальной информации. Без этого возрастает риск некорректного использования big data аналитики, что приводит к принятию некорректных бизнес-решений».
— Владимир Борковский, продакт-менеджер, Eastwind
Соблюдение безопасности. Сбор и анализ данных в бизнесе часто связан с информацией о клиентах, что требует строгого соблюдения регуляторных требований. Чтобы избежать штрафов и не подорвать доверие клиентов, компании должны внедрять системы управления доступом на основе ролей (RBAC). Это позволяет реализовать принцип минимальных привилегий, когда сотруднику даются только те права доступа, которые необходимы ему для выполнения обязанностей.
Дефицит кадров. Для запуска ML-проектов бизнесу нужны опытные дата-сайентисты и инженеры данных. Поиск таких кандидатов может занимать месяцы, а их отсутствие внутри компании критически замедляет проверку гипотез и вывод моделей в продакшн. Чтобы исключить зависимость от найма редких специалистов и сократить затраты на их обучение, организации привлекают внешнюю экспертизу Eastwind. Мы берем на себя весь цикл — от проектирования дата-инфраструктуры и создания ML-моделей до менторинга ваших in-house-команд. Это дает быстрый старт без раздувания штата.
Будущее анализа больших данных в enterprise-компаниях
Сейчас анализ больших данных в бизнесе распространяется на новые сферы, которые ранее не считались ключевыми для крупных компаний. Вот несколько примеров.
| Тренд | Технология | Преимущества для бизнеса | Пример | ||
| Гиперперсонализация | Аналитика массива данных о клиентах в реальном времени |
Повышение конверсии и среднего чека, более эффективное привлечение новых клиентов | Ford планирует запатентовать систему рекламы в автомобилях, которая будет собирать данные о пассажирах real-time, чтобы показывать релевантную рекламу | ||
| Автоматизированное принятие решений | Машинное обучение и поведенческий анализ | Снижение операционных затрат и количества ошибок, более объективные и точные решения на основе данных | «АльфаСтрахование» использует модель Pay-as-you-drive, основанную на данных о стиле вождения, для формирования гибких страховых предложений. Эта технология позволяет автоматически оценивать риск и предоставлять скидки аккуратным водителям. | ||
| Цифровые двойники | Виртуальная модель компании и ее отдельных процессов, обновляемая в реальном времени | Постоянный мониторинг процессов, оперативное реагирование на сбои, оптимизация ресурсов и моделирование сценариев развития бизнеса | Корпорация Siemens использует цифровых двойников для разработки двигателей, систем коммуникаций и поездов |
Главное о больших данных
Big data аналитика открывает большие возможности в разных сферах, от клиентского сервиса до оптимизации инфраструктуры. Несмотря на высокие затраты и сложность внедрения, грамотное использование больших данных дает бизнесу конкурентное преимущество. Однако до сих пор есть заблуждения по поводу работы с большими данными — разберем самые распространенные.
- Чем больше данных, тем лучше инсайты. Это лишь часть успеха — важно сосредоточиться не только на количестве, но и на качестве данных. Низкое качество может привести к неточным выводам и ошибочным решениям, поэтому важно держать фокус на очистке и валидации данных.
- С данными могут работать только топовые дата-сайентисты. Высококвалифицированные специалисты играют важную роль в продвинутой аналитике, но их сложно найти. Чтобы меньше зависеть от таких сотрудников, можно автоматизировать рутину благодаря low-code платформе, чтобы начинающие дата-сайентисты тоже могли легко настраивать ETL/ELT.
- Аналитика данных для бизнеса — это разовая инвестиция. На самом деле это непрерывный процесс, который требует вложений в инструменты и команду. Объемы и сложность данных постоянно растут, и нужно адаптироваться, чтобы извлекать из них максимум и оставаться конкурентоспособными.
Подходить к внедрению AI & ML нужно стратегически: понять, какие задачи она должна решать, как интегрировать ее с бизнес-процессами, как обучить сотрудников. В этом помогает команда Eastwind — мы сопровождаем проекты от аудита данных и проектирования инфраструктуры до разработки и интеграции кастомных моделей под конкретные бизнес-задачи.
