Petroglif

Топ-10 технологических трендов для ритейла на 2022 год: Data Fabric

Борис Агатов, независимый эксперт по инновациям в ритейле совместно с основателем Fabrique.ai Сергеем Кедровым и с командой ADV продолжают разбирать тренды, которые определят технологическое лицо ритейла в 2022 году. Сегодня поговорим о «Фабрике данных». Чем эта концепция принципиально отличается от современных сценариев работы с big data? И причем здесь авиация?

Ранее на New Retail в числе наиболее значимых технологических трендов на 2022 год мы разобрали «Генеративный искусственный интеллект» (GENERATIVE AI) и «Сеть безопасности» (Cybersecurity Mesh).

Сегодня мы рассмотрим, как Data Fabric будет влиять на ритейл в ближайшей и долгосрочной перспективе. Все тренды были отобраны американским агентством Gartner, которое делает ежегодный прогноз на самые важные технологические тренды в мире. Мы обращаем особое внимание на технологии, которые будут особо востребованы в ритейле.

«Шить сарафаны и яркие платья из ситца» …

В ритейл стали активно приходить технологии, которые раньше использовались преимущественно в военном секторе, к такой технологии относится и Data Fabric.

По-русски, фраза Data Fabric звучит как «Фабрика Данных», но корректный перевод будет «Ткань Данных» или «Полотно Данных». Этот тренд Gartner обозначил еще в 2020 году, и вот в 2022 году тренд остается суперактуальным.

Ритейлу сейчас в принятии управленческих решений приходится ориентироваться не только на лучшие рыночные практики, но и на данные, которые у него накапливаются в ходе работы компании. Подход, который ранее звучал как «соберём, сохраним данные, а потом разберёмся» уже не работает, потому что объем данных становится критически большим, они слишком разные, и на их обработку слишком мало рук.

Бизнес нуждается в помощниках, которые могли бы проделать предварительную работу, предоставив в руки менеджера уже некий «полуфабрикат». Такие ресурсы есть у военных, так как для них правильное и четкое понимание данных – вопрос выживания в бою.

Ткань Данных — это не готовая технология или решение, а концепция. Идея в том, что есть некий интеграционный инструмент или слой данных, который объединяет все данные компании и к которому подключены все без исключения приложения. Отличие от Озера Данных (Data Lake), куда «сливается» всё без разбора, состоит в том, что данные объединены мета-информацией (информацией, которая неким образом структурирует эти данные) и доступны приложениям в реальном времени, даже, если физически раскиданы по разным облакам и дата-центрам.

Почему возникла такая концепция?

Сегодня хранение разнородных данных, как правило, строится вокруг экосистемы Hadoop. За 12 лет Hadoop доказал свою работоспособность, но появились и проблемы. Во-первых, Hadoop не позволяет обращаться к данным в реальном времени. А значит, приложения не могут использовать данные для принятия решений в моменте.

Во-вторых, Hadoop хорошо работает, когда задачи регулярные и не конкурируют друг с другом за ресурс. Иначе завершения обработки можно ждать долго. В-третьих, универсальность Hadoop быстро превращает прекрасное Data Lake в Data Swamp (Болото Данных). Одно дело — собрать данные из разных систем в едином хранилище. Совсем другое — понять, что же эти данные означают, и как их корректно трактовать.

Но Data Fabric — это идея не про организацию, а про использование данных. Gartner приводит аналогию, чтобы объяснить концепцию.

Представьте два сценария: в первом — водитель авто постоянно держится за руль и не дает автопилоту вмешиваться в управление, а во втором — водитель решает отвлечься и автопилот немедленно подхватывает управление. В первом примере нет смысла держать все время автопилот включенным — можно включить по мере надобности. Во втором — автопилот должен непрерывно следить за обстановкой: обрабатывать данные с сенсоров, обмениваться данными с другими авто и центральными серверами, выстраивать траекторию, чтобы в любой момент быть готовым взять управление на себя.

Причем здесь авиация?

Любопытно, что концепция Data Fabric была успешно реализована в авиации еще 20 лет назад. Су-27 и Су-35 имеют схожий планер, но отличаются наличием в Су-35 системы поддержки принятия решений пилотом.

В Су-27 пилот сам контролирует все системы и принимает решения. В реальной обстановке это ведет к высокой нагрузке на летчика и неизбежным ошибкам. В Су-35 создана система, которая непрерывно собирает показания со всех систем и выдает рекомендации пилоту. Подобная система поддержки принятия решений есть и в американском F-22. Но вот реализованы системы в Су-35 и F-22 принципиально разным образом.

Американцы пошли по пути создания суперкомпьютера, который объединяет все данные и производит все вычисления. И получили массу проблем из-за конкуренции и несогласованности. ОКБ Сухого пошли другим путем и создали шину данных, в которую каждая система передает свои показания, и сама может использовать показания других систем. Условно, радар поймал цель и сообщает: до цели 50 км, 40 км, 30 км. Другие системы спят. Когда до цели остается 10 км просыпаются ракеты «воздух-воздух» и оперативно фиксируют цель. Летчику остается только подтвердить пуск. Пуск произведен и радар переключается на другие цели.

Этот подход очень похож на концепцию Data Fabric. Подход Сухого сработал, так как вместо одного суперкомпьютера «умнее» стала каждая из систем в отдельности, а нагрузка на летчика снизилась.

Зачем ритейлу real-time?

Но вернемся к тренду. Если решение было найдено еще 20 лет назад, то почему проблема существует в 2022 году и что делать ритейлу?

Вспомним, что американцы и Сухой решали конкретную задачу — снижение вероятность ошибки и повышение эффективности пилота. То есть задача была в том, чтобы задействовать данные для принятия решений в реальном времени в условиях большого числа независимо работающих систем и высокой неопределенности.

Сегодня ритейл стремительно цифровизируется. Усложняются цепочки поставок. Появляются порталы поставщиков. Меняются ассортимент и форматы магазинов. Покупки уходят в онлайн. Появляются мобильные приложения. Внедряются онлайн-кассы. Где-то на горизонте маячат роботы и автономная доставка.

Все это потоки данных. Gartner предупреждает, что если бизнес не реализует в каком-либо варианте концепцию Data Fabric, то просто захлебнется в этих потоках. Как пилот Су-27. Но важно помнить, что Data Fabric — это не про организацию данных. Это про использование данных для принятия решений на их основе в реальном времени сотнями независимых приложений и процессов.

А какие решения придётся ритейлу принимать в реальном времени? Может быть, в ритейле и нет тех проблем, для которых потребовалась бы идея Data Fabric?

Принятие решений в реальном времени имеет два следствия. Во-первых, можно реагировать немедленно. Не через день, не через неделю, а через секунду. Во-вторых, рост точности всех прогнозов. Ведь если можно реагировать и влиять ситуацию, то и качество данных растет. Кроме того, только в реальном времени доступны самые актуальные и полные данные.

Даже если сегодня ритейлу кажется, что он далек от реального времени, все быстро изменится - экономика заставит.

● Нужно постоянно оптимизировать ассортимент. Делать это в каждом конкретном магазине в зависимости от локального спроса.

● Реагировать на внезапные рост или падение спроса.

● Удерживать покупателей.

● Обеспечивать наличие и кондицию товаров на полках.

● Сокращать плохо продающийся ассортимент.

● Сокращать запасы на складах и длительность хранения.

● Сокращать торговые площади и заполнять их товарами, на которые сегодня есть спрос.

● Давать покупателям релевантные рекомендации.

Все это задачи, которые в парадигме Data Fabric решаются наилучшим образом.

Что кроется за Data Fabric?

Начнем с того, что в 2021 году доподлинно известно, что не существует и никогда не будет существовать какой-то одной базы данных, которая была бы одинаково хороша для всех задач и типов данных. Это называется Polyglot persistence (Разноформатное хранилище) и это невозможно. Значит всегда будет некоторый «зоопарк» из оптимально подобранных хранилищ.

Во-вторых, если концепция Data Fabric говорит о некоем интегральном слое между разными хранилищами, то это предполагает, что в рамках одной задачи или одного приложения требуется обращаться к разным хранилищам и в реальном времени получать доступ к данным или сохранять результаты обработки в разных хранилищах. Это называется Distributed transaction (Распределенная транзакция).

В 2019 году вышла статья OLEP (OnLine Event Processing) «Онлайн Обработка Событий: достижение консистентности там, где распределенный транзакции терпят неудачу» (англ. Achieving consistency where distributed transactions have failed). К слову, статья была подготовлена по заказу компании Boeing.

В статье был описан архитектурный подход, получивший название OLEP и очень близкий к тому, как Сухой решил задачу создания системы поддержки принятия решений. Идея в том, что хранилищ много, каждый тип хранилища оптимален для своего сценария использования. Приложения могут обращаться к разным хранилищам в реальном времени, выполняя тот или иной алгоритм обработки данных. Приложения друг о друге ничего не знают - они только получают события на входе, выполняют обработку и возвращают результат на выход. Таких приложений может быть сколь угодно много, и они могут быть объединены в сколь угодно сложные сценарии.

Когда мы говорим о концепции Data Fabric, то OLEP-подход выглядит наиболее похожим на решение. Важный плюс OLEP, что подход прошел проверку в реальной эксплуатации и доказал работоспособность. OLEP ничего не говорит про мета-информацию в структуре данных, но на практике принятие решений в реальном времени требует непрерывного контроля надежности данных. И речь идет не только об их валидации, но и о выявлении аномалий в изменении структуры данных во времени.

Другими словами, Data Fabric — это не просто красивая концепция. Сегодняшние технологии вполне позволяют воплощать ее в реальность. Дело за бизнесом: либо он обнаружит себя пилотом Су-27, либо сразу сядет за штурвал Су-35.

Борис Агатов, независимый эксперт по инновациям в ритейле и Сергей Кедров, основатель Fabrique.ai. Для NEW RETAIL

Источник: https://new-retail.ru/