Многие считают, что Big Data доступна только гигантам, лидерам рынка. Но так ли это на самом деле? Стало ли изначальное лидерство причиной возникновения успешных проектов, применения новых технологий и методик? Или именно использование передовых технологий развило и ещё больше укрепило это лидерство? Иван Окопный, директор бизнес-направления Big Data Solutions компании «Неофлекс» делится с NBJ cвоими размышлениями на этот счет. 

Ответ неочевиден, но применение технологий Big Data уже стало на российском рынке стандартом, и трудно представить себе успешную финансовую организацию, которая не стремится использовать, обогащать и получать выгоду от своих данных.

Неожиданным плюсом для тех, кто пока не пришёл к применению технологий, стал Covid-19 и связанные с этим события. Повсеместный карантин и переход на онлайн-режим жизни привёл к тому, что большая часть исторических данных, на которых строились модели, стала неактуальной. Мы все скачком переместились в новую реальность и оказались в практически равных условиях предсказания быстро меняющейся реальности при полном отсутствии опоры в виде статистики из прошлого. И в первый раз за долгие годы оказались практически равны. Появление многочисленных провайдеров данных из числа телеком-операторов и крупных агрегаторов тоже способствовало демократизации применения новых технологий, делая их ещё более доступными. Да, есть ещё вопросы налаженной инфраструктуры, процессов, производственной культуры, да и просто ресурсов для подобных проектов. Но никогда ещё за последние 10 лет у организаций второго эшелона не было таких шансов совершить качественный скачок и сократить отставание до минимума, а может быть и обогнать грандов в нишах, где они работают.  

В пользу начала применения технологий Big Data здесь и сейчас говорит ещё то, что раньше это было одновременно и дорого, и рискованно ввиду сырости технологий, непроработанности подходов, да и попросту из-за отсутствия квалифицированных людей на рынке. А сейчас всё разнообразие инструментов и практик абсолютно доступно, надо только протянуть руку и поверить в то, что всё это возможно, а рынок труда уже достаточно насыщен качественными специалистами, которые могут в этом помочь. К тому же обучающих материалов за это время накоплено столько, что те, у кого есть мотивация меняться, непременно найдут возможность сделать это именно сейчас.  

КАКИЕ ЖЕ ТРЕНДЫ НАБЛЮДАЮТСЯ В СВЯЗИ С ЭТИМ В 2021 ГОДУ?

Наступает эпоха новых моделей и алгоритмов, способных работать не только на больших данных. Мы больше не можем полагаться на историю, всё, что у нас есть, – это небольшой отрезок времени, отпущенный нам с момента последнего глобального и резкого изменения. Я думаю, пандемия и связанные с этим события – не финальная точка, а лишь первый шаг к ещё большей скорости изменения окружающей нас реальности, чем было раньше. И именно в этот момент на сцену выходят техники Small Data и Wide Data, а также применение высокоадаптивных алгоритмов. 

Высокая гибкость и адаптивность приводят к новому уровню требований в процессах – XOps (data, machine learning, model, platform) заключается в достижении эффективности с использованием лучших практик DevOps, а также в обеспечении надёжности, многократного использования и повторяемости при одновременном сокращении дублирования технологий, процессов и обеспечении возможности автоматизации. Эти технологии позволят быстро масштабировать прототипы и обеспечить гибкое проектирование и гибкую оркестровку управляемых систем принятия решений. В целом XOps позволит организациям операционализировать данные и аналитику для повышения эффективности бизнеса. 

Но вместе с уменьшением глубины полезных исторических данных, данные становятся всё более сложными, так как цифровой бизнес значительно ускоряется. На смену классическим архитектурам DWH, Data Lake и Data Hub приходят платформы данных. Они поддерживают составные данные, аналитику и их различные компоненты, значительно сокращают время разработки, развертывания и обслуживания, поскольку технологические проекты опираются на возможность использования, в том числе повторного, а также комбинирования различных подходов интеграции данных. Больше того, платформы данных переиспользуют технологии, подходы и структуры существующих DWH, Data Lake и Data Hub, дополняя и обогащая их новыми возможностями в части аналитики, потоковой обработки данных и др. 

Данная концепция отлично сочетается и дополняется облачными решениями, используемыми для хранения и обработки данных. Возможность доступа к обширным хранилищам и работа с информацией в режиме реального времени без необходимости дорогостоящей локальной инфраструктуры привела к росту этого сегмента. Но полностью полагаться на поставщиков общедоступных облаков не является оптимальной моделью для каждого бизнеса. Когда вы доверяете все свои операции с данными третьим лицам, неизбежно возникают проблемы с безопасностью, управлением и скоростью обработки. 

Edge Сomputing – это ещё одна тенденция, которая повлияет на область больших данных и аналитики в ближайшее время. По сути, это подразумевает обработку критичных данных, требующих real-time обработки там, где они собираются, а не отправку их в облако для хранения и анализа. Некоторые из них просто нужно обрабатывать очень быстро, чтобы не рисковать, отправляя их туда и обратно. Хорошим примером здесь являются данные, собранные с датчиков, сайтов и мобильных устройств. В других ситуациях потребители хотят быть уверены, что у них есть дополнительный уровень конфиденциальности.

Время показало, что области применения Big Data не ограничиваются ML/AI, прогнозированием пользовательского поведения и продажами. Эти некогда новые и сложные технологии за счёт своей гибкости и масштабируемости дают отличные результаты в областях, которые исторически казались вотчиной классических технологий и проверенных временем решений (решения в области информационной безопасности, построение отчётности, в том числе регуляторной, построение архивов, house keeping и многое другое). В различных источниках всё чаще появляется информация об успешном запуске подобных проектов, а некоторые уже рапортуют о том, что решения проверены временем и успешно эксплуатируются несколько лет, доказав не только свою высокую надёжность, но и финансовую эффективность за счёт более низкого ТСО относительно классических решений и технологий. Это является вполне объяснимым, так как большая часть используемых инструментов является open source, а значит не несёт дополнительной нагрузки на бюджеты. Технологии Big Data куда менее требовательны к инфраструктуре, чем классические решения, и требуют меньших затрат на масштабирование. Единственная статья расхода и риск – персонал, при его дефиците и высокой стоимости. Но этот фактор тоже постепенно уходит на второй план, уступая место преимуществам и перспективам, которые открываются при освоении и внедрении новых технологий и подходов. 

Материал также опубликован в печатной версии мартовского номера Национального банковского журнала (№198, 2021)