Аналитика и комментарии

01 апреля 2021
 

Иван Окопный, «Неофлекс»: Big Data Today – мир равных возможностей

Многие считают, что Big Data доступна только гигантам, лидерам рынка. Но так ли это на самом деле? Стало ли изначальное лидерство причиной возникновения успешных проектов, применения новых технологий и методик? Или именно использование передовых технологий развило и ещё больше укрепило это лидерство? Иван Окопный, директор бизнес-направления Big Data Solutions компании «Неофлекс» делится с NBJ cвоими размышлениями на этот счет. 

Ответ неочевиден, но применение технологий Big Data уже стало на российском рынке стандартом, и трудно представить себе успешную финансовую организацию, которая не стремится использовать, обогащать и получать выгоду от своих данных.

Неожиданным плюсом для тех, кто пока не пришёл к применению технологий, стал Covid-19 и связанные с этим события. Повсеместный карантин и переход на онлайн-режим жизни привёл к тому, что большая часть исторических данных, на которых строились модели, стала неактуальной. Мы все скачком переместились в новую реальность и оказались в практически равных условиях предсказания быстро меняющейся реальности при полном отсутствии опоры в виде статистики из прошлого. И в первый раз за долгие годы оказались практически равны. Появление многочисленных провайдеров данных из числа телеком-операторов и крупных агрегаторов тоже способствовало демократизации применения новых технологий, делая их ещё более доступными. Да, есть ещё вопросы налаженной инфраструктуры, процессов, производственной культуры, да и просто ресурсов для подобных проектов. Но никогда ещё за последние 10 лет у организаций второго эшелона не было таких шансов совершить качественный скачок и сократить отставание до минимума, а может быть и обогнать грандов в нишах, где они работают.  

В пользу начала применения технологий Big Data здесь и сейчас говорит ещё то, что раньше это было одновременно и дорого, и рискованно ввиду сырости технологий, непроработанности подходов, да и попросту из-за отсутствия квалифицированных людей на рынке. А сейчас всё разнообразие инструментов и практик абсолютно доступно, надо только протянуть руку и поверить в то, что всё это возможно, а рынок труда уже достаточно насыщен качественными специалистами, которые могут в этом помочь. К тому же обучающих материалов за это время накоплено столько, что те, у кого есть мотивация меняться, непременно найдут возможность сделать это именно сейчас.  

КАКИЕ ЖЕ ТРЕНДЫ НАБЛЮДАЮТСЯ В СВЯЗИ С ЭТИМ В 2021 ГОДУ?

 

Наступает эпоха новых моделей и алгоритмов, способных работать не только на больших данных. Мы больше не можем полагаться на историю, всё, что у нас есть, – это небольшой отрезок времени, отпущенный нам с момента последнего глобального и резкого изменения. Я думаю, пандемия и связанные с этим события – не финальная точка, а лишь первый шаг к ещё большей скорости изменения окружающей нас реальности, чем было раньше. И именно в этот момент на сцену выходят техники Small Data и Wide Data, а также применение высокоадаптивных алгоритмов. 

Высокая гибкость и адаптивность приводят к новому уровню требований в процессах – XOps (data, machine learning, model, platform) заключается в достижении эффективности с использованием лучших практик DevOps, а также в обеспечении надёжности, многократного использования и повторяемости при одновременном сокращении дублирования технологий, процессов и обеспечении возможности автоматизации. Эти технологии позволят быстро масштабировать прототипы и обеспечить гибкое проектирование и гибкую оркестровку управляемых систем принятия решений. В целом XOps позволит организациям операционализировать данные и аналитику для повышения эффективности бизнеса. 

Но вместе с уменьшением глубины полезных исторических данных, данные становятся всё более сложными, так как цифровой бизнес значительно ускоряется. На смену классическим архитектурам DWH, Data Lake и Data Hub приходят платформы данных. Они поддерживают составные данные, аналитику и их различные компоненты, значительно сокращают время разработки, развертывания и обслуживания, поскольку технологические проекты опираются на возможность использования, в том числе повторного, а также комбинирования различных подходов интеграции данных. Больше того, платформы данных переиспользуют технологии, подходы и структуры существующих DWH, Data Lake и Data Hub, дополняя и обогащая их новыми возможностями в части аналитики, потоковой обработки данных и др. 

Данная концепция отлично сочетается и дополняется облачными решениями, используемыми для хранения и обработки данных. Возможность доступа к обширным хранилищам и работа с информацией в режиме реального времени без необходимости дорогостоящей локальной инфраструктуры привела к росту этого сегмента. Но полностью полагаться на поставщиков общедоступных облаков не является оптимальной моделью для каждого бизнеса. Когда вы доверяете все свои операции с данными третьим лицам, неизбежно возникают проблемы с безопасностью, управлением и скоростью обработки. 

Edge Сomputing – это ещё одна тенденция, которая повлияет на область больших данных и аналитики в ближайшее время. По сути, это подразумевает обработку критичных данных, требующих real-time обработки там, где они собираются, а не отправку их в облако для хранения и анализа. Некоторые из них просто нужно обрабатывать очень быстро, чтобы не рисковать, отправляя их туда и обратно. Хорошим примером здесь являются данные, собранные с датчиков, сайтов и мобильных устройств. В других ситуациях потребители хотят быть уверены, что у них есть дополнительный уровень конфиденциальности.

Время показало, что области применения Big Data не ограничиваются ML/AI, прогнозированием пользовательского поведения и продажами. Эти некогда новые и сложные технологии за счёт своей гибкости и масштабируемости дают отличные результаты в областях, которые исторически казались вотчиной классических технологий и проверенных временем решений (решения в области информационной безопасности, построение отчётности, в том числе регуляторной, построение архивов, house keeping и многое другое). В различных источниках всё чаще появляется информация об успешном запуске подобных проектов, а некоторые уже рапортуют о том, что решения проверены временем и успешно эксплуатируются несколько лет, доказав не только свою высокую надёжность, но и финансовую эффективность за счёт более низкого ТСО относительно классических решений и технологий. Это является вполне объяснимым, так как большая часть используемых инструментов является open source, а значит не несёт дополнительной нагрузки на бюджеты. Технологии Big Data куда менее требовательны к инфраструктуре, чем классические решения, и требуют меньших затрат на масштабирование. Единственная статья расхода и риск – персонал, при его дефиците и высокой стоимости. Но этот фактор тоже постепенно уходит на второй план, уступая место преимуществам и перспективам, которые открываются при освоении и внедрении новых технологий и подходов. 

Материал также опубликован в печатной версии мартовского номера Национального банковского журнала (№198, 2021) 

Поделиться: