Аналитика и комментарии

07 октября 2022

Мария ВЕЙХМАН, СКОРИСТА: «Я люблю быстрые деньги и быстрый результат, поэтому работаю с кредиторами сегмента займов до 1 года»

Основатель и генеральный директор компании СКОРИСТА Мария ВЕЙХМАН в интервью Национальному банковскому журналу рассказала о том, как строятся скоринговые модели для микрофинансовых организаций (МФО), какими главными характеристиками должны обладать скоринговые системы, как работает скоринг в кризис, и в чём суть методики СКОРИСТЫ.

NBJ: Как, по вашему мнению, выглядит оптимальный процесс построения скоринговой модели для МФО? Чем она отличается от других? Каков ожидаемый бизнес-эффект от неё?

М. ВЕЙХМАН: Процесс построения скоринговой модели для МФО ничем не отличается от классической схемы построения скоринговых моделей в банковской или других сферах. Везде выдаётся вероятность или балл, соответствующий вероятности наступления события, в нашем случае возврат суммы займа и более с просрочкой до 15 дней. Процесс делится на несколько основных этапов.

Констатация проблемы. Выявление причин. Постановка гипотез для решения. Составление плана действий. Это один из самых важных этапов, так как от правильности выявления причин будет зависеть план решения проблемы, а значит, и стоимость работ. Не всегда требуется строить или валидировать скоринговую модель. Например, мы видим, что выросла просрочка в июле на 5 п.п. Начинаем выяснять причину и констатируем, что модель работает штатно, согласно распределению на обучении, но поток заёмщиков сместился в более низкие баллы, т. е заёмщик стал хуже, и соответственно смещается и выдача займов в более низкие баллы, поэтому растёт просрочка. В этом случае нам не нужно перестраивать модель, а достаточно изменить балл, ниже которого мы отказываем заёмщику. Перестроить модель придётся только в том случае, если распределение на проблемном периоде не будет соответствовать распределению обучения. В этом случае нам будет необходимо понять: мы строим заново или корректируем модель, для этого нам необходимо проверить работу переменных на проблемном периоде. Снижение корреляции с искомой переменной будет сигналом для построения новой модели.

Следующий этап – подготовка выборки. Классически выборка делится 70/30. Но мы рекомендуем для МФО делить выборку по временнóму принципу и обязательно оставлять проверочный период. Например, декабрь 2021 – октябрь 2022 обучаемся, ноябрь 2022 – тестируем, декабрь 2022 – проверяем. На этом этапе можно провести сегментацию заёмщиков, и для каждого сегмента построить свою модель.

Далее идёт моделирование, т.е. создание формулы расчёта баллов. Как правило, моделирование осуществляется тем математическим методом, которым лучше всего владеет специалист. Мы приверженцы интерпретируемых моделей, поэтому используем логистическую регрессию. В нашем случае этап моделирования делится на 3 подэтапа: группирование, межкорреляционная очистка переменных, построение лог.регрессии.

Ансамблирование моделей выполняется, если в компании принято строить несколько моделей на разные искомые переменные и объединять.

Проверка результатов – рассчитываются баллы для тестовой и проверочной выборки и сверяются распределения, если распределения идентичны, то можно выбирать порог одобрения, а это уже другая история.

После проведения всех этапов, можно при желании дообучить модель на тестовой и проверочной выборке.

Процесс трудоёмкий, и, как правило, новая модель должна лучше работать как минимум на 10–15%, идеально на 20%, например, снижать просрочку с 20% до 16% (4 п.п) без изменения уровня одобрения или повышать одобрение при сохранении текущего уровня просрочки.

NBJ: Как заблаговременно оценить, какие рыночные факторы сильнее всего влияют на качество скоринговой модели и параметры бизнеса?

М. ВЕЙХМАН: На мой взгляд, это вопрос не связан со скорингом, это скорее про эрудицию, жизненный опыт и интуицию аналитиков и управляющих. Экономические изменения – это более или менее предсказуемое поведение заёмщиков, а следовательно и стабильная работа модели.

NBJ: Перечислите, пожалуйста, ключевые характеристики скоринговых систем, очищенных от текущих пороков. Какова возможность искоренения этих пороков и её стоимость?

М. ВЕЙХМАН: Если мы понимаем под скоринговой системой систему обработки данных и расчёта балла (баллов) и каких-то ещё значений для системы принятия решения, то единственным «пороком» является пропускная способность этой системы, т.е. скорость расчёта и количество обрабатываемых запросов в единицу времени. Пропускная способность зависит от качества программного кода самой системы и аппаратной части, на которой размещена эта система. В случае проблем с программной частью потребуется рефакторинг кода или полная переработка. Проблемы с аппаратной частью решаются закупкой мощностей.

Если мы под скоринговой системой понимаем алгоритм предсказания, то «пороком» будет ошибка в прогнозе, т.е. «ложно хорошие» и «ложно плохие». Решением будет постоянное повышение качества моделей, т.е. всё зависит от профессионализма, опыта специалиста и его желания проводить постоянные эксперименты.

NBJ: Как научить скоринговую модель эффективно работать в кризис? Дайте, пожалуйста, свои рецепты, исходя из вашего опыта.

М. ВЕЙХМАН: Кризис – долгосрочное явление, в несколько раз длиннее срока займов нашего сегмента рынка, поэтому на наши скоринговые модели нет сильного влияния, так как мы успеем перестроить их несколько раз. Для тех, кто работает в сегменте займов сроком более года, я бы рекомендовала ориентироваться на смещение потока заёмщиков по бакетам распределения, а также качество самого распределения. При шаге распределения в 50 баллов распределение должно быть нормальным и иметь не более 10–15% доли потока, не должно быть скачков.

NBJ: Как максимально сократить цикл получения обратной связи об эффективности моделей и ускорить их адаптацию к меняющимся условиям?

М. ВЕЙХМАН: Не хочу повторяться, но мы всегда ориентируемся на распределение потока, если распределение становится плохим, начинаем ориентироваться на доли групп переменных. Для длинных займов мы строим распределение с вероятностью возврата крайнего (текущего) платежа, «короткая целевая переменная» – это даёт эффект. Но, повторюсь, мы работаем в сегменте займов до 1 года.

NBJ: В чём особенности скоринга в период неопределённости и очень короткого горизонта планирования?

М. ВЕЙХМАН: Думаю, нет длинного горизонта планирования и какой-то определённости в принципе, всё зависит от ваших нервов и терпения. Если вы или ваши владельцы бизнеса имеют стальные нервы и готовы ждать прибыли 3 года, то вы работаете в сегменте премиум кредитования. Я же люблю быстрые деньги и быстрый результат, поэтому работаю с кредиторами сегмента займов до 1 года. В случае длинных займов, как я уже говорила, лучше ориентироваться на искомые переменные со сроком не более 30 дней, например FPD.

NBJ: Когда эффективнее всего начинать перестраивать модели в кризис? Ждать накопления новой статистики, обучать модели на маленьких выборках и «коротких» целевых переменных или использовать обучающие выборки из прошлых похожих кризисов? В чём особенности реализации и ожидаемые результаты каждой тактики? Какую тактику выбираете вы и почему? Или у вас иная тактика? Расскажите о ней.

М. ВЕЙХМАН: У нас короткие займы и постоянный мониторинг распределения потока и возвратности. Если распределение «едет», мы смотрим изменения долей групп, сравнивая текущий период с обучением. Если что-то «едет», то начинаем экспериментировать с формированием выборки для построения новой модели и подбирать модели из предыдущих периодов, например, иногда «выстреливают» модели 2018 года.

NBJ: В чём суть методики СКОРИСТЫ, на чём она строится?

М. ВЕЙХМАН: Мы очень боимся переобучения и «серой зоны», поэтому мы делаем «ансамбли ансамблей» моделей, всегда включая в текущие «ансамбли» наши «ансамбли» прошлых периодов, чтобы перекрыть «серую зону». 

Беседовала: Оксана Дяченко

Материал также опубликован в печатной версии Национального банковского журнала (сентябрь 2022)

Поделиться:
 

Возврат к списку