Applying Complementary Credit Scores to Calculate Aggregate Ranking

Обложка

Цитировать

Полный текст

Аннотация

Researchers have been improving credit scoring models for decades, as an increase in the predictive ability of scoring even by a small amount can allow financial institutions to avoid significant losses. Many researchers believe that ensembles of classifiers or aggregated scorings are the most effective. However, ensembles outperform base classifiers by thousandths of a percent on unbalanced samples.

This article proposes an aggregated scoring model. In contrast to previous models, its base classifiers are focused on identifying different types of borrowers. We illustrate the effectiveness of such scoring aggregation on real unbalanced data.

As the effectiveness indicator we use the performance measure of the area under the ROC curve. The DeLong, DeLong and Clarke-Pearson test is used to measure the statistical difference between two or more areas. In addition, we apply a logistic model of defaults (logistic regression) to the data of company financial statements. This model is usually used to identify default borrowers. To obtain a scoring aimed at non-default borrowers, we employ a modified Kemeny median, which was initially developed to rank companies with credit ratings. Both scores are aggregated by logistic regression.

Our data Russian banks that existed or defaulted between July 1, 2010, and July 1, 2015. This sample of banks is highly unbalanced, with a concentration of defaults of about 5%. The aggregation was carried out for banks with several ratings.

We show that aggregated classifiers based on different types of information significantly improve the discriminatory power of scoring even on an unbalanced sample. Moreover, the absolute value of this improvement surpasses all the values previously obtained from unbalanced samples.

The aggregated scoring and the approach to its construction can be applied by financial institutions to credit risk assessment and as an auxiliary tool in the decision-making process thanks to the relatively high interpretability of the scores.

Об авторах

Z. Seleznyova

HSE University

Автор, ответственный за переписку.
Email: zseleznyova@hse.ru
Россия,

Список литературы

  1. Abellán J., Castellano J.G. A comparative study on base classifiers in ensemble methods for credit scoring. Expert Syst Appl. 2017 May 1;73:1–10. Available from: https://linkinghub.elsevier.com/retrieve/pii/S0957417416306947
  2. de Castro Vieira J.R., Barboza F., Sobreiro V.A., Kimura H. Machine learning models for credit analysis improvements: Predicting low-income families’ default. Appl Soft Comput J. 2019 Oct 1;83:105640.
  3. Louzada F., Ara A., Fernandes G.B. Classification methods applied to credit scoring: Systematic review and overall comparison. Surv Oper Res Manag Sci. 2016;21:117–134.
  4. Xia Y., Liu C., Li Y.Y., Liu N. A boosted decision tree approach using Bayesian hyper-parameter optimization for credit scoring. Expert Syst Appl. 2017 Jul 15;78:225–241.
  5. Ensemble methods: bagging, boosting and stacking | by Joseph Rocca | Towards Data Science [Internet]. [cited 2020 Oct 4]. Available from: https://towardsdatascience.com/ensemble-methods-bagging-boosting-and-stacking-c9214a10a205
  6. Ma X., Sha J., Wang D., Yu Y., Yang Q., Niu X. Study on a prediction of P2P network loan default based on the machine learning LightGBM and XGboost algorithms according to different high dimensional data cleaning. Electron Commer Res Appl. 2018 Sep 1;31:24–39. Available from: https://linkinghub.elsevier.com/retrieve/pii/S156742231830070X
  7. Hayashi Y. Application of a rule extraction algorithm family based on the Re-RX algorithm to financial credit risk assessment from a Pareto optimal perspective. Oper Res Perspect. 2016 Jan 1;3:32–42.
  8. Buzdalin A.V., Zanochkin A.U., Kurbangaleev M.Z., Smirnov S.N. Credit ratings aggregation as a task of building consensus in the system of expert assessments. Globalnie rinki i finansoviy engineering. 2017;4(3):181–207. (In Russ.).
  9. Zanin L. Combining multiple probability predictions in the presence of class imbalance to discriminate between potential bad and good borrowers in the peer-to-peer lending market. J Behav Exp Financ. 2020 Mar 1;25:100272.
  10. Committee on Banking Supervision B. Basel Committee on Banking Supervision International Convergence of Capital Measurement and Capital Standards: A Revised Framework Comprehensive Version [Internet]. 2006 [cited 2020 Oct 4]. Available from: https://www.bis.org/basel_framework/
  11. Carta S., Ferreira A., Reforgiato Recupero D., Saia M., Saia R. A combined entropy-based approach for a proactive credit scoring. Eng Appl Artif Intell. 2020 Jan 1;87:103292.
  12. Tserng H.P., Chen P.C., Huang W.H., Lei M.C., Tran Q.H. Prediction of default probability for construction firms using the logit model. J Civ Eng Manag. 2014;20(2):247–255.
  13. Li K., Niskanen J., Kolehmainen M., Niskanen M. Financial innovation: Credit default hybrid model for SME lending. Expert Syst Appl. 2016;61:343–355.
  14. Barboza F., Kimura H., Altman E. Machine learning models and bankruptcy prediction. Expert Syst Appl. 2017 Oct 15;83:405–417.
  15. Maldonado S., Peters G., Weber R. Credit scoring using three-way decisions with probabilistic rough sets. Inf Sci (Ny). 2020 Jan 1;507:700–714.
  16. Dastile X., Celik T., Potsane M. Statistical and machine learning models in credit scoring: A systematic literature survey. Appl Soft Comput J. 2020 Jun 1;91:106263.
  17. Pérez-Martín A., Pérez-Torregrosa A., Vaca M. Big Data techniques to measure credit banking risk in home equity loans. J Bus Res. 2018 Aug 1;89:448–454.
  18. Ala’raj M., Abbod M.F. A new hybrid ensemble credit scoring model based on classifiers consensus system approach. Expert Syst Appl. 2016;64:181–190.
  19. Ala’Raj M., Abbod M.F. Classifiers consensus system approach for credit scoring. Knowl-Based Syst. 2016 Jul 15;104:89–105.
  20. Fang F., Chen Y. A new approach for credit scoring by directly maximizing the Kolmogorov–Smirnov statistic. Comput Stat Data Anal. 2019 May 1;133:180–194.
  21. Teply P., Polena M. Best classification algorithms in peer-to-peer lending. North Am J Econ Financ. 2020 Jan 1;51:100904.
  22. Butaru F., Chen Q., Clark B., Das S., Lo A.W., Siddique A. Risk and risk management in the credit card industry. J Bank Financ. 2016 Nov 1;72:218–239.
  23. Sousa M.R., Gama J., Brandão E. A new dynamic modeling framework for credit risk assessment. Expert Syst Appl. 2016 Mar 1;45:341–351.
  24. Maldonado S., Pérez J., Bravo C. Cost-based feature selection for Support Vector Machines: An application in credit scoring. Eur J Oper Res. 2017 Sep 1;261(2):656–665.
  25. Neto R., Jorge Adeodato P., Carolina Salgado A. A framework for data transformation in Credit Behavioral Scoring applications based on Model Driven Development. Expert Syst Appl. 2017 Apr 15;72:293–305.
  26. Karminsky A., Polozov A. Handbook of Ratings: Approaches to Ratings in the Economy, Sports, and Society. Springer International Publishing; 2016. 356 p.
  27. Li K., Niskanen J., Kolehmainen M., Niskanen M. Financial innovation: Credit default hybrid model for SME lending. Expert Syst Appl. 2016 Nov 1;61:343–355.
  28. Karminsky A.М. Credit rating and its modelling. Moscow: HSE Publishing House; 2015. 304 p. (In Russ.).
  29. Aivazyan S., Golovan S., Karminsky A., Peresetckiy A. Approaches to comparing rating scales. Prikladnaya ekonometrika. 2011;3(23):13–40. (In Russ.).
  30. Fitzmaurice G., Kenward M.G. Handbook of Missing Data Methodology. 1st ed. New York: Chapman and Hall/CRC; 2014. 600 p.
  31. Mushava J., Murray M. An experimental comparison of classification techniques in debt recoveries scoring: Evidence from South Africa’s unsecured lending market. Expert Syst Appl. 2018 Nov 30;111:35–50.
  32. Garrido F., Verbeke W., Bravo C. A robust profit measure for binary classification model evaluation. Expert Syst Appl. 2018 Feb 1;92:154–160.
  33. Tasche D. Estimating discriminatory power and PD curves when the number of defaults is small. 2009 May 24 [cited 2018 Dec 5]; Available from: http://arxiv.org/abs/0905.3928
  34. DeLong E.R., DeLong D.M., Clarke-Pearson D.L. Comparing the areas under two or more correlated receiver operating characteristic curves: A nonparametric approach. Biometrics. 1988 Sep;44(3):837.
  35. Pomazanov M.V. Credit risk-management in a bank: internal ratings-based approach (IRB). 1st ed. Penikas G.I., editor. Moscow: Urait; 2019. 265 p. Available from: https://urait.ru/book/upravlenie-kreditnym-riskom-v-banke-podhod-vnutrennih-reytingov-pvr-437044 (In Russ.).
  36. Fitzpatrick T., Mues C. An empirical comparison of classification algorithms for mortgage default prediction: Evidence from a distressed mortgage market. Eur J Oper Res. 2016;249(2):427–439.
  37. Shen F., Zhao X., Li Z., Li K., Meng Z. A novel ensemble classification model based on neural networks and a classifier optimisation technique for imbalanced credit risk evaluation. Phys A Stat Mech Its Appl. 2019 Jul 15;526:121073.
  38. Xia Y., Liu C., Da B., Xie F. A novel heterogeneous ensemble credit scoring model based on bstacking approach. Expert Syst Appl. 2018 Mar 1;93:182–199.
  39. He H., Zhang W., Zhang S. A novel ensemble method for credit scoring: Adaption of different imbalance ratios. Expert Syst Appl. 2018 May 15;98:105–117.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML

© Seleznyova Z., 2021

Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution-NonCommercial 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».