Применение DL и ML в финансовой отрасли
Машинное обучение и глубокое обучение применяются в финансовых услугах для улучшения процессов: выявление рисков, предсказание мошенничества, персонализация услуг. Они также помогают в моделировании экономических сценариев и управлении рисками. Регулятивные требования и защита данных играют ключевую роль в их реализации и управлении рисками.
За последние несколько лет машинное обучение (ML) и глубокое обучение (DL) стали основой таких областей, как здравоохранение, розничная торговля, банковское дело и страхование. Этот список можно продолжать бесконечно - почти нет такой области, где не применяется машинное обучение для улучшения общей эффективности и точности систем. По мере быстрого роста мировой экономики возросла и потребность в автоматизации процессов.
Когда мы говорим об экономике, банковское дело и страхование, иногда называемые финансовыми услугами, - две из основных отраслей, которые приходят на ум. Согласно отчету Accenture, решения на основе искусственного интеллекта могут добавить до одного миллиарда долларов США к стоимости финансовых услуг в ближайшие годы. Существует не только один, но и несколько отчетов, которые обсуждают, как интеграция искусственного интеллекта в финансовые услуги может увеличить потенциальные выгоды.
Вся финансовая сфера, включая как банковское дело, так и страхование, все более переходит на онлайн-платформу. Вещи, такие как регистрация новых пользователей, проверка личности, транзакции и покупка финансовых услуг и страховых полисов, могут быть сделаны онлайн. С этим переходом возникла необходимость в автоматизации процессов, обеспечении безопасности и ускоренной, оптимизированной обработке запросов клиентов. Машинное обучение и глубокое обучение, встроенные в системы принятия решений, являются универсальными решениями для этих потребностей. Они помогают сократить ручные задачи и добавить ценности к существующим процессам, улучшая всю финансовую систему. Предсказание кредитных рейтингов, оценка профилей клиентов для различных видов кредитов, обработка запросов клиентов с помощью чат-ботов и выявление мошенничества в банковском и страховом секторах - лишь некоторые из основных случаев использования, которые организации могут достичь с помощью ML.
В этой статье вы узнаете больше о том, как машинное обучение и глубокое обучение могут улучшить финансовые услуги. Вы также познакомитесь с различными финансовыми кейсами и алгоритмами машинного обучения, которые применяются в этих секторах.
Когда мы говорим об экономике, банковское дело и страхование, иногда называемые финансовыми услугами, - две из основных отраслей, которые приходят на ум. Согласно отчету Accenture, решения на основе искусственного интеллекта могут добавить до одного миллиарда долларов США к стоимости финансовых услуг в ближайшие годы. Существует не только один, но и несколько отчетов, которые обсуждают, как интеграция искусственного интеллекта в финансовые услуги может увеличить потенциальные выгоды.
Вся финансовая сфера, включая как банковское дело, так и страхование, все более переходит на онлайн-платформу. Вещи, такие как регистрация новых пользователей, проверка личности, транзакции и покупка финансовых услуг и страховых полисов, могут быть сделаны онлайн. С этим переходом возникла необходимость в автоматизации процессов, обеспечении безопасности и ускоренной, оптимизированной обработке запросов клиентов. Машинное обучение и глубокое обучение, встроенные в системы принятия решений, являются универсальными решениями для этих потребностей. Они помогают сократить ручные задачи и добавить ценности к существующим процессам, улучшая всю финансовую систему. Предсказание кредитных рейтингов, оценка профилей клиентов для различных видов кредитов, обработка запросов клиентов с помощью чат-ботов и выявление мошенничества в банковском и страховом секторах - лишь некоторые из основных случаев использования, которые организации могут достичь с помощью ML.
В этой статье вы узнаете больше о том, как машинное обучение и глубокое обучение могут улучшить финансовые услуги. Вы также познакомитесь с различными финансовыми кейсами и алгоритмами машинного обучения, которые применяются в этих секторах.
Зачем машинное и глубокое обучение в финансовых услугах?
Машинное обучение - это раздел компьютерной науки, который использует математику и статистику для анализа данных и делает прогнозы. Глубокое обучение - это подраздел машинного обучения, который использует нейронные сети, в частности, для выполнения более сложных задач, связанных с неструктурированными данными. Машинное обучение широко используется для таких задач, как регрессия, классификация и кластеризация, которые работают с табличными данными, или данными, упорядоченными в формате строк и столбцов. Это часто называется традиционным подходом искусственного интеллекта. Глубокое обучение предпочтительно для более сложных задач, таких как обработка изображений, голоса и текста. Для обучения различных моделей нейронных сетей глубокому обучению требуется огромное количество данных и мощная система с точки зрения памяти и обработки.
Теперь, когда вы познакомились с ML и DL, давайте обсудим некоторые из основных преимуществ их использования.
Теперь, когда вы познакомились с ML и DL, давайте обсудим некоторые из основных преимуществ их использования.
- Выявление шаблонов: Методы машинного обучения используют математические и статистические методы для выявления шаблонов в данных. Ручное нахождение шаблонов в данных чрезвычайно времязатратно и часто сопряжено с человеческой ошибкой - если шаблоны вообще можно найти. Алгоритмы, такие как классификация или кластеризация, легко находят шаблоны для разделения разных классов. Одним из основных преимуществ таких подходов является то, что они способны классифицировать данные, с которыми ранее не сталкивались. Например, если вы работаете над обнаружением мошенничества и у вас есть случай, с которым ваша модель не была обучена и поэтому не знакома, алгоритм все равно способен идентифицировать этот случай как выброс, который может быть мошенническим.
- Оптимизация: В быстро развивающейся, глобализированной экономике и быстрорастущих онлайн-платформах существует постоянная потребность в более быстрой и точной обработке всех аспектов финансовой индустрии. Для замены ручного подхода организации используют два основных решения. Одно из них - это традиционный подход на основе правил, а второе - на основе ML. В подходе, основанном на правилах, создание правил осуществляется вручную, что затруднительно и времязатратно, и имеет проблемы с учетом крайних случаев. ML предлагает другой подход, при котором компьютеры помогают людям принимать решения. Человек все равно должен подготовить данные, которые затем будут введены в процесс обучения модели ML. В результате получается модель, которая выдает правила, используемые для принятия решений. Поскольку эти правила не созданы вручную, это существенно экономит время и труд, а также существенно снижает вероятность ошибок.
- Постоянное улучшение: Для многих практических случаев, таких как обнаружение мошенничества или обнаружение объектов, распределение данных меняется со временем. Это может быть в форме изменения данных или концепции. Если ваше решение не способно справиться с этими изменениями, вам придется вмешиваться вручную, чтобы учесть эти изменения. Если же вы используете решения на основе ML или DL, вмешательство вручную вероятно не потребуется. С правильными системами мониторинга моделей в месте система может переобучить модель, чтобы учесть изменения, позволяя ей сохранить точность.
Примеры использования ML и DL в сфере финансов
Теперь, когда вы знаете, что такое машинное обучение и глубокое обучение, давайте рассмотрим некоторые из основных вариантов их использования в финансовой сфере.
Оценка рисков по кредитам
Риски кредитования, иногда называемые кредитными рисками, - это вероятность того, что клиент не вернет кредиты или задолженности по кредитным картам, или иным образом не выполнит свои договорные обязательства. Это дорогая проблема для банков, венчурных фондов, управляющих активами страховых компаний по всему миру. Ручное определение профиля риска клиента - это сложная и долгая задача, и хотя автоматизация в виде онлайн-проверки информации была внедрена в процесс, все еще сложно определить профиль риска клиента. Вот почему эти компании теперь обращаются к решениям ML и науке о данных, чтобы решить эту проблему за них. Решения ML и DL помогают организациям определять кредитный риск потенциальных клиентов, позволяя им быть разделенными на группы с разными процентными ставками.
Решения на основе ML для оценки кредитного риска
Оценка кредитного риска - это задача бинарной классификации, так как у вас будет только два результата, классы "0 (Без риска)" и "1 (Риск)". Поскольку это задача классификации, существует много моделей, которые подходят для этой задачи. Организации, работающие над этой проблемой, обнаружили, что модели ансамблевого обучения, такие как случайные леса и модель XGBoost, имеют лучшую производительность.
В моделях оценки кредитного риска большинство случаев использования, над которыми вы работаете, будут иметь в себе врожденные несбалансированные данные - всегда будет больше примеров без риска, чем рискованных. Это означает, что оценить точность модели может быть сложно. Например, предположим, вы проверяете свою модель на ста строках реальных данных, и этот набор данных содержит девяносто образцов без риска и десять, классифицированных как рискованные. Если модель отмечает их все как без риска, точность модели составляет девяносто процентов, поскольку все отрицательные образцы были правильно помечены, хотя ни один из положительных не был. Но такая модель была бы бесполезной на практике, потому что она не смогла бы успешно идентифицировать рискованные кредиты. Стратегии разработки и метрики, используемые для оценки ваших алгоритмов, должны быть тщательно рассмотрены, чтобы учесть любой естественный сдвиг в данных.
Риски кредитования, иногда называемые кредитными рисками, - это вероятность того, что клиент не вернет кредиты или задолженности по кредитным картам, или иным образом не выполнит свои договорные обязательства. Это дорогая проблема для банков, венчурных фондов, управляющих активами страховых компаний по всему миру. Ручное определение профиля риска клиента - это сложная и долгая задача, и хотя автоматизация в виде онлайн-проверки информации была внедрена в процесс, все еще сложно определить профиль риска клиента. Вот почему эти компании теперь обращаются к решениям ML и науке о данных, чтобы решить эту проблему за них. Решения ML и DL помогают организациям определять кредитный риск потенциальных клиентов, позволяя им быть разделенными на группы с разными процентными ставками.
Решения на основе ML для оценки кредитного риска
Оценка кредитного риска - это задача бинарной классификации, так как у вас будет только два результата, классы "0 (Без риска)" и "1 (Риск)". Поскольку это задача классификации, существует много моделей, которые подходят для этой задачи. Организации, работающие над этой проблемой, обнаружили, что модели ансамблевого обучения, такие как случайные леса и модель XGBoost, имеют лучшую производительность.
В моделях оценки кредитного риска большинство случаев использования, над которыми вы работаете, будут иметь в себе врожденные несбалансированные данные - всегда будет больше примеров без риска, чем рискованных. Это означает, что оценить точность модели может быть сложно. Например, предположим, вы проверяете свою модель на ста строках реальных данных, и этот набор данных содержит девяносто образцов без риска и десять, классифицированных как рискованные. Если модель отмечает их все как без риска, точность модели составляет девяносто процентов, поскольку все отрицательные образцы были правильно помечены, хотя ни один из положительных не был. Но такая модель была бы бесполезной на практике, потому что она не смогла бы успешно идентифицировать рискованные кредиты. Стратегии разработки и метрики, используемые для оценки ваших алгоритмов, должны быть тщательно рассмотрены, чтобы учесть любой естественный сдвиг в данных.
Клиентская аналитика
Аналитика клиентов - это процесс анализа поведения и предпочтений клиентов. Данные о клиентах содержат информацию, такую как их покупательные привычки, географическая информация и типы транзакций. Это помогает бизнесам извлекать информацию, такую как общие демографические данные о клиентах и их покупательное поведение, которое влияет на их бизнес-решения. Для анализа клиентов используются как решения на основе машинного обучения, так и глубокого обучения. Некоторые из основных примеров аналитики клиентов включают в себя:
Аналитика клиентов - это процесс анализа поведения и предпочтений клиентов. Данные о клиентах содержат информацию, такую как их покупательные привычки, географическая информация и типы транзакций. Это помогает бизнесам извлекать информацию, такую как общие демографические данные о клиентах и их покупательное поведение, которое влияет на их бизнес-решения. Для анализа клиентов используются как решения на основе машинного обучения, так и глубокого обучения. Некоторые из основных примеров аналитики клиентов включают в себя:
- Сегментация клиентов: Клиенты могут быть сгруппированы по сегментам на основе информации, такой как демография или поведение. Идентифицируя эти сегменты, организации лучше понимают, что ищут их клиенты, а также какие сегменты рынка им не удается охватить. Для создания сегментов клиентов на основе поведения часто используются алгоритмы кластеризации, особенно кластеризация k-средних.
- Анализ оттока: Это процесс определения того, насколько быстро клиенты прекращают использование вашего сервиса, и может также включать причины прекращения. Это задача бинарной классификации, для которой используются модели машинного обучения, такие как логистическая регрессия, деревья решений и ансамблевые модели обучения.
- Анализ тональности: Анализ тональности - это процесс определения уровня удовлетворенности клиента продуктом или услугой. Для анализа тональности используются техники текстовой аналитики, которые позволяют анализировать и извлекать полезную информацию из текстовых данных. Для этого используются как алгоритмы машинного обучения, например, метод опорных векторов и наивный байесовский классификатор, так и алгоритмы глубокого обучения, такие как рекуррентные нейронные сети.
- Системы рекомендаций: Система рекомендаций - это модуль, который используется для рекомендации клиентам продуктов или услуг, которые им, вероятно, понравятся. Системы рекомендаций используют подходы, такие как коллаборативная фильтрация и рекомендации на основе контента.
Цены и предложения
Одно из важных соображений, когда организация запускает продукт или услугу, - это уровень цены, по которому он должен предлагаться. У многих организаций есть специализированные команды, которые работают над созданием различных предложений для различных сегментов клиентов, но для улучшения результатов и более быстрого продвижения вперед машинное обучение все чаще используется для создания этих предложений.
Это можно достичь с помощью алгоритмов кластеризации, которые помогают группировать похожие продукты. Например, если страховая компания запускает новый продукт, алгоритм кластеризации может быть применен ко всем продуктам, которые компания предлагает, создавая группы похожих продуктов, одна из которых будет содержать новый продукт. Затем компания может использовать уровни цен продуктов в этой группе, чтобы определить ценообразование нового продукта. Алгоритмы кластеризации также могут использоваться аналогичным образом для создания предложений для конкретных сегментов клиентов.
Одно из важных соображений, когда организация запускает продукт или услугу, - это уровень цены, по которому он должен предлагаться. У многих организаций есть специализированные команды, которые работают над созданием различных предложений для различных сегментов клиентов, но для улучшения результатов и более быстрого продвижения вперед машинное обучение все чаще используется для создания этих предложений.
Это можно достичь с помощью алгоритмов кластеризации, которые помогают группировать похожие продукты. Например, если страховая компания запускает новый продукт, алгоритм кластеризации может быть применен ко всем продуктам, которые компания предлагает, создавая группы похожих продуктов, одна из которых будет содержать новый продукт. Затем компания может использовать уровни цен продуктов в этой группе, чтобы определить ценообразование нового продукта. Алгоритмы кластеризации также могут использоваться аналогичным образом для создания предложений для конкретных сегментов клиентов.
Рассмотрение претензий
Регулирование убытков - это процесс урегулирования, включающий выплату или отказ в выплате убытка, поднятого страхователем. Например, если у кого-то есть страховка на автомобиль и он попадает в аварию, которая приводит к повреждению его автомобиля, он подает заявку на страховку. Представитель страховой компании оценивает заявку и любую поддерживающую документацию, такую как полицейские отчеты, фотографии и информация от их корреспондентов по убыткам.
Если страховая компания находит заявку подлинной, они урегулируют убыток, выплачивая соответствующую сумму, в противном случае они отклоняют ее. Все страховые претензии, независимо от типа страхования, следуют похожему процессу, который исторически осуществляется вручную. Это часто занимает значительное количество времени и имеет высокие финансовые затраты из-за необходимости посещения места убытка.
В последние годы страховые компании обратились к другому решению для урегулирования убытков: компьютерному зрению, которое является разделом глубокого обучения. Многие крупные страховые компании теперь используют дроны, чтобы сделать снимки дома, по которому подана заявка. Затем на изображениях запускаются несколько моделей классификации и обнаружения объектов на основе глубокого обучения, чтобы определить тип и тяжесть повреждений, которые затем используются для обработки претензии.
Одной из таких компаний является Topdanmark, крупная европейская страховая компания. После перехода на платформу данных Domino, Topdanmark смогла использовать техники обработки изображений и естественного языка, чтобы сократить сроки утверждения с четырех дней до нескольких секунд. Модели работают восемьсот раз быстрее, чем люди, и теперь они отвечают за шестьдесят пять процентов всех претензий.
Регулирование убытков - это процесс урегулирования, включающий выплату или отказ в выплате убытка, поднятого страхователем. Например, если у кого-то есть страховка на автомобиль и он попадает в аварию, которая приводит к повреждению его автомобиля, он подает заявку на страховку. Представитель страховой компании оценивает заявку и любую поддерживающую документацию, такую как полицейские отчеты, фотографии и информация от их корреспондентов по убыткам.
Если страховая компания находит заявку подлинной, они урегулируют убыток, выплачивая соответствующую сумму, в противном случае они отклоняют ее. Все страховые претензии, независимо от типа страхования, следуют похожему процессу, который исторически осуществляется вручную. Это часто занимает значительное количество времени и имеет высокие финансовые затраты из-за необходимости посещения места убытка.
В последние годы страховые компании обратились к другому решению для урегулирования убытков: компьютерному зрению, которое является разделом глубокого обучения. Многие крупные страховые компании теперь используют дроны, чтобы сделать снимки дома, по которому подана заявка. Затем на изображениях запускаются несколько моделей классификации и обнаружения объектов на основе глубокого обучения, чтобы определить тип и тяжесть повреждений, которые затем используются для обработки претензии.
Одной из таких компаний является Topdanmark, крупная европейская страховая компания. После перехода на платформу данных Domino, Topdanmark смогла использовать техники обработки изображений и естественного языка, чтобы сократить сроки утверждения с четырех дней до нескольких секунд. Модели работают восемьсот раз быстрее, чем люди, и теперь они отвечают за шестьдесят пять процентов всех претензий.
Выявление случаев мошенничества
Финансовые мошенничества всегда были одной из основных проблем для организаций, связанных с финансами. Согласно докладу ФБР по интернет-преступлениям за 2021 год, только в Соединенных Штатах было подано рекордное количество жалоб на интернет-мошенничество - 847 367, что привело к потере 6,9 миллиарда долларов США. Эти жалобы на мошенничество касались различных тем, включая кредитные карты, возврат кредитов, ложные заявки, кражу личности и подделку документов. Однако случаи интернет-мошенничества - лишь один аспект финансовых мошенничеств. К сожалению, как в онлайн, так и в офлайн сферах финансов и страхования мошенничество является очень распространенным. Некоторые распространенные виды финансовых мошенничеств:
Более современные подходы к обнаружению мошенничества осуществляются с использованием как алгоритмов классификации, так и кластеризации. Компании хотят быть в состоянии выявлять мошенническое использование в реальном времени, что позволяет им предотвращать мошенничество до его совершения.
Одним из самых распространенных видов мошенничества является мошенничество с кредитными картами. Учитывая огромное количество транзакций с кредитными картами, обнаружение мошенничества с кредитными картами - это серьезная проблема. Вероятно, машинное обучение - это оптимальный способ решить такую задачу, и в этом примере вы увидите, что нужно для построения модели машинного обучения для обнаружения мошенничества с кредитными картами. Шаги похожи на создание любой модели машинного обучения: сначала вы читаете набор данных, затем проводите исследовательский анализ данных, а затем чистите данные и создаете признаки. Одна из конкретных проблем, с которой вам нужно справиться, - это балансировка набора данных, вызванная тем, что подавляющее большинство транзакций с кредитными картами являются реальными, в то время как лишь небольшая часть действительно мошенническая.
После того как вы справились с дисбалансом в наборе данных, вы можете приступить к обучению и оценке модели. Как только вы будете удовлетворены результатами, наступит время развернуть модель и использовать ее для обнаружения реальных случаев мошенничества с кредитными картами. В отличие от того, что вы могли бы подумать, процесс не заканчивается здесь. Развернутая модель машинного обучения должна быть постоянно контролируема и регулярно переобучаема, обычно с помощью платформы MLOps.
Финансовые мошенничества всегда были одной из основных проблем для организаций, связанных с финансами. Согласно докладу ФБР по интернет-преступлениям за 2021 год, только в Соединенных Штатах было подано рекордное количество жалоб на интернет-мошенничество - 847 367, что привело к потере 6,9 миллиарда долларов США. Эти жалобы на мошенничество касались различных тем, включая кредитные карты, возврат кредитов, ложные заявки, кражу личности и подделку документов. Однако случаи интернет-мошенничества - лишь один аспект финансовых мошенничеств. К сожалению, как в онлайн, так и в офлайн сферах финансов и страхования мошенничество является очень распространенным. Некоторые распространенные виды финансовых мошенничеств:
- ложные страховые претензии,
- кража личности,
- растрата,
- пирамидальные схемы,
- нечестная бухгалтерия,
- а также множество других все более творческих способов совершения финансовых мошенничеств.
Более современные подходы к обнаружению мошенничества осуществляются с использованием как алгоритмов классификации, так и кластеризации. Компании хотят быть в состоянии выявлять мошенническое использование в реальном времени, что позволяет им предотвращать мошенничество до его совершения.
Одним из самых распространенных видов мошенничества является мошенничество с кредитными картами. Учитывая огромное количество транзакций с кредитными картами, обнаружение мошенничества с кредитными картами - это серьезная проблема. Вероятно, машинное обучение - это оптимальный способ решить такую задачу, и в этом примере вы увидите, что нужно для построения модели машинного обучения для обнаружения мошенничества с кредитными картами. Шаги похожи на создание любой модели машинного обучения: сначала вы читаете набор данных, затем проводите исследовательский анализ данных, а затем чистите данные и создаете признаки. Одна из конкретных проблем, с которой вам нужно справиться, - это балансировка набора данных, вызванная тем, что подавляющее большинство транзакций с кредитными картами являются реальными, в то время как лишь небольшая часть действительно мошенническая.
После того как вы справились с дисбалансом в наборе данных, вы можете приступить к обучению и оценке модели. Как только вы будете удовлетворены результатами, наступит время развернуть модель и использовать ее для обнаружения реальных случаев мошенничества с кредитными картами. В отличие от того, что вы могли бы подумать, процесс не заканчивается здесь. Развернутая модель машинного обучения должна быть постоянно контролируема и регулярно переобучаема, обычно с помощью платформы MLOps.
Экономическое моделирование
Экономика, в которой мы живем, невероятно сложна, в ней участвует огромное количество взаимосвязанных экономических агентов. И чтобы воздействовать или двигать экономику в нужном направлении, сначала нужно ее понять, несмотря на ее сложность. И здесь на помощь приходят модели. Экономическая модель - это просто упрощение реальной экономики. Обычно в модели есть переменная, которую экономическая модель пытается объяснить, а также независимые переменные, которые влияют на эту переменную-результат в какой-то мере, которую мы хотим понять. Технически модель - это математическое представление различных переменных, которое показывает логические и количественные отношения между ними. Это может быть связано с любым бизнесом, хотя наиболее часто используется в финансах и используется для получения бизнес-инсайтов из данных.
Например, если вы хотите прогнозировать темп роста ВВП, вы можете построить модель, где переменная-результат - это сам темп роста ВВП, а независимые переменные - все факторы, которые на него влияют, такие как уверенность потребителя, уровень инфляции, обменные курсы и множество других факторов. Конечно, модель не может прогнозировать темп роста ВВП идеально, но все равно может быть чрезвычайно полезной. Поэтому организации, такие как Всемирный банк, МВФ и Европейская комиссия, регулярно создают такие модели.
Нет стандартных алгоритмов машинного обучения для экономического моделирования, так как необходимые модели сильно различаются в зависимости от организации и типа данных, которыми они располагают. Однако некоторые практически универсальные шаги - это предварительная обработка данных и создание признаков, которые могут многое рассказать о данных. Обработанные данные затем могут использоваться любым алгоритмом машинного обучения для выполнения любой задачи, которую требует организация.
Финансовое моделирование тесно связано с финансовыми моделями, которые являются упрощением реальных сценариев в финансах. Финансовые модели незаменимы для любого серьезного финансового института, и они являются основой всей финансовой отрасли. Поэтому повышение эффективности процесса разработки моделей чрезвычайно важно для финансового учреждения. Одним из способов сделать это является использование платформы, такой как Domino Data Science Platform. Используя эту платформу, Moody's Analytics, лидер в области финансового моделирования, повысили эффективность разработки моделей, сократили цикл разработки модели от девяти до четырех месяцев и смогли быстрее внедрить модели в производство.
Экономика, в которой мы живем, невероятно сложна, в ней участвует огромное количество взаимосвязанных экономических агентов. И чтобы воздействовать или двигать экономику в нужном направлении, сначала нужно ее понять, несмотря на ее сложность. И здесь на помощь приходят модели. Экономическая модель - это просто упрощение реальной экономики. Обычно в модели есть переменная, которую экономическая модель пытается объяснить, а также независимые переменные, которые влияют на эту переменную-результат в какой-то мере, которую мы хотим понять. Технически модель - это математическое представление различных переменных, которое показывает логические и количественные отношения между ними. Это может быть связано с любым бизнесом, хотя наиболее часто используется в финансах и используется для получения бизнес-инсайтов из данных.
Например, если вы хотите прогнозировать темп роста ВВП, вы можете построить модель, где переменная-результат - это сам темп роста ВВП, а независимые переменные - все факторы, которые на него влияют, такие как уверенность потребителя, уровень инфляции, обменные курсы и множество других факторов. Конечно, модель не может прогнозировать темп роста ВВП идеально, но все равно может быть чрезвычайно полезной. Поэтому организации, такие как Всемирный банк, МВФ и Европейская комиссия, регулярно создают такие модели.
Нет стандартных алгоритмов машинного обучения для экономического моделирования, так как необходимые модели сильно различаются в зависимости от организации и типа данных, которыми они располагают. Однако некоторые практически универсальные шаги - это предварительная обработка данных и создание признаков, которые могут многое рассказать о данных. Обработанные данные затем могут использоваться любым алгоритмом машинного обучения для выполнения любой задачи, которую требует организация.
Финансовое моделирование тесно связано с финансовыми моделями, которые являются упрощением реальных сценариев в финансах. Финансовые модели незаменимы для любого серьезного финансового института, и они являются основой всей финансовой отрасли. Поэтому повышение эффективности процесса разработки моделей чрезвычайно важно для финансового учреждения. Одним из способов сделать это является использование платформы, такой как Domino Data Science Platform. Используя эту платформу, Moody's Analytics, лидер в области финансового моделирования, повысили эффективность разработки моделей, сократили цикл разработки модели от девяти до четырех месяцев и смогли быстрее внедрить модели в производство.
Торговля
В финансах торговля - это использование денег для покупки или продажи акций компании. На фондовом рынке каждый день покупают и продают различные акции, и машинное обучение здесь также делает свой вклад. Из-за природы глобальной экономики, которая сильно зависит от непредсказуемых политических и природных событий, ни одна модель не может предсказать каждое колебание рынка. Однако они могут дать вам индикации о движениях рынка.
Торговля обычно зависит от времени и классифицируется как анализ временных рядов. Существуют различные решения на основе машинного обучения, такие как модели прогнозирования на основе метода опорных векторов и модели прогнозирования на основе случайного леса, которые часто используются в анализе рынка. Эти модели иногда показывают неудовлетворительные результаты в реальных ситуациях с внезапными изменениями рынка, поскольку они делают прогнозы, зависящие от времени, исключительно на основе прошлых данных.
Более эффективным решением является то, которое может обрабатывать огромное количество данных, а также обрабатывать новости и другие события, которые могут повлиять на рынок. По этой причине модели рекуррентных нейронных сетей (RNN) обычно предпочтительны, поскольку они могут обрабатывать текстовые данные и моделировать функции, зависящие от времени.
Как и во многих финансовых приложениях, машинное обучение все чаще используется в разработке торговых стратегий. Совместно с алгоритмической торговлей машинное обучение может создавать действительно мощные торговые модели.
Алгоритмическая торговля - это написание программы, которая будет следовать определенным инструкциям о том, когда покупать или продавать ценные бумаги на рынке. Она используется десятилетиями, исторически с ручно написанным набором инструкций. Однако машинное обучение все чаще используется для получения этого набора инструкций, включая инструкции о том, следует ли покупать или продавать, ценовые точки, когда актив переоценен или недооценен, сколько ценных бумаг следует покупать или продавать в определенной ситуации, и другие важные инструкции для торговли.
В процессе разработки и внедрения торговых стратегий платформа MLOps, такая как Domino, практически является необходимой. Например, Coatue Management, глобальный инвестиционный менеджер, использует Domino для улучшения своего процесса инвестиционного исследования. Платформа Domino позволила Coatue увеличить свою производительность, достичь значительных операционных сбережений, ускорить цикл исследований и развернуть модели в производство.
В финансах торговля - это использование денег для покупки или продажи акций компании. На фондовом рынке каждый день покупают и продают различные акции, и машинное обучение здесь также делает свой вклад. Из-за природы глобальной экономики, которая сильно зависит от непредсказуемых политических и природных событий, ни одна модель не может предсказать каждое колебание рынка. Однако они могут дать вам индикации о движениях рынка.
Торговля обычно зависит от времени и классифицируется как анализ временных рядов. Существуют различные решения на основе машинного обучения, такие как модели прогнозирования на основе метода опорных векторов и модели прогнозирования на основе случайного леса, которые часто используются в анализе рынка. Эти модели иногда показывают неудовлетворительные результаты в реальных ситуациях с внезапными изменениями рынка, поскольку они делают прогнозы, зависящие от времени, исключительно на основе прошлых данных.
Более эффективным решением является то, которое может обрабатывать огромное количество данных, а также обрабатывать новости и другие события, которые могут повлиять на рынок. По этой причине модели рекуррентных нейронных сетей (RNN) обычно предпочтительны, поскольку они могут обрабатывать текстовые данные и моделировать функции, зависящие от времени.
Как и во многих финансовых приложениях, машинное обучение все чаще используется в разработке торговых стратегий. Совместно с алгоритмической торговлей машинное обучение может создавать действительно мощные торговые модели.
Алгоритмическая торговля - это написание программы, которая будет следовать определенным инструкциям о том, когда покупать или продавать ценные бумаги на рынке. Она используется десятилетиями, исторически с ручно написанным набором инструкций. Однако машинное обучение все чаще используется для получения этого набора инструкций, включая инструкции о том, следует ли покупать или продавать, ценовые точки, когда актив переоценен или недооценен, сколько ценных бумаг следует покупать или продавать в определенной ситуации, и другие важные инструкции для торговли.
В процессе разработки и внедрения торговых стратегий платформа MLOps, такая как Domino, практически является необходимой. Например, Coatue Management, глобальный инвестиционный менеджер, использует Domino для улучшения своего процесса инвестиционного исследования. Платформа Domino позволила Coatue увеличить свою производительность, достичь значительных операционных сбережений, ускорить цикл исследований и развернуть модели в производство.
Создание новой продукции
Этот случай использования сейчас активно изучается во многих отраслях. Используя информацию о предыдущих продуктах, организации применяют машинное обучение для создания новых продуктов. Прекрасным примером этого может быть создание новых страховых полисов для клиентов на основе их географической информации.
Машинное обучение может быть использовано для улучшения многих этапов процесса разработки продукта. С помощью моделей машинного обучения компании могут выявить потребности в новых продуктах. Даже простой анализ отзывов клиентов с использованием обработки естественного языка может дать компаниям идеи для новых продуктов, улучшений существующих продуктов или способов улучшения своего бизнеса. Кроме того, помимо выявления новых идей для продуктов, машинное обучение также может помочь в разработке концепции новых продуктов.
Этот случай использования сейчас активно изучается во многих отраслях. Используя информацию о предыдущих продуктах, организации применяют машинное обучение для создания новых продуктов. Прекрасным примером этого может быть создание новых страховых полисов для клиентов на основе их географической информации.
Машинное обучение может быть использовано для улучшения многих этапов процесса разработки продукта. С помощью моделей машинного обучения компании могут выявить потребности в новых продуктах. Даже простой анализ отзывов клиентов с использованием обработки естественного языка может дать компаниям идеи для новых продуктов, улучшений существующих продуктов или способов улучшения своего бизнеса. Кроме того, помимо выявления новых идей для продуктов, машинное обучение также может помочь в разработке концепции новых продуктов.
Эффективность производства
Машинное обучение помогает компаниям оптимизировать многие задачи, позволяя им улучшить опыт клиентов и сотрудников, а также повысить эффективность своей деятельности. Возьмем банковскую индустрию в качестве примера: только в последние годы такие задачи, как открытие счетов, просмотр деталей транзакций и подача заявок на кредиты, могут быть выполнены практически мгновенно онлайн, а не через прямой разговор с кем-то и ожидание ответа. С помощью передовых технологий, таких как машинное обучение и глубокое обучение, все эти вещи выполняются онлайн очень эффективно.
Не существует заранее определенной модели машинного обучения, которая бы работала для повышения операционной эффективности в различных отраслях, но почти все алгоритмы в конечном итоге повышают эффективность. Например, в финансовом секторе был адаптирован процесс онлайн-регистрации и верификации пользователей. В этих процессах пользователь предоставляет селфи и свой идентификационный документ, а затем используются алгоритмы, такие как оптическое распознавание символов, голосовое распознавание и сопоставление лиц, для проверки информации о пользователе. Обычно нейронные сети, такие как CNN и RNN, являются основой этого процесса верификации пользователей, в то время как другие обученные и необученные алгоритмы используются для помощи организациям в улучшении их существующих решений.
Машинное обучение помогает компаниям оптимизировать многие задачи, позволяя им улучшить опыт клиентов и сотрудников, а также повысить эффективность своей деятельности. Возьмем банковскую индустрию в качестве примера: только в последние годы такие задачи, как открытие счетов, просмотр деталей транзакций и подача заявок на кредиты, могут быть выполнены практически мгновенно онлайн, а не через прямой разговор с кем-то и ожидание ответа. С помощью передовых технологий, таких как машинное обучение и глубокое обучение, все эти вещи выполняются онлайн очень эффективно.
Не существует заранее определенной модели машинного обучения, которая бы работала для повышения операционной эффективности в различных отраслях, но почти все алгоритмы в конечном итоге повышают эффективность. Например, в финансовом секторе был адаптирован процесс онлайн-регистрации и верификации пользователей. В этих процессах пользователь предоставляет селфи и свой идентификационный документ, а затем используются алгоритмы, такие как оптическое распознавание символов, голосовое распознавание и сопоставление лиц, для проверки информации о пользователе. Обычно нейронные сети, такие как CNN и RNN, являются основой этого процесса верификации пользователей, в то время как другие обученные и необученные алгоритмы используются для помощи организациям в улучшении их существующих решений.
Страховой андеррайтинг
В страховании андеррайтинг - это процесс определения риска, связанного с бизнесом, который будет застрахован. Страховщик анализирует эти риски, затем определяет стоимость страхового полиса для бизнеса. Как и многие задачи, о которых говорится в этой статье, это было когда-то ручным процессом, но страховые компании теперь полагаются на технологии на основе машинного обучения и глубокого обучения, чтобы улучшить процесс андеррайтинга.
Машинное обучение имеет три основных применения в области андеррайтинга. Первое - анализ риска возникновения у кого-то убытка. В случаях анализа риска убытков компании пытаются определить вероятность того, что страхователь подаст убытковый иск. Обычно это приводит к задаче бинарной классификации, где положительный класс означает вероятность подачи иска, а отрицательный класс представляет клиента, который скорее всего не подаст иск. Второе применение - определение серьезности инцидента. Это задача классификации с несколькими классами, такими как низкая, средняя и высокая. Серьезность влияет на сумму, которую выплатит страховка по иску. Наконец, машинное обучение используется для создания страховых котировок на основе профиля клиента. Это комбинация бизнес-правил, которые включают в себя результаты нескольких алгоритмов обучения с учителем, таких как классификация, кластеризация и анализ оттока.
В страховании андеррайтинг - это процесс определения риска, связанного с бизнесом, который будет застрахован. Страховщик анализирует эти риски, затем определяет стоимость страхового полиса для бизнеса. Как и многие задачи, о которых говорится в этой статье, это было когда-то ручным процессом, но страховые компании теперь полагаются на технологии на основе машинного обучения и глубокого обучения, чтобы улучшить процесс андеррайтинга.
Машинное обучение имеет три основных применения в области андеррайтинга. Первое - анализ риска возникновения у кого-то убытка. В случаях анализа риска убытков компании пытаются определить вероятность того, что страхователь подаст убытковый иск. Обычно это приводит к задаче бинарной классификации, где положительный класс означает вероятность подачи иска, а отрицательный класс представляет клиента, который скорее всего не подаст иск. Второе применение - определение серьезности инцидента. Это задача классификации с несколькими классами, такими как низкая, средняя и высокая. Серьезность влияет на сумму, которую выплатит страховка по иску. Наконец, машинное обучение используется для создания страховых котировок на основе профиля клиента. Это комбинация бизнес-правил, которые включают в себя результаты нескольких алгоритмов обучения с учителем, таких как классификация, кластеризация и анализ оттока.
Проблемы использования ML и DL в финансовых услугах
Проблемы машинного обучения обычно связаны с такими вещами, как плохая производительность модели, недостаточная подготовка признаков, принятие пользователем и/или плохие данные. В финансах у нас не только есть эти проблемы, но также есть дополнительные вызовы, которые необходимо решить.
Нормативно-правовые требования
Финансовый сектор сильно регулируется, и существует много законов, которые управляют сбором, хранением и использованием данных; практикой кредитования; и правами потребителей. Независимо от того, принимаются ли решения вручную или автоматически, эти требования должны строго соблюдаться.
Одно из общих регулятивных требований заключается в том, что банки и другие финансовые учреждения должны иметь возможность объяснить потребителю, как было принято решение — другими словами, учреждение должно иметь возможность указать конкретные основные причины, по которым кредит был отклонен или процентная ставка увеличена. Это может создать проблемы в использовании сложных многоуровневых нейронных сетей с точки зрения соответствия регулятивным требованиям, поскольку увеличение сложности моделей может затруднить выявление конкретных факторов, влияющих на результат.
Еще одно ключевое регулятивное требование заключается в том, что финансовые учреждения должны иметь возможность воспроизвести результаты любой модели. Для этого все факторы, влияющие на результаты модели (такие как данные, код и любые используемые инструменты), должны быть задокументированы. Однако модели машинного обучения могут быть крайне сложными, с многочисленными элементами, влияющими на результаты модели. Из-за этого задокументировать разработку модели практически невозможно без соответствующей системы.
Именно здесь приходит на помощь платформа MLOps (такая как корпоративная платформа MLOps от Domino). Она включает мощный механизм воспроизводимости, который автоматически отслеживает изменения в коде, данных или инструментах. Это делает легким для организаций быстрое воспроизведение результатов модели в тот момент, когда это необходимо. Allstate, ведущая страховая компания, успешно использует платформу MLOps от Domino для документирования и воспроизведения работы как для исследовательских, так и для аудиторских целей. Перед переходом на платформу Domino у Allstate уходили месяцы на воссоздание существующих моделей и ответы на вопросы от регуляторов.
Финансовый сектор сильно регулируется, и существует много законов, которые управляют сбором, хранением и использованием данных; практикой кредитования; и правами потребителей. Независимо от того, принимаются ли решения вручную или автоматически, эти требования должны строго соблюдаться.
Одно из общих регулятивных требований заключается в том, что банки и другие финансовые учреждения должны иметь возможность объяснить потребителю, как было принято решение — другими словами, учреждение должно иметь возможность указать конкретные основные причины, по которым кредит был отклонен или процентная ставка увеличена. Это может создать проблемы в использовании сложных многоуровневых нейронных сетей с точки зрения соответствия регулятивным требованиям, поскольку увеличение сложности моделей может затруднить выявление конкретных факторов, влияющих на результат.
Еще одно ключевое регулятивное требование заключается в том, что финансовые учреждения должны иметь возможность воспроизвести результаты любой модели. Для этого все факторы, влияющие на результаты модели (такие как данные, код и любые используемые инструменты), должны быть задокументированы. Однако модели машинного обучения могут быть крайне сложными, с многочисленными элементами, влияющими на результаты модели. Из-за этого задокументировать разработку модели практически невозможно без соответствующей системы.
Именно здесь приходит на помощь платформа MLOps (такая как корпоративная платформа MLOps от Domino). Она включает мощный механизм воспроизводимости, который автоматически отслеживает изменения в коде, данных или инструментах. Это делает легким для организаций быстрое воспроизведение результатов модели в тот момент, когда это необходимо. Allstate, ведущая страховая компания, успешно использует платформу MLOps от Domino для документирования и воспроизведения работы как для исследовательских, так и для аудиторских целей. Перед переходом на платформу Domino у Allstate уходили месяцы на воссоздание существующих моделей и ответы на вопросы от регуляторов.
Предвзятое отношение
Законы о предотвращении дискриминации и другие права потребителей должны быть учтены и встроены в вашу модель с самого начала. В Соединенных Штатах действует Закон о равных возможностях в кредитовании, который делает незаконным дискриминацию по ряду личных характеристик; в Европейском союзе Общий регламент о защите данных (GDPR) создает юридическую обязанность для кредиторов иметь механизмы, которые обеспечат отсутствие предвзятости в их моделях. Хотя относительно легко гарантировать, что ваша модель не учитывает, например, расу или пол при оценке клиента, также важно обеспечить, чтобы она не учитывала вещи, которые могут быть заменителями для этих классов, такие как проживание в определенном районе или посещение определенной школы. Модели должны быть тщательно протестированы, чтобы гарантировать, что они не вносят незаконную предвзятость в процесс принятия решений.
Возможная дискриминация или предвзятость, которую могут принести модели машинного обучения, создает репутационные риски для финансовых учреждений. Даже некоторые из крупнейших компаний в мире подверглись общественному и регуляторному вниманию из-за дискриминационных моделей. Один из примеров - это кредитная карта Apple, запущенная в 2019 году. Однако вскоре после ее запуска пользователи отметили, что модель была сексистской. Женщинам были назначены более низкие кредитные лимиты по сравнению с мужчинами, даже в случаях, когда у них был более высокий кредитный рейтинг и доход. Еще один печально известный пример - это модель Amazon, используемая для найма сотрудников, которая позже была признана сильно предвзятой против женщин. Модель обучалась на исторических данных, в которых резюме, представленные мужчинами, значительно превышали те, которые были представлены женщинами. Модель улавливала эту предвзятость и училась предпочитать мужские кандидаты.
Законы о предотвращении дискриминации и другие права потребителей должны быть учтены и встроены в вашу модель с самого начала. В Соединенных Штатах действует Закон о равных возможностях в кредитовании, который делает незаконным дискриминацию по ряду личных характеристик; в Европейском союзе Общий регламент о защите данных (GDPR) создает юридическую обязанность для кредиторов иметь механизмы, которые обеспечат отсутствие предвзятости в их моделях. Хотя относительно легко гарантировать, что ваша модель не учитывает, например, расу или пол при оценке клиента, также важно обеспечить, чтобы она не учитывала вещи, которые могут быть заменителями для этих классов, такие как проживание в определенном районе или посещение определенной школы. Модели должны быть тщательно протестированы, чтобы гарантировать, что они не вносят незаконную предвзятость в процесс принятия решений.
Возможная дискриминация или предвзятость, которую могут принести модели машинного обучения, создает репутационные риски для финансовых учреждений. Даже некоторые из крупнейших компаний в мире подверглись общественному и регуляторному вниманию из-за дискриминационных моделей. Один из примеров - это кредитная карта Apple, запущенная в 2019 году. Однако вскоре после ее запуска пользователи отметили, что модель была сексистской. Женщинам были назначены более низкие кредитные лимиты по сравнению с мужчинами, даже в случаях, когда у них был более высокий кредитный рейтинг и доход. Еще один печально известный пример - это модель Amazon, используемая для найма сотрудников, которая позже была признана сильно предвзятой против женщин. Модель обучалась на исторических данных, в которых резюме, представленные мужчинами, значительно превышали те, которые были представлены женщинами. Модель улавливала эту предвзятость и училась предпочитать мужские кандидаты.
Доступ к данным и управление
Использование данных в финансовых услугах имеет несколько осложнений, которые менее распространены в других отраслях. Финансовые учреждения часто хранят данные по продуктам отдельно, что затрудняет предоставление моделям полных наборов данных. Кроме того, существуют обширные регуляции, которые регулируют хранение, использование и доступ к этим данным, хотя объем и строгость этих регуляций различаются в зависимости от страны.
В финансовых услугах важно гарантировать точность, актуальность, чистоту, отсутствие предвзятости, полное представительство населения и соответствие регуляциям по локализации данных. Несоблюдение этого может привести не только к неточной модели, но и к обвинениям против вашей компании и крупным штрафам от финансовых регуляторов. Что касается штрафов, связанных с данными, многие из них вызваны нарушениями данных. Однако в соответствии с Законом о справедливой кредитной отчетности финансовые учреждения также могут подвергаться штрафам из-за неспособности объяснить результаты модели, например, неспособности объяснить, почему заявка на кредит была отклонена.
Из-за чрезвычайно чувствительной природы финансовых данных также важно — и часто законодательно обязательно — ограничивать доступ к данным. Команды по работе с данными должны работать с анонимизированными данными всегда, и следует обеспечить, чтобы конфиденциальность потребителей оставалась главным образом во время всего процесса.
Использование данных в финансовых услугах имеет несколько осложнений, которые менее распространены в других отраслях. Финансовые учреждения часто хранят данные по продуктам отдельно, что затрудняет предоставление моделям полных наборов данных. Кроме того, существуют обширные регуляции, которые регулируют хранение, использование и доступ к этим данным, хотя объем и строгость этих регуляций различаются в зависимости от страны.
В финансовых услугах важно гарантировать точность, актуальность, чистоту, отсутствие предвзятости, полное представительство населения и соответствие регуляциям по локализации данных. Несоблюдение этого может привести не только к неточной модели, но и к обвинениям против вашей компании и крупным штрафам от финансовых регуляторов. Что касается штрафов, связанных с данными, многие из них вызваны нарушениями данных. Однако в соответствии с Законом о справедливой кредитной отчетности финансовые учреждения также могут подвергаться штрафам из-за неспособности объяснить результаты модели, например, неспособности объяснить, почему заявка на кредит была отклонена.
Из-за чрезвычайно чувствительной природы финансовых данных также важно — и часто законодательно обязательно — ограничивать доступ к данным. Команды по работе с данными должны работать с анонимизированными данными всегда, и следует обеспечить, чтобы конфиденциальность потребителей оставалась главным образом во время всего процесса.
Унаследованные технологии
Бывают ситуации, когда нужно создавать не одну модель, а несколько моделей, которые зависят друг от друга. В этом случае есть два основных вопроса: один касается общей точности системы, а другой - как соединить различные процессы. Для успешного обучения моделей машинного обучения и глубокого обучения может потребоваться обширная аппаратная архитектура, и у старых систем часто нет гибкости для обработки данных или требований к развертыванию.
Бывают ситуации, когда нужно создавать не одну модель, а несколько моделей, которые зависят друг от друга. В этом случае есть два основных вопроса: один касается общей точности системы, а другой - как соединить различные процессы. Для успешного обучения моделей машинного обучения и глубокого обучения может потребоваться обширная аппаратная архитектура, и у старых систем часто нет гибкости для обработки данных или требований к развертыванию.
Управление модельными рисками
Сегодня финансовые учреждения тяжело полагаются на модели. Банки, страховые компании и другие финансовые учреждения могут иметь сотни или даже тысячи моделей в производстве в любое время, и этот номер значительно увеличивается с каждым годом. И это не только количество моделей, которое продолжает расти, но и их сложность увеличивается, с появлением ведущих методов машинного обучения и глубокого обучения.
Высокое количество и сложность моделей, используемых в финансовых учреждениях, создают множество рисков, поскольку любая из этих моделей, работающая не так, как должна, может причинить значительный ущерб учреждению. Риски могут возникать из-за неполадок в самих моделях, а также из-за неправильного использования верных моделей. В любом случае, дефектные модели или их неправильное использование могут создать заметные проблемы, такие как финансовые убытки или плохие бизнес-решения. Одним из известных примеров является JP Morgan, который в 2012 году потерпел убытки свыше 6 миллиардов долларов из-за ошибок в моделях. Дефектные модели также сыграли важную роль в финансовом кризисе 2007-2008 годов.
Поскольку риски, связанные с использованием моделей, могут быть значительными, возникает необходимость в рамочной структуре, которая управляет этими рисками. И вот тут на помощь приходит управление рисками моделей. Рамочные структуры управления рисками моделей включают в себя мониторинг рисков, возникающих из-за потенциально неполадок в моделях или неправильного использования верных моделей. Такая структура необходима как для соблюдения строгих регуляторных требований, так и для минимизации убытков, которые могут возникнуть из-за сбоев в моделях. Каждое финансовое учреждение, которое использует количественные модели для принятия решений, должно иметь надежную рамочную структуру управления рисками моделей, чтобы контролировать риски, связанные с моделями.
Лучший способ реализации рамочной структуры управления рисками моделей - это с помощью платформы MLOps. MLOps включает в себя разработку, развертывание и мониторинг моделей машинного обучения в производстве наиболее эффективным способом и является ключевым для масштабирования сложных процессов анализа данных.
Управление моделями
Управление моделями - это структура, с помощью которой финансовые учреждения пытаются минимизировать риски моделей, о которых было сказано выше. Это часть более крупной рамочной структуры управления рисками моделей. Управление моделями охватывает ряд процессов, связанных с моделью, от ее начала до использования в производстве.
Процессы управления моделями начинаются еще до разработки модели, определяя людей, которые должны работать над моделью, и их роли в ней. Во время разработки модели должны быть зарегистрированы все версии. И когда модель развертывается, управление моделями должно гарантировать, что она работает правильно и не подвержена изменениям данных или концепции. Большинство этих процессов будут обрабатываться платформой MLOps.
Наличие сильной рамочной структуры управления моделями в финансовом учреждении максимизирует качество и эффективность моделей, одновременно минимизируя их риски. Когда модель не работает так, как ожидалось, хорошая рамочная структура управления моделями должна быстро это распознать. Она также должна решать проблемы использования машинного обучения в финансах, такие как опасения о предвзятости и соблюдение регуляторных требований.
Многие компании используют платформу MLOps Domino в своей рамочной структуре управления моделями. Например, DBRS, одно из четырех крупнейших агентств по кредитным рейтингам, развернуло Domino в качестве центральной платформы для всех своих проектов с данными после оценки возможностей управления Domino. Другой пример - это крупный страховщик из списка Fortune 500, который выигрывает от автоматического отслеживания и полной воспроизводимости экспериментов, наборов данных, инструментов и сред, которые предлагает платформа Domino Enterprise MLOps.
Проверка модели
Проверка модели - это ключевая часть рамочной структуры управления рисками моделей. Она заключается в том, чтобы гарантировать, что модели работают так, как ожидалось, и что они решают те проблемы, для которых они были предназначены. Проверка модели выполняется после того, как модель обучена, но перед тем, как она будет внедрена в производство. Однако проверка не заканчивается там. Модель также проверяется сразу после ее развертывания, чтобы гарантировать, что она работает так, как должна, в производстве. После этого проверка модели на соответствие ожидаемому стандарту должна проводиться регулярно, пока модель находится в производстве. Проверка модели должна проводиться командой, отличной от команды, которая обучила модель, чтобы результаты не были предвзятыми.
Развертывание и мониторинг моделей
Создание, развертывание и мониторинг моделей машинного и глубокого обучения - это очень техническая и детализированная работа, которую невозможно выполнять в масштабе с помощью ручных процессов. Платформа Enterprise MLOps Domino Data Lab разработана для помощи командам анализа данных в улучшении скорости, качества и влияния анализа данных в масштабе. Domino открыт и гибок, давая профессиональным аналитикам данных возможность использовать предпочитаемые инструменты и инфраструктуру. Модели анализа данных быстро попадают в производство и поддерживаются на высоком уровне производительности с интегрированными рабочими процессами. Domino также обеспечивает безопасность, управление и соответствие требованиям регулирования, которые ожидаются от высоко регулируемых предприятий.
Эти возможности помогают финансовым учреждениям создавать решения, основанные на моделях, для таких сценариев использования, как:
Сегодня финансовые учреждения тяжело полагаются на модели. Банки, страховые компании и другие финансовые учреждения могут иметь сотни или даже тысячи моделей в производстве в любое время, и этот номер значительно увеличивается с каждым годом. И это не только количество моделей, которое продолжает расти, но и их сложность увеличивается, с появлением ведущих методов машинного обучения и глубокого обучения.
Высокое количество и сложность моделей, используемых в финансовых учреждениях, создают множество рисков, поскольку любая из этих моделей, работающая не так, как должна, может причинить значительный ущерб учреждению. Риски могут возникать из-за неполадок в самих моделях, а также из-за неправильного использования верных моделей. В любом случае, дефектные модели или их неправильное использование могут создать заметные проблемы, такие как финансовые убытки или плохие бизнес-решения. Одним из известных примеров является JP Morgan, который в 2012 году потерпел убытки свыше 6 миллиардов долларов из-за ошибок в моделях. Дефектные модели также сыграли важную роль в финансовом кризисе 2007-2008 годов.
Поскольку риски, связанные с использованием моделей, могут быть значительными, возникает необходимость в рамочной структуре, которая управляет этими рисками. И вот тут на помощь приходит управление рисками моделей. Рамочные структуры управления рисками моделей включают в себя мониторинг рисков, возникающих из-за потенциально неполадок в моделях или неправильного использования верных моделей. Такая структура необходима как для соблюдения строгих регуляторных требований, так и для минимизации убытков, которые могут возникнуть из-за сбоев в моделях. Каждое финансовое учреждение, которое использует количественные модели для принятия решений, должно иметь надежную рамочную структуру управления рисками моделей, чтобы контролировать риски, связанные с моделями.
Лучший способ реализации рамочной структуры управления рисками моделей - это с помощью платформы MLOps. MLOps включает в себя разработку, развертывание и мониторинг моделей машинного обучения в производстве наиболее эффективным способом и является ключевым для масштабирования сложных процессов анализа данных.
Управление моделями
Управление моделями - это структура, с помощью которой финансовые учреждения пытаются минимизировать риски моделей, о которых было сказано выше. Это часть более крупной рамочной структуры управления рисками моделей. Управление моделями охватывает ряд процессов, связанных с моделью, от ее начала до использования в производстве.
Процессы управления моделями начинаются еще до разработки модели, определяя людей, которые должны работать над моделью, и их роли в ней. Во время разработки модели должны быть зарегистрированы все версии. И когда модель развертывается, управление моделями должно гарантировать, что она работает правильно и не подвержена изменениям данных или концепции. Большинство этих процессов будут обрабатываться платформой MLOps.
Наличие сильной рамочной структуры управления моделями в финансовом учреждении максимизирует качество и эффективность моделей, одновременно минимизируя их риски. Когда модель не работает так, как ожидалось, хорошая рамочная структура управления моделями должна быстро это распознать. Она также должна решать проблемы использования машинного обучения в финансах, такие как опасения о предвзятости и соблюдение регуляторных требований.
Многие компании используют платформу MLOps Domino в своей рамочной структуре управления моделями. Например, DBRS, одно из четырех крупнейших агентств по кредитным рейтингам, развернуло Domino в качестве центральной платформы для всех своих проектов с данными после оценки возможностей управления Domino. Другой пример - это крупный страховщик из списка Fortune 500, который выигрывает от автоматического отслеживания и полной воспроизводимости экспериментов, наборов данных, инструментов и сред, которые предлагает платформа Domino Enterprise MLOps.
Проверка модели
Проверка модели - это ключевая часть рамочной структуры управления рисками моделей. Она заключается в том, чтобы гарантировать, что модели работают так, как ожидалось, и что они решают те проблемы, для которых они были предназначены. Проверка модели выполняется после того, как модель обучена, но перед тем, как она будет внедрена в производство. Однако проверка не заканчивается там. Модель также проверяется сразу после ее развертывания, чтобы гарантировать, что она работает так, как должна, в производстве. После этого проверка модели на соответствие ожидаемому стандарту должна проводиться регулярно, пока модель находится в производстве. Проверка модели должна проводиться командой, отличной от команды, которая обучила модель, чтобы результаты не были предвзятыми.
Развертывание и мониторинг моделей
Создание, развертывание и мониторинг моделей машинного и глубокого обучения - это очень техническая и детализированная работа, которую невозможно выполнять в масштабе с помощью ручных процессов. Платформа Enterprise MLOps Domino Data Lab разработана для помощи командам анализа данных в улучшении скорости, качества и влияния анализа данных в масштабе. Domino открыт и гибок, давая профессиональным аналитикам данных возможность использовать предпочитаемые инструменты и инфраструктуру. Модели анализа данных быстро попадают в производство и поддерживаются на высоком уровне производительности с интегрированными рабочими процессами. Domino также обеспечивает безопасность, управление и соответствие требованиям регулирования, которые ожидаются от высоко регулируемых предприятий.
Эти возможности помогают финансовым учреждениям создавать решения, основанные на моделях, для таких сценариев использования, как:
- Андеррайтинг и финансовая оценка: Domino помогает страховым компаниям, включая мировых лидеров Fortune 500, выявлять, тестировать и управлять рисками во всем портфеле, включая андеррайтинг, ценообразование, обнаружение мошенничества и соблюдение законодательства.
- Обнаружение мошенничества: Domino помогает создать различные классификационные и компьютерные решения на основе компьютерного зрения для выявления мошенничества в банковской и страховой сферах. Это может помочь организациям выявлять мошеннические заявления или транзакции и сообщать о них во время работы. Даже ведущий страховщик Fortune 500 смог улучшить выявление мошенничества, управление рисками и существенно сократить время цикла, используя платформу Domino.
- Персонализация: Domino поможет вам эффективно анализировать данные о людях, на основе которых вы можете создавать различные персонализированные предложения и продукты для разных клиентов. Gap использовал Domino, чтобы увеличить вовлеченность клиентов, предлагая им более персонализированные впечатления.
Вывод
В этой статье вы узнали о том, как машинное обучение и глубокое обучение помогают бизнесу в финансовой сфере улучшать существующие решения или создавать новые. Финансовая сфера, будучи высоко регулируемой и имеющей большие ставки, особенно уязвима к маленьким ошибкам в моделях, которые могут привести к огромным последствиям.
Получите оценку проекта
Нажимая на кнопку, вы даете согласие на обработку персональных данных и соглашаетесь c политикой конфиденциальности
Оцените свой проект! Заполните форму ниже
Похожие статьи