Типы продуктов, управляемых ML, и способы их создания
Продукты на основе машинного обучения требуют ясных ожиданий, алгоритмического обучения, учета стоимости ошибок и коммуникации с пользователем. Несмотря на сложности, они революционизируют дизайн и оправдывают затраченные усилия
Создание продуктов, использующих машинное обучение или искусственный интеллект, влечет за собой значительные сложности. Это отличается от создания традиционных продуктов.
Продукты, основанные на искусственном интеллекте, неопределенны - они делают ошибки и ведут себя по-разному в кажущихся одинаковых ситуациях, что непривычно для пользователей. Они также могут делать рекомендации, с которыми пользователь не согласен или которые он не ожидал. Это не только риск для пользователя - он может решить игнорировать все функции искусственного интеллекта в результате - но и может привести к такому опыту, который заставит пользователя отказаться от повторного использования продукта.
В этой статье мы рассмотрим три основных типа продуктов, основанных на машинном обучении, и предложим пять аспектов дизайна для менеджеров продуктов на основе машинного обучения.
Продукты, основанные на искусственном интеллекте, неопределенны - они делают ошибки и ведут себя по-разному в кажущихся одинаковых ситуациях, что непривычно для пользователей. Они также могут делать рекомендации, с которыми пользователь не согласен или которые он не ожидал. Это не только риск для пользователя - он может решить игнорировать все функции искусственного интеллекта в результате - но и может привести к такому опыту, который заставит пользователя отказаться от повторного использования продукта.
В этой статье мы рассмотрим три основных типа продуктов, основанных на машинном обучении, и предложим пять аспектов дизайна для менеджеров продуктов на основе машинного обучения.
Типы продуктов, управляемых ML
Существуют три типа продуктов, основанных на машинном обучении: те, что делают "магию", те, что проводят анализ, и те, что автоматизируют. Важно знать разницу между ними.
"Магия"
Продукты, которые делают "магию", это продукты, управляемые машинным обучением, которые лишены четких требований, и владельцы продукта просто говорят: "Мы применяем искусственный интеллект, и он дает нам решение". Эти продукты предполагают, что машинное обучение сгенерирует волшебные, особые идеи, которые никто другой не может создать. Менеджеры продукта, создающие такие продукты, предполагают, что им просто нужно передать данные системе и получить идеи, результаты и рекомендации.
Это обычно означает, что команда продукта не знакома с тем, что может сделать искусственный интеллект или машинное обучение, и надеется на чудо. Если это ваш продукт, то остановитесь прямо сейчас и не создавайте его. Это место, где продукты искусственного интеллекта потерпят полное крах, потому что проблема слишком размыта и плохо определена, чтобы иметь реалистичное решение. Это идеальный рецепт для "виртуального программного обеспечения".
Анализ
Затем у нас есть продукты, которые проводят анализ. Это продукты, которые помогают людям принимать решения, но не продукты, которые автоматизируют или управляют чем-то. Это похоже на статистическое программное обеспечение, когда вы вводите данные, а затем получаете анализ и результаты. С такими продуктами все еще пользователю приходится принимать решение или интерпретировать полученные выводы.
Примеры таких продуктов включают...
Продукты анализа имеют свои собственные проблемы дизайна. Поскольку они предназначены для помощи человеку в принятии решений или получении идей, им необходимо иметь способ объяснить, почему они делают определенные рекомендации. Они должны позволять пользователю исследовать анализ и погружаться в детали рекомендаций, чтобы учесть вопросы или тонкости их вопросов. Другими словами, объяснение результатов и возможность исследования являются ключевыми компонентами продукта анализа.
Автоматизация
Последний тип продуктов, управляемых машинным обучением, сосредоточен на автоматизации процессов без человеческого вмешательства или принятия решений. Искусственный интеллект работает самостоятельно, чтобы обеспечить определенные функции или впечатления продукта. Конечный результат - пользовательский опыт, который не требует ввода или принятия решений от пользователя и приводит к оптимальному опыту для пользователя.
Примеры включают в себя...
Подходы к автоматизации не требуют такого объяснения, как подходы к анализу. Часто выгода состоит в том, что самостоятельный опыт продукта становится лучше, но это не обязательно для обеспечения основного опыта. Другими словами, выгода вторична: улучшенный пользовательский опыт, более быстрое принятие решений или другие дополнительные преимущества по сравнению с подходом без использования машинного обучения. Однако здесь критически важно то, что мы улучшаем процесс, который технически можно было бы осуществить без машинного обучения - просто это был бы не самый идеальный опыт.
"Магия"
Продукты, которые делают "магию", это продукты, управляемые машинным обучением, которые лишены четких требований, и владельцы продукта просто говорят: "Мы применяем искусственный интеллект, и он дает нам решение". Эти продукты предполагают, что машинное обучение сгенерирует волшебные, особые идеи, которые никто другой не может создать. Менеджеры продукта, создающие такие продукты, предполагают, что им просто нужно передать данные системе и получить идеи, результаты и рекомендации.
Это обычно означает, что команда продукта не знакома с тем, что может сделать искусственный интеллект или машинное обучение, и надеется на чудо. Если это ваш продукт, то остановитесь прямо сейчас и не создавайте его. Это место, где продукты искусственного интеллекта потерпят полное крах, потому что проблема слишком размыта и плохо определена, чтобы иметь реалистичное решение. Это идеальный рецепт для "виртуального программного обеспечения".
Анализ
Затем у нас есть продукты, которые проводят анализ. Это продукты, которые помогают людям принимать решения, но не продукты, которые автоматизируют или управляют чем-то. Это похоже на статистическое программное обеспечение, когда вы вводите данные, а затем получаете анализ и результаты. С такими продуктами все еще пользователю приходится принимать решение или интерпретировать полученные выводы.
Примеры таких продуктов включают...
- Инструменты мониторинга медиа, которые применяют анализ настроения к твитам, чтобы пользователь мог определить, что читать в первую очередь.
- Медицинские модели диагностики, где врач использует выводы модели для принятия решения, но не полностью полагается на алгоритм.
Продукты анализа имеют свои собственные проблемы дизайна. Поскольку они предназначены для помощи человеку в принятии решений или получении идей, им необходимо иметь способ объяснить, почему они делают определенные рекомендации. Они должны позволять пользователю исследовать анализ и погружаться в детали рекомендаций, чтобы учесть вопросы или тонкости их вопросов. Другими словами, объяснение результатов и возможность исследования являются ключевыми компонентами продукта анализа.
Автоматизация
Последний тип продуктов, управляемых машинным обучением, сосредоточен на автоматизации процессов без человеческого вмешательства или принятия решений. Искусственный интеллект работает самостоятельно, чтобы обеспечить определенные функции или впечатления продукта. Конечный результат - пользовательский опыт, который не требует ввода или принятия решений от пользователя и приводит к оптимальному опыту для пользователя.
Примеры включают в себя...
- Системы рекомендаций продуктов на основе поведения пользователя в интернете или предыдущих покупок. Обратите внимание, что пользователь ничего не знает о том, как работает алгоритм, и не должен знать, чтобы получать рекомендации.
- Модели обнаружения мошенничества. Например, транзакции по кредитным картам одобряются или отклоняются в зависимости от того, указывают ли детали транзакции на высокую вероятность мошенничества, часто на основе статистической или модели машинного обучения.
Подходы к автоматизации не требуют такого объяснения, как подходы к анализу. Часто выгода состоит в том, что самостоятельный опыт продукта становится лучше, но это не обязательно для обеспечения основного опыта. Другими словами, выгода вторична: улучшенный пользовательский опыт, более быстрое принятие решений или другие дополнительные преимущества по сравнению с подходом без использования машинного обучения. Однако здесь критически важно то, что мы улучшаем процесс, который технически можно было бы осуществить без машинного обучения - просто это был бы не самый идеальный опыт.
Важные аспекты продуктов на основе ML
Если вы создаете продукт на основе машинного обучения, независимо от того, является ли он продуктом анализа или автоматизации, есть несколько важных моментов, которые следует учитывать.
1. Пытается ли продукт делать "магию"?
Возвращаясь к началу нашей статьи, ясным признаком того, что продукты на основе машинного обучения ожидают сделать что-то, что мы не можем объяснить или описать. Обычный пример - когда ожидается, что продукты на основе машинного обучения "генерируют идеи", когда данные "передаются им", но никто не может объяснить, как выглядит отличная идея или что она раскроет.
Более тонкий пример "волшебства" связан с нереалистичными ожиданиями, например, если ожидается, что продукт будет на 100% точным, не совершит никаких ошибок или его результаты никогда не будут оспариваться. Точно так же, если ваши алгоритмы должны быть значительно лучше того, что есть на рынке сегодня, и у вас нет сотрудников, занимающихся исследованиями, это может быть серьезным случаем завышенных ожиданий.
2. Как продукт учится?
Искусственный интеллект и машинное обучение способны учиться со временем и улучшаться в результате. Ваш продукт должен иметь встроенные в него обратные связи, чтобы он мог совершенствоваться со временем. Если вы не можете указать, где это происходит в вашем продукте, то вы не используете собранные данные и, вероятно, не используете искусственный интеллект.
3. Какова стоимость ошибки?
В случае обнаружения мошенничества стоимость может быть достаточно высокой... Но достаточно низкой, чтобы мы доверяли алгоритмам. В случае медицинской диагностики стоимость ошибки достаточно высока, чтобы люди все еще должны были проверять окончательные решения или рекомендации. Знание стоимости ошибки критично для определения того, сколько вы готовы "передать" интеллектуальному алгоритму.
Также важно понимать, какие ошибки являются дорогостоящими, а какие нет. Например, ложноположительный результат (т.е. ошибка, при которой мы неправильно говорим "да") в медицинской диагностике может привести к дополнительным тестам, так что это может быть приемлемой ошибкой. Ложноотрицательный результат (т.е. когда мы неправильно говорим "нет") может означать, что человек с заболеванием классифицируется как здоровый, и болезнь остается незамеченной. В этом случае важнее избежать ошибки ложного отрицания, чем ошибки ложного положительного результата.
4. Каков минимальный алгоритмический результат?
Связано с вышеизложенным, важно знать, как этот структура затрат/выгоды влияет на вашу способность использовать или доверять алгоритму. Порог алгоритма для рекомендаций продуктов низкий (мы не покупаем большинство продуктов, которые нам рекомендуют!), но это потому, что стоимость ошибки также низка (почти ничего не стоит дать рекомендацию), поэтому автоматизировать это можно. Стоимость ошибки неприемлема для медицинской диагностики, поэтому у нас все еще нет хорошего способа полностью передавать это.
Проектируя свой продукт, управляемый машинным обучением, спросите себя, насколько хорошо должны работать ваши алгоритмы - и реально ли построить модель, которая будет работать так, как вам нужно.
Мы часто встречаемся с командами продукта, работающими над продуктами на основе машинного обучения, которым требуется такой уровень точности или производительности модели, что на самом деле невозможно делегировать опыт продукта алгоритмам искусственного интеллекта и машинного обучения. Вы хотите избежать этой ошибки любой ценой.
5. Как алгоритм сообщается конечному пользователю?
Хотя UX в искусственном интеллекте - это сложная подобласть, ключевой вопрос для любого менеджера продукта на основе машинного обучения - это то, как решения алгоритма передаются и нужно ли их объяснять пользователю.
Возьмем наши ранние примеры: модель обнаружения мошенничества обычно не нуждается в объяснении, поскольку у пользователя мало возможностей во время транзакции в любом случае; он все равно должен позвонить в банк или службу поддержки. То же самое относится к рекомендациям продуктов, где стоимость ошибки настолько низка, что пользователей это редко волнует.
В отличие от этого, в аналитическом продукте, где алгоритм сообщает вам, что пол и коррелирует с мошенничеством - теперь это должно быть объяснено, и пользователь не сможет многое сделать без объяснения и ясных иллюстраций того, почему алгоритм делает такие выводы.
Алгоритмические решения подвергаются контролю, от которого часто уклоняются человеческие решения. Пользователи, взаимодействующие с системой и получающие неожиданный или отрицательный результат, захотят знать, что произошло или почему. Менеджер по UX или менеджер продукта в команде должен обдумать, как эти результаты будут передаваться или поясняться пользователю.
1. Пытается ли продукт делать "магию"?
Возвращаясь к началу нашей статьи, ясным признаком того, что продукты на основе машинного обучения ожидают сделать что-то, что мы не можем объяснить или описать. Обычный пример - когда ожидается, что продукты на основе машинного обучения "генерируют идеи", когда данные "передаются им", но никто не может объяснить, как выглядит отличная идея или что она раскроет.
Более тонкий пример "волшебства" связан с нереалистичными ожиданиями, например, если ожидается, что продукт будет на 100% точным, не совершит никаких ошибок или его результаты никогда не будут оспариваться. Точно так же, если ваши алгоритмы должны быть значительно лучше того, что есть на рынке сегодня, и у вас нет сотрудников, занимающихся исследованиями, это может быть серьезным случаем завышенных ожиданий.
2. Как продукт учится?
Искусственный интеллект и машинное обучение способны учиться со временем и улучшаться в результате. Ваш продукт должен иметь встроенные в него обратные связи, чтобы он мог совершенствоваться со временем. Если вы не можете указать, где это происходит в вашем продукте, то вы не используете собранные данные и, вероятно, не используете искусственный интеллект.
3. Какова стоимость ошибки?
В случае обнаружения мошенничества стоимость может быть достаточно высокой... Но достаточно низкой, чтобы мы доверяли алгоритмам. В случае медицинской диагностики стоимость ошибки достаточно высока, чтобы люди все еще должны были проверять окончательные решения или рекомендации. Знание стоимости ошибки критично для определения того, сколько вы готовы "передать" интеллектуальному алгоритму.
Также важно понимать, какие ошибки являются дорогостоящими, а какие нет. Например, ложноположительный результат (т.е. ошибка, при которой мы неправильно говорим "да") в медицинской диагностике может привести к дополнительным тестам, так что это может быть приемлемой ошибкой. Ложноотрицательный результат (т.е. когда мы неправильно говорим "нет") может означать, что человек с заболеванием классифицируется как здоровый, и болезнь остается незамеченной. В этом случае важнее избежать ошибки ложного отрицания, чем ошибки ложного положительного результата.
4. Каков минимальный алгоритмический результат?
Связано с вышеизложенным, важно знать, как этот структура затрат/выгоды влияет на вашу способность использовать или доверять алгоритму. Порог алгоритма для рекомендаций продуктов низкий (мы не покупаем большинство продуктов, которые нам рекомендуют!), но это потому, что стоимость ошибки также низка (почти ничего не стоит дать рекомендацию), поэтому автоматизировать это можно. Стоимость ошибки неприемлема для медицинской диагностики, поэтому у нас все еще нет хорошего способа полностью передавать это.
Проектируя свой продукт, управляемый машинным обучением, спросите себя, насколько хорошо должны работать ваши алгоритмы - и реально ли построить модель, которая будет работать так, как вам нужно.
Мы часто встречаемся с командами продукта, работающими над продуктами на основе машинного обучения, которым требуется такой уровень точности или производительности модели, что на самом деле невозможно делегировать опыт продукта алгоритмам искусственного интеллекта и машинного обучения. Вы хотите избежать этой ошибки любой ценой.
5. Как алгоритм сообщается конечному пользователю?
Хотя UX в искусственном интеллекте - это сложная подобласть, ключевой вопрос для любого менеджера продукта на основе машинного обучения - это то, как решения алгоритма передаются и нужно ли их объяснять пользователю.
Возьмем наши ранние примеры: модель обнаружения мошенничества обычно не нуждается в объяснении, поскольку у пользователя мало возможностей во время транзакции в любом случае; он все равно должен позвонить в банк или службу поддержки. То же самое относится к рекомендациям продуктов, где стоимость ошибки настолько низка, что пользователей это редко волнует.
В отличие от этого, в аналитическом продукте, где алгоритм сообщает вам, что пол и коррелирует с мошенничеством - теперь это должно быть объяснено, и пользователь не сможет многое сделать без объяснения и ясных иллюстраций того, почему алгоритм делает такие выводы.
Алгоритмические решения подвергаются контролю, от которого часто уклоняются человеческие решения. Пользователи, взаимодействующие с системой и получающие неожиданный или отрицательный результат, захотят знать, что произошло или почему. Менеджер по UX или менеджер продукта в команде должен обдумать, как эти результаты будут передаваться или поясняться пользователю.
Это далеко не полный набор требований, но хорошая отправная точка для размышлений при создании продуктов на основе машинного обучения. Такие продукты захватывают воображение, потому что представляют собой совершенно новый способ проектирования и создания вещей. Они имеют свои собственные вызовы, но стоят усилий, учитывая ту перспективу, которую они представляют.
Получите оценку проекта
Нажимая на кнопку, вы даете согласие на обработку персональных данных и соглашаетесь c политикой конфиденциальности
Оцените свой проект! Заполните форму ниже
Похожие статьи