Обучение с учителем или обучение без учителя: какая модель машинного обучения вам подходит?

Машинное обучение не должно быть загадочным. В этой статье мы разберем два наиболее распространенных типа и варианты их использования.

Вы также можете знать о потенциале новых технологий, таких как машинное обучение, которые могут сделать ваш бизнес ориентированным на будущее. Но будьте осторожны, покупатель: если вы не разбираетесь в применении машинного обучения, вы рискуете потратить деньги на непригодные для использования результаты. Рассмотрим приведенный ниже пример, чтобы понять, что мы имеем в виду.

Чтобы подготовиться к написанию этой статьи, мы использовали инструмент генерации естественного языка (NLG), чтобы помочь нам понять, как лучше всего разделить контролируемое и неконтролируемое обучение. Вот отрывок из нашего аналога NLG:

Чувствовать неловкость? Нам тоже. Но, несмотря на сбивающий с толку синтаксис предложений инструмента NLG, этот эксперимент с искусственным интеллектом (ИИ) не оказался полностью бесполезным. Это заставило нас понять, что когда дело доходит до получения наилучших результатов от ИИ, важно найти правильное приложение - именно поэтому мы написали это руководство, чтобы помочь вам.

Мы поговорили с Томасом Вудом , консультантом по науке о данных компании Fast Data Science, и он помог разобрать тему, используя простые для понимания термины. С помощью Вуда мы объясним разницу между двумя распространенными методами машинного обучения , контролируемым и неконтролируемым обучением, и какие варианты использования лучше всего подходят для каждого метода.

Каковы основные различия между обучением с учителем и обучением без учителя?

Если бы нам пришлось свести это к одному предложению, это было бы так: основное различие между контролируемым обучением и неконтролируемым обучением состоит в том, что контролируемое обучение использует помеченные данные, чтобы помочь предсказать результаты, а неконтролируемое обучение - нет.

Однако между двумя подходами есть дополнительные нюансы, которые мы продолжим прояснять, чтобы вы могли выбрать лучший подход для своей ситуации.

Как работает машинное обучение с учителем

Как мы упоминали выше, контролируемое обучение использует помеченные данные для обучения модели. Но что это означает в теории? Для начала рассмотрим несколько примеров.

При обучении с учителем модели предоставляются как входные, так и соответствующие выходы. Предположим, мы обучаем модель определять и классифицировать различные виды фруктов. В этом примере вы предоставите несколько изображений фруктов в качестве входных данных, а также их форму, размер, цвет и профиль вкуса. Затем вы предоставите модели названия каждого фрукта в качестве выходных данных.

В конце концов, алгоритм обнаружит закономерность между характеристиками фруктов (входными данными) и их названиями (выходными данными). Как только это произойдет, модели можно будет предоставить новые входные данные, и она будет предсказывать выходные данные за вас. Такой вид обучения с учителем, называемый классификацией , является наиболее распространенным .

Как работает машинное обучение без учителя

Напротив, обучение без учителя работает, обучая модель определять закономерности самостоятельно (следовательно, без учителя ) на основе немаркированных данных. Это означает, что предоставляется ввод, но не вывод.

Чтобы понять, как это работает, давайте продолжим приведенный выше пример фруктов. При обучении без учителя вы предоставите модели входной набор данных (изображения фруктов и их характеристики), но не предоставите выходные данные (названия фруктов).

Модель будет использовать подходящий алгоритм, чтобы научиться разделять фрукты на разные группы в соответствии с наиболее схожими характеристиками между ними. Такой вид обучения без учителя, называемый кластеризацией , является наиболее распространенным.

Хотите еще раз повторить две модели машинного обучения? Посмотрите это короткое видео, чтобы получить подробное объяснение:

Когда следует использовать обучение с учителем или обучение без учителя?

Следует ли вам использовать контролируемое или неконтролируемое обучение, зависит от ваших целей, а также от структуры и объема данных, которые у вас есть. Прежде чем принять решение, попросите вашего специалиста по обработке данных оценить следующее:

• Входные данные - это набор данных без метки или с меткой? Если он не помечен, может ли ваша команда поддержать дополнительную маркировку?
• Какую цель вы хотите достичь? Вы работаете с повторяющейся, четко определенной проблемой или алгоритму нужно будет предсказать новые проблемы?
• Существуют ли алгоритмы, поддерживающие объем и структуру ваших данных? Обладают ли они той же размерностью, которая вам нужна (количество функций или атрибутов)?

Когда использовать машинное обучение с учителем

Согласно Gartner, контролируемое обучение является наиболее популярным и наиболее часто используемым типом машинного обучения в бизнес-сценариях. Вероятно, это связано с тем, что, хотя классификация больших данных может быть реальной проблемой при обучении с учителем, результаты очень точны и заслуживают доверия ( полный источник доступен для клиентов ).

Вот несколько примеров использования контролируемого обучения. Некоторые из них относятся к отрасли, а другие могут применяться к любой организации:

• Выявление факторов риска заболеваний и планирование профилактических мероприятий
• Определение того, является ли электронное письмо спамом
• Прогнозирование цен на жилье
• Прогнозирование оттока клиентов
• Прогнозирование осадков и погодных условий
• Выяснение, относится ли соискатель кредита к группе риска с низким или высоким уровнем риска
• Прогнозирование выхода из строя механических частей автомобильных двигателей
• Прогнозирование оценок в социальных сетях и показателей производительности

Вуд поделился с нами примером того, как он использовал контролируемое обучение для построения системы сортировки входящих электронных писем клиентов. С помощью CRM-системы электронные письма были разделены на группы, которые представляли общие запросы (например, изменение адреса клиента, жалобы). Затем Вуд использовал эти категории для обучения модели, чтобы при получении нового входящего сообщения электронной почты она знала, какой категории назначить это электронное письмо. Он говорит:

Когда использовать машинное обучение без учителя

В отличие от обучения с учителем, обучение без учителя может обрабатывать большие объемы данных в режиме реального времени. А поскольку модель автоматически определяет структуру данных (классификацию), она полезна в тех случаях, когда человеку будет сложно самостоятельно находить тенденции в данных.

Например, если вы пытаетесь сегментировать потенциальных потребителей на группы в маркетинговых целях, метод неконтролируемой кластеризации станет отличной отправной точкой.

Вот несколько примеров использования для обучения без учителя:

• Группировка клиентов по их покупательскому поведению
• Выявление корреляций в данных о покупателях (например, люди, которые покупают сумку определенного стиля, также могут быть заинтересованы в определенном стиле обуви)
• Сегментация данных по истории покупок
• Классификация людей по разным интересам
• Группировка запасов по показателям производства и продаж

Вуд объяснил нам, что когда-то работал в фармацевтической компании с производственными мощностями по всему миру. Программное обеспечение, которое компания использовала для записи ошибок, произошедших на их предприятиях, не имело раскрывающегося меню с вариантами наиболее распространенных ошибок для выбора.

Из-за этого заводские рабочие документировали ошибки открытым текстом (либо на английском, либо на своем местном языке). Компания хотела знать причины общих производственных проблем, но без категоризации ошибок было невозможно выполнить статистический анализ данных.

Вуд использовал алгоритм обучения без учителя, чтобы выявить общие черты ошибок. Он смог выявить самые важные темы и подготовить статистические данные, такие как разбивка на круговые диаграммы общих производственных проблем в компании. Вуд говорит:

Приготовьтесь к умному будущему: воспользуйтесь машинным обучением

Машинное обучение - это мощный инструмент, который может помочь вам решать бизнес-задачи и принимать решения на основе данных. Надеюсь, эта статья даст вам некоторые идеи о том, как машинное обучение с учителем или без учителя может быть реализовано в вашей организации.

Если вы готовы освоить технологию машинного обучения, следующим шагом должна стать оценка возможностей вашего текущего стека программного обеспечения. Затем спросите своего поставщика (-ов) о вариантах использования от других клиентов в вашей отрасли, которые соответствуют приложениям, для которых вы хотите использовать машинное обучение.