Повышаем грамотность. Искусственный интеллект: машинное обучение, кластеризация и визуализация данных, A/B тесты

Искусственный интеллект – это не инопланетяне, которые пришли к нам со своими суперспособностями. Это современные методы анализа данных, которые научились решать настолько сложные задачи, что применимо к ним начали использовать термин «искусственный интеллект».

Все начиналось с того, что накопились огромные объемы данных, которые надо было научиться обрабатывать, чтобы извлекать из этих данных знания и пользу. Для этой задачи начали развиваться методы машинного обучения.

А что такое машинное обучение? Разберемся в терминологии и основных составляющих искусственного интеллекта.
Искусственный интеллект (ИИ), которым мы располагаем на сегодняшний день, как понятие совершенно отличается о того, что мы можем увидеть в фантастических фильмах. Вероятно, ИИ через 10 лет будет существенно отличаться от ИИ сегодня.

Прежде всего речь идет о технологии на стыке математики и айти. Несмотря на то, что знания об искусственном интеллекте часто включают в корпоративное обучение персонала, сама отрасль в последнее время обросла огромным количеством домыслов и легенд. Мы все слышали о нейронных сетях, биг дата, робототехнике, о слежении за каждым перемещением человека на планете и подобном. Попытаемся развеять туман и разложить все по полочкам.

Где используется искусственный интеллект. Пример
ИИ используется в любой сфере – в маркетинге, продажах, в работе с персоналом. Внедряя электронное обучение в E Learning, настраивая онлайн-платформу для адаптации персонала или чат бот для HR функций с той или иной целью – мы можем использовать ИИ и используем его, даже не отдавая себе в этом отчета.

Дело в том, что математика в нашей жизни повсюду. Приведем простой пример. Допустим, мы хотим найти в интернете фильм для просмотра – поиск и выдача использует концепцию искусственного интеллекта.

Рассмотрим подробнее. Мы открываем сайт и видим обложки фильмов. Или, если это электронное обучение E Learning, - список курсов. Мы не задумываемся о том, почему мы видим обложки именно этих фильмов, а не других, почему они представлены именно в таком порядке. Скорей всего, были приняты какие-то решения, как вывести на страницу те или иные элементы. Причем, жителям Москвы может выводиться контент в одном порядке, а жителям другого города или страны – в другом.

Если задуматься об этом, можно понять, как именно работают методы искусственного интеллекта. Все наши действия, которые мы совершаем на популярных ресурсах, отслеживаются и хранятся в базах данных. Причем фиксируются совершенно разные действия: как долго мы находимся на странице, переходим ли мы на подробное описание, ставим мы лайки или дизлайки.

Все эти действия являются цифровым олицетворением вашего общего профиля: что вам нравится, что не нравится. Это помогает вывести вам на страницу именно то, что вы больше всего хотите увидеть. Если сервис располагает большим количеством контента (фильмы, музыка, книги), это могут быть десятки или сотни тысяч позиций, то в его интересах предложить вам нужное, чтобы вы пользовались сервисом.

Показать именно то, что вам нравится, сервису полезно, но для определения, что именно вам подойдет, сервису нужно сначала вас понять, узнать, что именно для вас будет интересным и полезным.

Важно понимать, что какой-то порядок все равно у сервиса должен быть. Не могут фильмы в список выводиться без какой-либо сортировки. Она есть, но не всегда будет удобной для нас. Допустим, было бы вам удобно искать нужный материал в алфавитном порядке? Если учесть, что его много, то это далеко не самый удобный вариант сортировки – он не добавляет никакой ценности.

Как еще можно отсортировать материал? Может, по популярности? Кажется рациональным подходом, но есть одна проблема – то, что не очень популярно, пользователи вряд ли увидят, ведь оно будет в конце длинного списка. К тому же новое никогда не будет иметь шанса стать популярным. Можно приводить примеры возможной сортировки, но все эти варианты будут менее удачны, чем вариант показать человеку то, что ему могло бы понравиться. Информация об этом может быть собрана сервисом и храниться в его базе. Хороший сервис должен не показывать то, что вам скорее всего не понравится. В том числе и показывать то, что вы еще не видели и не оценивали, но что вам скорее всего понравится. Сервис должен научиться на данных, которые вы просмотрели ранее, понять, какой контент стоит вам предложить.

Кластеризация
Идеально было бы показать каждому пользователю то, что соответствовало бы именно его предпочтениям, но сервисы могут получить примерно тот же эффект, немного упростив задачу – сгруппировав пользователей по тому или иному признаку.

Таким образом пользователи делятся на кластеры по предпочтениям, типе поведения на сайте, возрасту, полу и многим другим признакам.

Визуализация
Но и это еще не все. Можно каждому кластеру предложить обложку фильма так, как ему больше понравится, т.е. для каждого кластера подготовить свою обложку.

Но как узнать, какая обложка понравится каждому кластеру больше всего? Допустим, есть 9 вариантов обложек одного и того же фильма. Пользователей делят на группы и начинают разным группам показывать каждую из существующих обложек. Если посчитать, на какую обложку чаще нажимали, и учесть, что пользователей очень много, то это поможет определить, какая обложка больше всего нравится каждому из кластеров. Это удастся сделать быстро, как только в нашем распоряжении окажется статистика.

А/В тестирование
Подбор самого удачного варианта для того или иного кластера происходит с использованием А/В-тестирования. А/В тестирование – это процесс, в рамках которого мы статистически подтверждаем или опровергаем ту или иную гипотезу. Когда нам кажется, что определенному пользователю понравится определенный контент – это еще только предположение, гипотеза. Нужно еще убедиться в своей правоте.

Делать выводы можно только в случае, если наберется достаточное количество результатов. Важно определить количество данных, которых будет достаточно для такого рода выводов. Но когда выводы сделаны и учтены – это может привести к существенной экономической выгоде. Всего лишь поменять определенному кластеру обложку может принести компании дополнительно десятки тысяч просмотров в месяц, день или час.

ИИ в HR
Теперь представим, насколько ценными были бы все эти данные абсолютно в любой отрасли: если говорить о дистанционном корпоративном обучении, тренингах, которые выбирают для изучения пользователи, то изменение обложки или структуры курса – это существенное повышение вовлеченности персонала. Если учесть, что приемы кластеризации, визуализации и А/В тестирования – это методы искусственного интеллекта, то ИИ способен повысить вовлечение персонала в онлайн-формате не меньше, чем другие, более трудозатратные способы повышения вовлеченности – деловые игры, геймификация в HR и различные способы мотивации.

Вероятно, бизнес после карантина станет более цифровым и описанные приемы будут все более востребованы. Причем, необязательно собирать собственную статистику, можно использовать собранную другими сервисами и умело ее применять, или соединить существующий опыт с конкретно вашим. Для этого только нужно эти методы автоматизировать.

Выигрывают все – пользователь экономит время, сервис получает больше лояльных пользователей. Таким образом, ИИ может быть использован для пользы всех сторон в самых разных задачах. Мы привели только один пример из множества возможных. Но даже этот пример мы встречаем повсюду – в соцсетях, в интернет-магазинах, при бронировании билетов.

Факторы использования искусственного интеллекта
Искусственный интеллект уже сейчас преображает нашу жизнь и используется в самых разных отраслях. Основные факторы использования ИИ:

• Он может автоматизировать многие процессы.
  
• Он способен обрабатывать большие объемы данных за очень короткое время.
  
• ИИ не подвержен человеческому фактору.
  

Чем ИИ похож на человека и чем отличается от него
Вся деятельность человека так или иначе связана с принятием решений. Человек может принять решение и не думая или не обладая знаниями. Это вполне нормально, если решение не влияет на что-либо, связанное с серьезными последствиями. Например, какой сок попить или куда пойти вечером развлечься. Но есть решения более серьезные, например, как лечить ту или иную болезнь.

Однако любое сознательное решение связано с необходимостью изучить предмет, провести исследование, изучить историю, сопоставить полученные данные, выбрать самый приемлемый из нескольких возможных вариант. Вручную все имеющиеся у нас данные обработать трудно, люди придумывают разные алгоритмы, чтобы как можно быстрее получить ответ. Если алгоритмы автоматизировать, ответ получим быстрее, а данных сможем обработать больше. ИИ работает точно так же, как человек, только использует автоматизированные алгоритмы.

Разница между ИИ и человеком не только в скорости обработки и возможности обработать большие объемы данных, но еще и в том, что у человека решение будет в любом случае, даже при отсутствии данных, а у ИИ ответа не будет, если не будет данных, причем достаточного их количества.

Терминология и возможности ИИ
Надежно и хорошо удаются ИИ такие операции, как сравнение и определение степени вероятности. На основе этих операций можно «научить» программу автоматизировать различные процессы:

• Антиспам.
  
• Прокладка маршрутов.
  
• Обработка фото.
  
• Рекомендации.
  
• Автопилот для авто.
  
• Диагностика.
  
• Выбор решения (например, о выдаче кредитов) и другие.
  

Машинное обучение – это выстраивание алгоритмов и моделей для получения полезного результата. Как связано машинное обучение, дата сайенс и биг дата? Поскольку речь об автоматизации часто шла в связи с большими объемами данных, появилось определение big data, большие данные. Data-science – работа с большими данными, соответственно, дата-сайентисты, люди, работающие с большими данными: находят закономерности и делают на их основе полезные выводы. Сейчас все это начали называть машинным обучением (mashine learning), которое в свою очередь можно автоматизировать. Автоматизация машинного обучения – это работа с нейросетями, предлагающими сложные признаки, которые человек уже не может контролировать. Результаты всего этого труда, даже без использования нейросетей, принято называть искусственным интеллектом. Как видим, никакого волшебства нет.

ИИ хорошо работает в предсказуемом окружении и работает ненадежно в нестабильности.

Вывод: ИИ – это не научная фантастика типа Терминатора и Матрицы, а набор правил и автоматизация процессов.