Алгоритм, разработанный учеными Массачусетского технологического института (МТИ), теперь может распознавать сарказм и эмоциональный подтекст лучше, чем большинство людей.
Об этом сообщает МИТ Тechnology Review.
Сначала ученые хотели разработать систему, способную распознавать расистские посты в Twitter. Однако вскоре они обнаружили, что значения некоторых сообщений нельзя понять, не распознавая сарказма.
Алгоритм использует технологию глубокого обучения – нейросеть учат распознавать крошечные паттерны с помощью большого количества метаданных. Много твитов содержат нечто похожее на смайлы-эмодзи. Когда ученые воспользовались этим для обучения системы, она сразу стала лучше понимать сарказм. Нейросеть нашла связь между языковым стилем и смайлами.
Чтобы натренировать алгоритм, названный DeepMoji, исследователи собрали 55 млрд твитов и отобрали 1,2 млрд – в них содержались некоторые комбинации с 64 популярных эмодзи.
Для начала они научили систему предвидеть, какой из смайлов будет использоваться при определенном сообщении, в зависимости от того, какое оно – грустное, радостное, веселое и т. д. После этого систему обучали идентифицировать сарказм с помощью существующего набора данных.
Испытания DeepMoji прошли успешно. Ученые обнаружили, что алгоритм функционирует лучше, чем те, что существовали до него.
Напомним, что Facebook отключил ботов, разработавших собственный язык.
