Нейросеть научили одновременно понимать эмоции, характер и сомнения человека
Ученые НИУ ВШЭ вместе с коллегами из Санкт-Петербургского федерального исследовательского центра РАН и Центра практического ИИ Сбера создали нейросеть, способную распознавать эмоции, оценивать черты личности и выявлять амбивалентность, то есть неуверенность или противоречивость поведения человека.
Модель анализирует видео, голос, содержание речи, а также мимику, взгляд, позу и жесты, и решает все три задачи одновременно – это точнее, чем разбор одной лишь речи или мимики по отдельности.
Систему обучали на суперкомпьютере НИУ ВШЭ «Харизма» на разных корпусах данных. По словам доцента Школы информатики, физики и технологий НИУ ВШЭ – Санкт-Петербург Дмитрия Рюмина, такой подход позволяет анализировать разные проявления человека во взаимосвязи.
Подход повысил качество распознавания эмоций примерно на 6%, оценки черт личности – на 3,2%, а на незнакомых модели данных точность распознавания эмоций выросла на 13,7%. Разработку планируют применять в образовании и сервисах поддержки пользователей.
