<aside> 📌

Система распознавания эмоций (Emotion Recognition System) - система ИИ, предназначенную для идентификации или выявления эмоций или намерений физических лиц на основе их биометрических данных (ст. 3(39) Закона об ИИ)

</aside>

Система ИИ, используемая для целей идентификации или выявления +эмоций или намерений физических лиц + на основе их биометрических данных = элементы системы.

<aside> 📌

Эмоции или намерения - это счастье, печаль, гнев, удивление, отвращение, смущение, волнение, стыд, презрение, удовлетворение и развлечение (Recital 18).

НЕ включают «физические состояния, такие как боль или усталость», а также не включают базовые выражения лица, такие как хмурый взгляд или улыбка, или жесты, такие как движение рук или головы, или характеристики голоса человека, такие как повышенный голос или шепот, если только они не используются для идентификации или выведения эмоций.

Например, системы отслеживания взгляда или оборудование безопасности, которые измеряют бдительность сотрудников, которые находятся в условиях повышенного риска (например, вблизи тяжелой техники или больших транспортных средств, особенно в сочетании с долгим рабочим днем)

</aside>

Recital 44 + Amendment 52 = ставит под сомнение научную основу и надежность систем ИИ в выводе сложной конструкции (например, эмоции), которая может различаться в зависимости от культуры, ситуации и даже у одного и того же человека, дисбаланс сил в сочетании с навязчивым характером этих систем могут привести к пагубному или неблагоприятному отношению к определенным физическим лицам или целым группам.

<aside> 👉

Примеры систем, определяющих или выявляющих эмоции:

• носимые устройства (например, иммерсивные гарнитуры или смарт-часы), которые могут определять волнение по частоте сердечных сокращений, измерять расширение зрачков по визуальным подсказкам, чтобы определять привлекательность или анализировать настроение, обнаруживая движение тела с помощью систем распознавания движений.
• системы анализа настроений в розничной торговле, которые анализируют выражения лиц покупателей в магазине, рассматривающих продукты.
• рекламные щиты для наружной рекламы, оценивающие выражения лиц прохожих, чтобы определить, нравится ли им показанная реклама.
• телефоны доверия для клиентов, интегрирующие голосовой анализ эмоций для определения удовлетворенности клиентов продуктами или услугами. </aside>

<aside> 👉

Примеры использования систем ИИ для обнаружения или выявления «намерений» :

• намерения совершить преступление (например, системы обнаружения агрессии, выводящие насильственные намерения на основе выражений лица или языка тела, или системы отслеживания взгляда и системы анализа социального поведения, предсказывающие намерение совершить кражу в магазине).
• намерения сотрудников уволиться с работы на основе того, насколько счастливыми они кажутся во время видеозвонков (с помощью анализа выражения лица).
• суицидальные намерения в точках суицидального риска, таких как железные дороги, высотные здания или мосты, с помощью анализа видеонаблюдения и компьютерного зрения (например, полагаясь на поведенческие индикаторы, такие как повторяющиеся переходы людей от ходьбы к стоянию, прислонение к железнодорожному ограждению головой вниз…). </aside>

<aside> 👉

Примеры из The Guidelines on prohibited artificial intelligence (AI) practices, as defined by the AI Act/ European Comission

• Использование веб-камер и систем распознавания голоса в колл-центре для отслеживания эмоций сотрудников, таких как гнев, запрещено. Если эти системы используются только для личного обучения и результаты не передаются HR и не влияют на оценку, продвижение и т. д., они допускаются.
• Использование систем распознавания голоса в колл-центре для отслеживания эмоций клиентов, например гнева или нетерпения, не запрещено, если это помогает сотрудникам справляться с агрессивными клиентами.
• AI-системы, мониторящие эмоциональный тон в гибридных рабочих командах (например, при видеозвонках), запрещены.
• Использование AI-систем распознавания эмоций во время набора персонала запрещено.
• Использование AI-систем распознавания эмоций во время испытательного срока запрещено​.

Использование AI-системы для отслеживания движения глаз студентов во время онлайн-экзаменов не запрещено, если она не анализирует эмоции. Однако, если система определяет уровень тревожности или эмоционального возбуждения, это подпадает под запрет​.

</aside>

<aside> <img src="/icons/send-to_blue.svg" alt="/icons/send-to_blue.svg" width="40px" />

EPIC Comments to Dutch DPA on Emotion Recognition Prohibition under EU AI Act

</aside>

Дополнительно регулируется:

GDPR, т.к. почти всегда обрабатывает биометрические или особые категории данных:

Интерпретация эмоций может считаться чувствительной информацией, если она связана с психическим состоянием, убеждениями, уязвимостью.

Четко определить законное основание. В большинстве случаев явное согласие.

Ограничения конкретной целью, минимизация данных, справедливость.

ePrivacy Directive. При использовании Emotion AI на устройствах (например, через микрофоны, камеры) необходимо предварительное согласие пользователя.

Unfair Commercial Practices Directive. Запрет на использование Emotion AI для манипуляции поведением потребителей (например, изменения цен в зависимости от настроения) может нарушать:

Основные риски:

1. Отсутствие законного основания. Ошибочная классификация эмоциональных данных как обычных — риск нарушения GDPR.

2. Недостаточная прозрачность. Эмоции субъективны и зависят от контекста; необходимо объяснять, как система работает.

3. Галлюцинации, неточности, abuse. Emotion AI может давать искажённые результаты по расовому, половому или культурному признаку.