Норвежская компания Aiba представила Amanda — систему на базе ИИ для анализа голосового чата в реальном времени. Инструмент интегрирован в платформу Odin Voice от 4Players и предназначен для раннего выявления груминга, буллинга, радикализации и других форм социальной манипуляции.
Что делает Amanda
Amanda анализирует голосовые разговоры, выявляя паттерны вредоносного поведения, даже если отдельные фразы выглядят безобидно. При обнаружении признаков груминга или токсичности система отправляет кейс человеку-модератору для проверки. Чувствительность можно настраивать: чем шире охват, тем больше ложных срабатываний, но финальное решение всегда за человеком.
Система основана на нескольких моделях ИИ: сначала автоматически определяется язык, затем применяется классификация по типам нарушений (груминг, радикализация и др.). Сейчас поддерживается около 40 языков, при этом, по словам Aiba, технически возможно расширение до 100+.
Как это работает технически и юридически
В Odin Voice за захват речи и транскрибацию отвечает слой Odin Cortex. Текст передаётся Amanda, которая анализирует контекст, язык и нюансы, а затем формирует сигнал для модераторов.
Для соответствия GDPR голосовые данные шифруются и хранятся только в случаях, когда зафиксирована вредоносная речь. 4Players заявляет, что не сохраняет никаких данных, кроме IP-адресов на время звонка; после завершения звонка IP удаляются.
Регуляторный контекст и спрос рынка
Появление Amanda совпадает с ужесточением регулирования онлайн-безопасности:
- В ЕС действует Digital Services Act (DSA) с требованиями по защите пользователей от незаконного и вредного контента; ожидается усиление его применения к игровым компаниям к 2026 году.
- В Великобритании принят Online Safety Act, который требует повышенной защиты детей.
- PEGI планирует ставить рейтинг 18+ играм с полностью неограниченным онлайн-общением.
- В США Roblox заплатил более $12 млн штату Невада и сталкивается с более чем 140 исками по вопросам детской безопасности.
На этом фоне, по словам Aiba, интерес со стороны игровых компаний растёт: и из-за регуляторного давления, и из-за ожиданий игроков, которые не хотят находиться в токсичных сообществах. Aiba уже два года работает с MovieStarPlanet — бесплатной онлайн-социальной игрой для детей и подростков — и партнёры довольны результатами.
Происхождение проекта
Технология Aiba выросла из исследований Норвежского университета науки и технологий примерно десятилетней давности; компания была выделена в отдельный бизнес четыре года назад. Модели обучались, в том числе, на полицейских кейсах кибергруминга, в сотрудничестве с норвежской полицией.
Название Amanda выбрано в память о канадской девочке Аманда Тодд, ставшей жертвой онлайн-груминга и покончившей с собой. Её мать поддерживает проект и занимается вопросами детской безопасности в Канаде.
Выводы
- Amanda — уже работающий ИИ-инструмент для анализа голосового чата на груминг, буллинг и радикализацию в реальном времени.
- Система опирается на контекст беседы и полицейские кейсы, но финальное решение всегда принимает человек-модератор.
- Технология встроена в Odin Voice, поддерживает десятки языков и спроектирована с учётом требований GDPR.
- Ужесточение законов (DSA, Online Safety Act, позиция PEGI, кейсы Roblox) усиливает спрос на подобные решения в игровой индустрии.
- Уже есть реальный кейс применения — MovieStarPlanet, использующая систему более двух лет.
