Аналитика

Результаты обучения и сравнение ваших моделей на тестовых данных.

ЯзыкМодельМетрикаСкачать результаты JSON ↓

Accuracy

—

Macro F1

—

ROC-AUC

—

Нет результатов для выбранного языка и модели.

Сравнение моделей

Матрица ошибок

ROC-кривые

ROC-кривые и ROC-AUC пока не рассчитаны в сохранённых экспериментах.

Подробная статистика

Распределение намерений

Классы, на которых обучались модели: реплики пользователя из train, dev и test.

Частые сущности

Размеченные слоты в репликах пользователя.

Тональность ваших сообщений

Только сообщения вашего сеанса на выбранном языке. Старые сообщения без анализа тональности не учитываются.

Длина диалогов, реплик

Только наборы с многоходовыми диалогами; одиночные фразы (MASSIVE, ruSLUn) не учитываются.

RU / EN · результаты по языкам

Датасеты и домены различаются; показатели языков не являются прямым сравнением. «—» означает отсутствие эксперимента.

Примеры ошибок

NER / SENTIMENT

Распознавание сущностей и тональности

Суммы, валюты и даты — правила; люди, места и организации — модель NER.

NER · RU

Имена, места и организации

Готовая предобученная модель · Работает локально

Babelscape/wikineural-multilingual-ner ↗

CC BY-NC-SA 4.0

Контрольная проверка · n=4

Precision100,0%

Recall70,0%

F182,4%

Micro Precision / Recall / F1: точное совпадение типа и границ сущности.

Небольшой набор синтетических примеров проекта. Он не использовался для обучения и не является независимым тестом качества.

Тональность · RU

Тональность

Готовая предобученная модель · Работает локально

seara/rubert-tiny2-russian-sentiment ↗

MIT

Контрольная проверка · n=9

Precision100,0%

Recall100,0%

F1100,0%

Accuracy100,0%

Macro Precision / Recall / F1; Accuracy по сообщениям.

Примеры и результаты ↓