Модели

Logistic Regression

Классический статистический метод: линейная модель оценивает вероятность каждого класса.

TF-IDF · слова (1–2) + символы (3–5)

Accuracy

80,34%

Macro F1

77,36%

F1 weighted

80,56%

Precision weighted

81,31%

Протокол: MASSIVE ru-RU: официальные разбиения train / dev / test; реплики переведены людьми с английского; 60 намерений; точные повторы текста удалены.

Тестовых примеров: 2727 · Macro F1: 77,36%

Выборки train / dev / test: 11002 / 1874 / 2727

Заполнение слотов · словарь из train, точные границы и тип: Precision 37,4% · Recall 46,7% · F1 41,6%

Дата обучения: 21.10.2026, 10:51 UTC

Метрики относятся только к указанному датасету, языку и разделению. Macro F1 усредняет классы с одинаковым весом.

Linear SVM

Метод опорных векторов для разделения классов.

TF-IDF · слова (1–2) + символы (3–5)

Accuracy

81,74%

Macro F1

77,73%

F1 weighted

81,63%

Precision weighted

81,99%

Протокол: MASSIVE ru-RU: официальные разбиения train / dev / test; реплики переведены людьми с английского; 60 намерений; точные повторы текста удалены.

Тестовых примеров: 2727 · Macro F1: 77,73%

Выборки train / dev / test: 11002 / 1874 / 2727

Заполнение слотов · словарь из train, точные границы и тип: Precision 37,4% · Recall 46,7% · F1 41,6%

Дата обучения: 21.10.2026, 10:51 UTC

Метрики относятся только к указанному датасету, языку и разделению. Macro F1 усредняет классы с одинаковым весом.

RuBERT

Трансформер для глубокого понимания русского текста.

Трансформер · контекстные векторы слов

Accuracy

84,12%

Macro F1

77,69%

F1 weighted

83,96%

Precision weighted

84,92%

Протокол: MASSIVE ru-RU: официальные разбиения train / dev / test; реплики переведены людьми с английского; 60 намерений; точные повторы текста удалены.

Тестовых примеров: 2727 · Macro F1: 77,69%

Выборки train / dev / test: 11002 / 1874 / 2727

Дата обучения: 21.10.2026, 15:18 UTC

Метрики относятся только к указанному датасету, языку и разделению. Macro F1 усредняет классы с одинаковым весом.

Multilingual BERT

Мультиязычный трансформер для работы с несколькими языками.

Трансформер · контекстные векторы слов

Accuracy

80,67%

Macro F1

72,42%

F1 weighted

80,47%

Precision weighted

81,82%

Протокол: MASSIVE ru-RU: официальные разбиения train / dev / test; реплики переведены людьми с английского; 60 намерений; точные повторы текста удалены.

Тестовых примеров: 2727 · Macro F1: 72,42%

Выборки train / dev / test: 11002 / 1874 / 2727

Заполнение слотов · обученная модель mBERT: Precision 69,4% · Recall 74,5% · F1 71,9% · словарь на тех же данных: F1 41,6%

Дата обучения: 21.10.2026, 17:34 UTC

Метрики относятся только к указанному датасету, языку и разделению. Macro F1 усредняет классы с одинаковым весом.