{
  "language": "ru",
  "provenance": "Project-authored synthetic control examples, prepared before evaluation. Not used for training. Not an official benchmark or independently reviewed corpus.",
  "examples": {
    "ner": [
      {
        "language": "ru",
        "text": "Иван работает в компании Яндекс в Москве.",
        "entities": [
          {
            "text": "Иван",
            "type": "PER"
          },
          {
            "text": "Яндекс",
            "type": "ORG"
          },
          {
            "text": "Москве",
            "type": "LOC"
          }
        ]
      },
      {
        "language": "ru",
        "text": "Анна приехала в Санкт-Петербург.",
        "entities": [
          {
            "text": "Анна",
            "type": "PER"
          },
          {
            "text": "Санкт-Петербург",
            "type": "LOC"
          }
        ]
      },
      {
        "language": "ru",
        "text": "Компания Microsoft открыла офис в Лондоне.",
        "entities": [
          {
            "text": "Microsoft",
            "type": "ORG"
          },
          {
            "text": "Лондоне",
            "type": "LOC"
          }
        ]
      },
      {
        "language": "ru",
        "text": "Пётр встретил Марию в Париже.",
        "entities": [
          {
            "text": "Пётр",
            "type": "PER"
          },
          {
            "text": "Марию",
            "type": "PER"
          },
          {
            "text": "Париже",
            "type": "LOC"
          }
        ]
      }
    ],
    "sentiment": [
      {
        "language": "ru",
        "text": "Спасибо за помощь, всё получилось отлично!",
        "label": "positive"
      },
      {
        "language": "ru",
        "text": "Очень доволен обслуживанием, вы мне помогли.",
        "label": "positive"
      },
      {
        "language": "ru",
        "text": "Прекрасная работа, замечательный результат!",
        "label": "positive"
      },
      {
        "language": "ru",
        "text": "Сколько стоит билет до Москвы?",
        "label": "neutral"
      },
      {
        "language": "ru",
        "text": "Переведи завтра 500 рублей.",
        "label": "neutral"
      },
      {
        "language": "ru",
        "text": "Мой номер заказа 12345.",
        "label": "neutral"
      },
      {
        "language": "ru",
        "text": "Ужасный сервис, ничего не работает!",
        "label": "negative"
      },
      {
        "language": "ru",
        "text": "Я недоволен, деньги списали, а перевод не дошёл.",
        "label": "negative"
      },
      {
        "language": "ru",
        "text": "Это отвратительно, больше не буду пользоваться вашим сервисом.",
        "label": "negative"
      }
    ]
  },
  "evaluation": {
    "sentiment": {
      "accuracy": 1.0,
      "precision": 1.0,
      "recall": 1.0,
      "f1": 1.0,
      "samples": 9,
      "labels": [
        "negative",
        "neutral",
        "positive"
      ],
      "confusion_matrix": [
        [
          3,
          0,
          0
        ],
        [
          0,
          3,
          0
        ],
        [
          0,
          0,
          3
        ]
      ],
      "examples": [
        {
          "language": "ru",
          "text": "Спасибо за помощь, всё получилось отлично!",
          "label": "positive",
          "predicted": "positive"
        },
        {
          "language": "ru",
          "text": "Очень доволен обслуживанием, вы мне помогли.",
          "label": "positive",
          "predicted": "positive"
        },
        {
          "language": "ru",
          "text": "Прекрасная работа, замечательный результат!",
          "label": "positive",
          "predicted": "positive"
        },
        {
          "language": "ru",
          "text": "Сколько стоит билет до Москвы?",
          "label": "neutral",
          "predicted": "neutral"
        },
        {
          "language": "ru",
          "text": "Переведи завтра 500 рублей.",
          "label": "neutral",
          "predicted": "neutral"
        },
        {
          "language": "ru",
          "text": "Мой номер заказа 12345.",
          "label": "neutral",
          "predicted": "neutral"
        },
        {
          "language": "ru",
          "text": "Ужасный сервис, ничего не работает!",
          "label": "negative",
          "predicted": "negative"
        },
        {
          "language": "ru",
          "text": "Я недоволен, деньги списали, а перевод не дошёл.",
          "label": "negative",
          "predicted": "negative"
        },
        {
          "language": "ru",
          "text": "Это отвратительно, больше не буду пользоваться вашим сервисом.",
          "label": "negative",
          "predicted": "negative"
        }
      ]
    },
    "ner": {
      "precision": 1.0,
      "recall": 0.7,
      "f1": 0.8235294117647058,
      "samples": 4,
      "true_positive": 7,
      "false_positive": 0,
      "false_negative": 3,
      "examples": [
        {
          "language": "ru",
          "text": "Иван работает в компании Яндекс в Москве.",
          "entities": [
            {
              "text": "Иван",
              "type": "PER"
            },
            {
              "text": "Яндекс",
              "type": "ORG"
            },
            {
              "text": "Москве",
              "type": "LOC"
            }
          ],
          "predicted": [
            {
              "type": "ORG",
              "start": 25,
              "end": 31,
              "method": "ner",
              "model": "Babelscape/wikineural-multilingual-ner",
              "score": 0.9909202456474304,
              "text": "Яндекс"
            },
            {
              "type": "LOC",
              "start": 34,
              "end": 40,
              "method": "ner",
              "model": "Babelscape/wikineural-multilingual-ner",
              "score": 0.9997269511222839,
              "text": "Москве"
            }
          ]
        },
        {
          "language": "ru",
          "text": "Анна приехала в Санкт-Петербург.",
          "entities": [
            {
              "text": "Анна",
              "type": "PER"
            },
            {
              "text": "Санкт-Петербург",
              "type": "LOC"
            }
          ],
          "predicted": [
            {
              "type": "LOC",
              "start": 16,
              "end": 31,
              "method": "ner",
              "model": "Babelscape/wikineural-multilingual-ner",
              "score": 0.9998236894607544,
              "text": "Санкт-Петербург"
            }
          ]
        },
        {
          "language": "ru",
          "text": "Компания Microsoft открыла офис в Лондоне.",
          "entities": [
            {
              "text": "Microsoft",
              "type": "ORG"
            },
            {
              "text": "Лондоне",
              "type": "LOC"
            }
          ],
          "predicted": [
            {
              "type": "ORG",
              "start": 9,
              "end": 18,
              "method": "ner",
              "model": "Babelscape/wikineural-multilingual-ner",
              "score": 0.997660219669342,
              "text": "Microsoft"
            },
            {
              "type": "LOC",
              "start": 34,
              "end": 41,
              "method": "ner",
              "model": "Babelscape/wikineural-multilingual-ner",
              "score": 0.9997455477714539,
              "text": "Лондоне"
            }
          ]
        },
        {
          "language": "ru",
          "text": "Пётр встретил Марию в Париже.",
          "entities": [
            {
              "text": "Пётр",
              "type": "PER"
            },
            {
              "text": "Марию",
              "type": "PER"
            },
            {
              "text": "Париже",
              "type": "LOC"
            }
          ],
          "predicted": [
            {
              "type": "PER",
              "start": 14,
              "end": 19,
              "method": "ner",
              "model": "Babelscape/wikineural-multilingual-ner",
              "score": 0.800561785697937,
              "text": "Марию"
            },
            {
              "type": "LOC",
              "start": 22,
              "end": 28,
              "method": "ner",
              "model": "Babelscape/wikineural-multilingual-ner",
              "score": 0.9998502731323242,
              "text": "Париже"
            }
          ]
        }
      ],
      "protocol": "Exact entity type + start + end; all predicted types included"
    }
  }
}