Генеративная модель Сotype (ex.MTS AI Chat) заняла первое место в рейтинге больших языковых моделей в лидерборде бенчмарка MERA (Multimodal Evaluation for Russian-language Architectures)

12.04.2024 |

Всего в рейтинг вошли 30 языковых моделей, которые оценивались по 17 параметрам.

Показатель BPS у модели Сotype (ex.MTS AI Chat) составил с 0.23, PARus – достиг 0.884, а по задачам из «Что? Где? Когда?» (параметр CheGeKa) она продемонстрировала результат 0.05 / 0.022. В переводе на общечеловеческий это означает, что Сotype (ex.MTS AI Chat) обладает наиболее полными знаниями о мире, развитыми логическими способностями и навыками причинно-следственного рассуждения и здравого смысла.

Основное назначение этой модели – работа с корпоративной информацией для решения бизнес-задач. При этом интересно, что генеративную модель Сotype (ex.MTS AI Chat) создали меньше чем за год, но она смогла обойти более “взрослых” участников, например GigaChat Pro.

Свежее по теме

МТС делится лайфхаками для путешественников в новой рекламе

МТС запустила велнес-приложение для женщин Clatch

МТС RED отразил свыше 6 тысяч DDoS-атак в первом квартале 2024 года

В Петербурге покажут фильм «Мира» с переводом на жестовый язык

Тематики: Инновации

Ключевые слова: МТС, Искусственный интеллект