Міністерство цифрової трансформації України запускає Ukrainian LLM Leaderboard — національний рейтинг, який об’єктивно вимірює, наскільки якісно та чи інша модель насправді володіє українською мовою.
Про це повідомляє Мінцифри, передає Інше ТВ.
Центр компетенцій WINWIN AI при Мінцифрі разом з Українським католицьким університетом (УКУ) та ініціативою lang-uk створив відкриту платформу. Вона оцінює здатність великих мовних моделей працювати з різними завданнями українською.
Об’єктивні дані замість маркетингових обіцянок
Штучний інтелект уже працює в десятках щоденних сервісів: від державних застосунків до банкінгу. Раніше світові рейтинги тестували ШІ переважно англійською, а українську перевіряли через машинний переклад, приховуючи реальні помилки. Тепер лідерборд замінює сліпу віру на точні вимірювання якості. Держава отримує надійну базу для вибору технологічних рішень, бізнес об’єктивно оцінює рентабельність інтеграцій, а дослідники мають єдину систему координат.
«Після появи великих мовних моделей було незрозуміло, як добре вони працюють для української мови: які їхні сильні та слабкі сторони, для яких завдань які моделі краще підходять, де досі є прогалини в якості роботи з українською. Метою створення українського лідерборду було дати відповідь на ці питання, зібравши наявні бенчмарки від спільноти українського NLP та створивши нові. Сподіваюся наша ініціатива допоможе як бізнесу у виборі найкращих моделей, так і дослідникам у їхній роботі», – каже Юрій Панів, аспірант УКУ, керівник розробки мовної моделі для української мови Lapa.
Як тестують нейромережі
Експерти перевіряють алгоритми на завданнях, які максимально відтворюють реальні умови. ШІ повинен:
перекладати, переказувати та стисло викладати великі тексти;
шукати відповіді в документах та розв’язувати логічні задачі;
складати тести зі шкільної програми на рівні ЗНО;
виконувати математичні обчислення та складні інструкції.
Усі результати, код і дані ми відкрили для громадськості на платформі HuggingFace. Кожен користувач може вільно порівнювати моделі та перевіряти методологію.
Синергія науки та держави
Правила, за якими рейтинг оцінює штучний інтелект, розробили експерти з Українського католицького університету та спільноти lang-uk (Юрій Панів і Дмитро Чаплінський). Ця команда понад 10 років учить нейромережі розуміти українську мову. Вони збирають масиви текстів та створюють інструменти, з якими потім працюють розробники по всій країні. Підхід до тестування абсолютно надійний: його вже успішно застосували, коли навчали українську ШІ-модель Lapa LLM, та презентували на міжнародних наукових конференціях.
«Неможливо керувати процесами, які ти не вимірюєш. Ми вбудовуємо штучний інтелект у сервіси для мільйонів людей — і маємо ухвалювати рішення виключно на основі доказів, а не обіцянок. Лідерборд робить якість української мови в моделях публічним і доведеним фактом», – зазначає Роман Кислий, Chief AI Officer у WINWIN AI Center of Excellence.
Що далі
Команда планує постійно розширювати платформу. Згодом ми додамо перевірку роботи із зображеннями, оцінку етичності та аналіз вартості використання ШІ українською. Окремий фокус спрямуємо на потреби держсектору: як моделі опрацьовують адміністративні процедури, нормативні тексти та чи безпечно вони працюють із персональними даними.
Переглядайте рейтинг та тестуйте моделі за посиланням.
Як повідомляло Інше ТВ, OpenAI сповільнила навчання нових ШІ-моделей після неочікуваного злому
