Большие языковые модели неплохо справляются с тем, что уже видели во время обучения, но что происходит, когда им подсовывают действительно новую информацию — например, только что открытый вид растения или недавно изменившийся факт? Оказывается, с этим у них серьёзные проблемы. К такому выводу пришли исследователи из Пекинского университета, представившие метод генерации новых знаний KnowGen и построенный на его основе бенчмарк ALCUNA.
Зачем понадобился ещё один тест для LLM
Модели вроде FLAN-T5, GPT-3, OPT, LLaMA и GPT-4 давно показывают отличные результаты в самых разных языковых задачах и уже используются в коммерческих продуктах. Но большинство существующих бенчмарков оценивает их работу с уже знакомой информацией — той, что модель могла видеть на этапе обучения. Это смешивает два разных навыка: способность вспоминать выученное и способность рассуждать о действительно новых фактах. А поскольку информация в мире постоянно меняется, авторы работы посчитали, что оценивать модели нужно именно на новых, ранее не встречавшихся данных.
Как устроены KnowGen и ALCUNA
KnowGen — это метод, который создаёт «искусственные», заведомо новые для модели знания: он берёт существующие сущности и меняет их атрибуты и связи с другими объектами. На этой основе построен бенчмарк ALCUNA, проверяющий, насколько хорошо модель понимает новую информацию и отличает её от уже известной. Тестирование проводилось в режимах zero-shot и few-shot, с использованием цепочки рассуждений (Chain-of-Thought, CoT) и без неё. Отдельно исследователи изучили, как на результаты влияет степень схожести искусственной сущности с исходной — по названию и по атрибутам.
В экспериментах участвовали ChatGPT, Alpaca-7B, Vicuna-13B и ChatGLM-6B.
Что показали результаты
Лучше всех с задачей справился ChatGPT, второе место занял Vicuna. В целом режим few-shot оказался эффективнее zero-shot, а рассуждения в формате CoT давали более качественные ответы, чем прямые. Но даже у лидеров есть слабое место: модели хуже всего справляются с ассоциированием знаний и многошаговыми (multi-hop) рассуждениями — то есть с задачами, где нужно связать несколько фактов между собой. Заметное влияние на результат оказывает и то, насколько новая сущность похожа на исходную: чем ближе сходство, тем чаще модель путает новое с уже знакомым.
Ограничения работы
Авторы честно указывают на границы своего метода. KnowGen пока опробован только на биологических данных, хотя теоретически применим и к другим областям, где есть онтологическое представление сущностей. Из-за закрытости части моделей и ограничений по масштабу протестировать удалось лишь небольшой набор LLM — авторы призывают в будущем расширить список. Кроме того, работа не претендует на исчерпывающий анализ ограничений существующих бенчмарков и не рассматривает этические риски, связанные с генерацией искусственных знаний или ответственным использованием LLM в сценариях с новой информацией.
В целом авторы рассматривают KnowGen и ALCUNA не как окончательный вердикт, а как инструмент, который должен подтолкнуть разработчиков к более осторожному и продуманному применению языковых моделей там, где требуется работа с действительно новыми фактами.
Источник: MarkTechPost.