Способность человека строить теории об устройстве мира — одна из базовых черт интеллекта. Ярче всего она проявляется в науке, но действует и в повседневном мышлении, и в развитии ребёнка. Научить машину воспроизводить этот процесс — давняя цель искусственного интеллекта и когнитивной науки.
Долгое время лингвисты сомневались, что машину вообще можно научить анализировать звуки речи и словоформы так, как это делает человек. Но исследователи из Массачусетского технологического института (MIT), Корнеллского университета и Университета Макгилла продвинулись в этом направлении: они показали, что система ИИ способна самостоятельно осваивать грамматику и фонологическую структуру человеческого языка.
Как работает модель
Получив набор слов и примеры того, как эти слова меняются для выражения разных грамматических значений — времени, падежа, рода, — модель выводит правила, объясняющие, почему форма слов меняется именно так. При этом она способна автоматически находить более общие языковые закономерности, которые справедливы сразу для нескольких языков.
Особенность подхода в том, что модель обучается на очень скромных объёмах данных — буквально на нескольких десятках слов, как это делает человек. Причём система работает не с одним большим массивом данных, а с множеством небольших наборов — это ближе к тому, как учёные выдвигают гипотезы: рассматривают несколько связанных наборов данных и строят модель, объясняющую закономерности во всех них сразу.
Именно поэтому в центре внимания исследователей оказалась связь между фонологией и морфологией — им нужно было создать систему, способную автоматически выводить единую модель сразу из множества родственных наборов данных.
58 языков и учебники лингвистики
Материалом для обучения и проверки модели стали задачи из учебников по лингвистике — 58 разных языков. Каждая задача содержала конкретный набор слов и связанные с ними словоформы. Учебные задачи оказались удобным полигоном: многие языки имеют схожие базовые черты, а упражнения из учебников как раз нацелены на демонстрацию конкретных языковых явлений. Студентам такие задачи решать несложно, но обычно они уже опираются на знания фонологии, полученные на предыдущих занятиях, — примерно так же, через накопленный контекст, действует и модель.
По итогам тестирования модель предложила корректные правила, объясняющие изменение словоформ, для 60% задач.
Байесовское программное обучение и Sketch
В основе метода лежит байесовское программное обучение (Bayesian Program Learning): модель строит компьютерную программу для решения задачи, и именно эта программа и представляет собой грамматику — набор правил, который, по мнению модели, наиболее правдоподобно объясняет слова и их значения в конкретной лингвистической задаче. Для построения модели исследователи использовали Sketch — известный программный синтезатор, созданный Армандо Солар-Лесамой (Armando Solar-Lezama) в MIT.
Отдельно проверялось, способна ли модель находить универсальные шаблоны фонологических правил, применимые сразу ко всем задачам, а не только к отдельному языку.
Что дальше
Авторы работы рассчитывают в будущем применить этот же подход к неожиданным задачам в других областях — везде, где можно переносить знания между родственными наборами данных. Исследование описано в статье «Synthesizing theories of human language with Bayesian program induction» («Синтез теорий человеческого языка методом байесовского программного вывода»).
Источник: MarkTechPost.