Большие языковые модели вроде ChatGPT всё активнее используются там, где на кону личные данные пользователя — в медицине, образовании, при подборе персонала. Проблема в том, что такие запросы нередко содержат персональные сведения (PII), которые могут «утечь» прямо в ответе модели. Обычная практика — обезличивать текст перед отправкой в облачный сервис, но это бьёт по качеству ответа: модель теряет контекст, важный для точного результата. Открытые модели, которые можно развернуть локально, безопаснее, но обычно уступают проприетарным по качеству. Получается классическая дилемма: либо приватность, либо точность.
Что предлагают исследователи
Команда из Колумбийского университета, Стэнфорда и Databricks представила PAPILLON — pipeline, название которого расшифровывается как Privacy Preservation from Internet-based and Local Language MOdel ENsembles. Идея построена на принципе «privacy-conscious delegation»: локальная модель, которой пользователь доверяет, выступает посредником между человеком и внешней проприетарной LLM. Она фильтрует чувствительные данные до того, как запрос уйдёт наружу, но при этом сохраняет достаточно контекста, чтобы облачная модель выдала качественный ответ.
Работает система в несколько этапов. Сначала локальная модель обрабатывает запрос пользователя и выборочно маскирует или удаляет из него персональные данные. Если задача требует более сложной обработки, подключается проприетарная модель — но получает минимум PII благодаря специально составленным промптам. Архитектура PAPILLON модульная: связку «локальная модель + облачная модель» можно менять в зависимости от требований к приватности и качеству конкретной задачи.
Результаты на практике
Эффективность проверяли на бенчмарке PUPA (Private User Prompt Annotations) — 901 реальный пользовательский запрос, содержащий персональные данные. Лучшая конфигурация использовала Llama 3.1 8B Instruct в качестве локальной модели и GPT-4o-mini как проприетарную. Итог: 85,5% ответов по качеству были сопоставимы с результатами чисто облачных моделей, а утечка приватных данных составила лишь 7,5%. Для сравнения, методы, основанные только на редактировании (обезличивании) текста, обычно заметно проседают в качестве ответов. Тестирование разных сочетаний моделей показало: Llama 3.1 8B стабильно даёт хорошее качество при низком уровне утечки данных — даже в задачах, чувствительных к приватности.
Почему это важно
Авторы подчёркивают: PAPILLON, в отличие от простого редактирования текста, сохраняет достаточно контекста, чтобы не терять смысл запроса, — и в этом её преимущество перед классической анонимизацией. Модульность решения позволяет применять его в разных отраслях, где требуется защита персональных данных при работе с LLM, — от медицинских консультаций до обработки резюме соискателей. Исследователи рассматривают PAPILLON как основу для дальнейшего развития приватных и при этом качественных AI-систем.
Источник: MarkTechPost.