Google представила новый инструмент машинного обучения RETVec (Resilient and Efficient Text Vectorizer — «устойчивый и эффективный векторизатор текста»), который помогает Gmail точнее выявлять спам и вредоносные письма.
Что такое RETVec
RETVec — это многоязычный векторизатор текста, то есть система, которая переводит слова и фразы в числовые представления для последующего анализа: классификации текста, определения тональности, распознавания сущностей и других задач обработки естественного языка. Именно на таких представлениях строятся модели, которые Gmail и YouTube используют для отлова фишинга, спама, неуместных комментариев и прочих мошеннических схем.
Главная особенность новинки — устойчивость к манипуляциям на уровне символов. Как говорится в описании проекта на GitHub, RETVec обучен противостоять вставке лишних символов, удалению букв, опечаткам, гомоглифам (визуально похожим символам из разных алфавитов) и LEET-замене (например, «0» вместо «O»). Именно такими приёмами злоумышленники обычно обходят фильтры контента: подмешивают невидимые символы, злоупотребляют ключевыми словами или используют похожие по начертанию буквы, чтобы обмануть классификатор.
Модель построена на новом посимвольном кодировщике, способном эффективно обрабатывать любые символы UTF-8 и слова целиком. Благодаря этой архитектуре RETVec работает «из коробки» более чем со 100 языками и не требует предварительной обработки текста — это делает его удобным для развёртывания как на серверах, так и непосредственно на устройствах, а также в веб-сервисах, где важна скорость.
Результаты для Gmail
По данным инженеров Google Эли Бурштейна (Elie Bursztein) и Марины Чжан (Marina Zhang), интеграция RETVec в Gmail дала ощутимый эффект:
- точность обнаружения спама выросла на 38% по сравнению с базовой моделью;
- доля ложных срабатываний снизилась на 19,4%;
- нагрузка на тензорные процессоры (TPU) при работе модели уменьшилась на 83%.
Авторы отмечают, что модели, обученные с использованием RETVec, компактнее и быстрее выполняют вывод (инференс). Меньший размер модели напрямую снижает вычислительные затраты и задержки — а это критично для крупных сервисов вроде Gmail и для решений, работающих локально на устройстве.
Почему это важно
Спам и фишинговые письма постоянно эволюционируют: злоумышленники подбирают новые способы обхода автоматических фильтров, будь то подмена символов или скрытые вставки в тексте. Новый векторизатор Google — это попытка сделать защиту устойчивее именно к таким «обманным» приёмам на уровне отдельных символов, а не только к содержанию письма в целом. Для пользователей Gmail это означает меньше спама во «Входящих» и меньше легитимных писем, ошибочно помеченных как нежелательные.
Источник: The Hacker News.