Google расширяет AI-функции AlloyDB: новые операторы и ускорение обработки LLM-запросов

Google Cloud объявила о развитии AI-функций в облачной СУБД AlloyDB на базе PostgreSQL. Базовые функции для работы с моделями Gemini переведены в общую доступность, добавлены новые операторы для суммаризации и анализа тональности, а обработка LLM-вызовов внутри базы получила механизмы пакетирования и «оптимизированного» режима с прокси-моделью.

Google Cloud сообщила о расширении набора AI-функций в AlloyDB — облачной СУБД компании, совместимой с PostgreSQL. AI-функции позволяют вызывать модели Gemini прямо из SQL-запросов, чтобы обрабатывать данные внутри базы: извлекать структуру из неструктурированного текста, ранжировать записи и формировать сводки без построения отдельных внешних конвейеров.

Базовые операторы ai.generate, ai.rank, ai.if и ai.forecast переведены в статус общей доступности (Generally Available). Дополнительно представлены три новые функции: ai.analyze_sentiment для классификации тональности текста как позитивной, негативной или нейтральной, ai.summarize для сжатия длинного текста и ai.agg_summarize — агрегатная функция, которая формирует единую сводку по нескольким строкам, например при группировке через GROUP BY.

Ключевая часть анонса — механизмы ускорения обработки LLM-вызовов. Ранее вызов модели для каждой строки большой таблицы упирался в задержки и стоимость. Первый механизм, «умное пакетирование» (Smart Batching), группирует вызовы AI-функций: служебная часть промпта передаётся один раз на пакет, а не повторяется для каждой строки. По данным Google, AlloyDB сама подбирает размер пакета и автоматически выполняет повторные попытки при сбоях. Компания приводит результаты собственного тестирования — прирост производительности до 2400 раз (обработка порядка 10 000 строк в секунду) по сравнению с построчными вызовами. Механизм доступен в предварительной версии для функций ai.if и ai.rank.

Второй механизм — «оптимизированный» режим, стартующий с функции ai.if. AlloyDB обучает лёгкую прокси-модель на выборке данных пользователя и его эмбеддингах: подготовка выполняется через оператор PREPARE, после чего запрос выполняется локально через EXECUTE. Если точность модели недостаточна или обученной модели нет, система автоматически возвращается к вызову внешнего LLM. По внутренним тестам Google, этот подход давал обработку до 100 000 строк в секунду и снижение стоимости в тысячи раз. Режим предлагается в предварительной версии. Технические детали и границы применимости Google описывает в документации по ускорению AI-запросов.