Тестирование различных запросов агентов с Supabase и OpenAI

Легко проводите A/B тестирование подсказок языковых моделей, случайным образом назначая каждому сеансу чата либо базовую, либо альтернативную подсказку, обеспечивая согласованность на протяжении всего сеанса. Автоматически проверяет и обновляет таблицу Supabase для отслеживания идентификаторов сеансов и назначенных им подсказок. Использует интеграции Supabase, OpenAI и PostgreSQL для бесшовной обработки данных и ответов ИИ. Настраивайте значения подсказок, активируйте рабочий процесс и наблюдайте за сплит-тестированием в реальном времени через интерфейс чата n8n. Легко расширьте настройку, чтобы экспериментировать с различными параметрами LLM и измерять эффективность подсказок для оптимизации на основе данных.

Category: n8n

Описание
Отзывы (0)

Описание

Этот рабочий процесс реализует механизм A/B тестирования для чат-промтов с использованием Supabase и OpenAI в n8n. Его основная цель состоит в том, чтобы случайным образом назначать входящие сеансы чата для одного из двух заранее определенных промтов (базового или альтернативного) и поддерживать последовательное использование промта на протяжении всего сеанса. Это позволяет пользователям оценивать и сравнивать эффективность различных промтов больших языковых моделей (LLM) в продакшене.

Рабочий процесс логически разделен на три основных блока:

1.1 Прием входящих сообщений: Захватывает входящие сообщения чата и извлекает идентификаторы сеансов.
1.2 Назначение промта сеанса: Проверяет, есть ли у сеанса чата уже назначенный промт в Supabase; если нет, то случайным образом назначает один и сохраняет его.
1.3 Генерация ответа ИИ: Использует назначенный промт для генерации ответа через модель чата OpenAI, включая память сеанса, хранящуюся в PostgreSQL.