Сравните различные ответы LLM бок о бок с помощью Google Sheets

Сравните две языковые модели одновременно в интуитивно понятном интерфейсе чата и записывайте все вводимые данные, выводы и контексты в Google Sheets для легкого анализа. Отправьте один и тот же запрос каждой языковой модели одновременно и просматривайте их независимые ответы как в реальном времени, так и в совместной таблице. Легко настраивайте системные подсказки, инструменты и модели, включая OpenRouter, Vertex AI или конкретные версии OpenAI, в соответствии с потребностями вашего агента. Дайте возможность вашей команде, независимо от технической подготовки, вручную или автоматически оценивать ответы, гарантируя выбор лучшей модели для вашего случая использования. Следите за использованием токенов, так как каждый ввод обрабатывается обеими…

Category: n8n

Описание
Отзывы (0)

Описание

Этот рабочий процесс позволяет сравнивать результаты работы двух различных крупных языковых моделей (LLM) бок о бок, используя интерфейс чата и Google Sheets для ведения учета и оценки. Он предназначен для разработчиков ИИ и команд, которые хотят оценить, какая LLM более эффективно работает для их конкретного случая использования, сравнивая ответы на один и тот же вводимый запрос.

Логические блоки:

1.1 Прием ввода и определение модели
Принимает ввод пользователя в чате, определяет список LLM моделей для сравнения.
1.2 Итерация моделей и настройка контекста
Разделяет список моделей, подготавливает переменные, специфичные для сессии, для каждой модели и управляет изолированными контекстами памяти.
1.3 Обработка ИИ для каждой модели
Отправляет ввод каждой модели независимо через узел Агента ИИ, который динамически выбирает модель и использует изолированную память.
1.4 Подготовка и агрегация данных
Форматирует вывод каждой модели для отображения в чате, собирает контекст и вводы, и агрегирует результаты для оценки.
1.5 Конкатенация вывода и ведение учета
Конкатенирует выводы моделей для отображения в пользовательском интерфейсе чата и ведет учет всех соответствующих данных в таблице Google для последующей ручной или автоматизированной оценки.