Чат с местными LLM с использованием n8n и Ollama

Взаимодействуйте безопасно с локально размещёнными моделями ИИ через интерфейс чата, интегрированный в n8n. Используйте Ollama для управления и запроса LLM на вашем собственном оборудовании, гарантируя конфиденциальность и исключая расходы на облачные API. Экспериментируйте, создавайте прототипы и разрабатывайте решения на основе ИИ в контролируемой, изолированной среде. Записывайте сообщения чата, пересылайте их вашему локальному LLM и немедленно получайте умные ответы — всё в рамках вашего рабочего процесса. Легкая настройка: просто убедитесь, что Ollama запущен и настроен, затем общайтесь с вашим личным помощником ИИ, без необходимости в внешних сервисах.

Category: n8n

Описание
Отзывы (0)

Описание

Этот рабочий процесс позволяет осуществлять взаимодействие в реальном времени с локально размещёнными большими языковыми моделями (LLM), используя n8n в сочетании с Ollama — инструментом для управления локальными LLM. Он разработан для обеспечения приватных, экономичных и экспериментальных AI-бесед, направляя пользовательские сообщения чата на сервер Ollama и возвращая AI-сгенерированные ответы в n8n.

Рабочий процесс логически разделён на следующие блоки:

1.1 Приём ввода: Захватывает сообщения чата пользователя через узел триггера чата.
1.2 Обработка AI (Цепочка LLM для чата): Перенаправляет ввод пользователя в модель чата Ollama и получает AI-сгенерированный ответ.
1.3 Доставка ответа: Возвращает AI-ответ обратно в интерфейс чата (неявно обрабатывается узлом триггера чата LangChain).

Дополнительно есть узлы с заметками, содержащие документацию и инструкции по настройке.