Лаборатория цифровых технологий и инноваций
Integrated Bot Platform
Руководство пользователя
Integrated Bot Platform представляет собой высокотехнологичную экосистему, предназначенную для централизованного управления парком AI-ассистентов.
Платформа объединяет мощности передовых облачных моделей (Cloud.ru Foundation Models) и локальных решений (Ollama, vLLM), обеспечивая стратегическое преимущество в автоматизации коммуникаций и управлении корпоративными знаниями. Внедрение платформы позволяет трансформировать разрозненные данные в структурированную базу знаний, доступную через интеллектуальные интерфейсы Telegram и веб-ассистентов
Платформа объединяет мощности передовых облачных моделей (Cloud.ru Foundation Models) и локальных решений (Ollama, vLLM), обеспечивая стратегическое преимущество в автоматизации коммуникаций и управлении корпоративными знаниями. Внедрение платформы позволяет трансформировать разрозненные данные в структурированную базу знаний, доступную через интеллектуальные интерфейсы Telegram и веб-ассистентов
1. Начало работы и архитектура доступа
Безопасность и разграничение прав являются фундаментом платформы. Система спроектирована таким образом, чтобы каждый сотрудник имел доступ только к тем инструментам и данным, которые необходимы для выполнения его задач, обеспечивая тем самым защиту конфиденциальной корпоративной информации.
1.1. Авторизация в системе
Вход в систему осуществляется через форму аутентификации. Для обеспечения безопасности используется протокол JWT-токенов (JSON Web Token).
● Срок действия сессии: 7 дней. По истечении этого срока система потребует повторный вход.
● Механика: Токен автоматически включается в заголовки всех API-запросов, подтверждая ваши права на просмотр или изменение данных.
● Срок действия сессии: 7 дней. По истечении этого срока система потребует повторный вход.
● Механика: Токен автоматически включается в заголовки всех API-запросов, подтверждая ваши права на просмотр или изменение данных.
1.2. Интерфейс и навигация
Боковое меню ( Sidebar ) является основным узлом управления. Доступность разделов динамически меняется в зависимости от прав вашей группы:
● Песочница RAG и Graph RAG: Инструменты работы с данными.
● Телеграм-боты и Веб-боты: Управление интерфейсами взаимодействия.
● Оптимизация промптов и Тестирование LLM:Инструменты тонкой настройки интеллекта.
● Песочница RAG и Graph RAG: Инструменты работы с данными.
● Телеграм-боты и Веб-боты: Управление интерфейсами взаимодействия.
● Оптимизация промптов и Тестирование LLM:Инструменты тонкой настройки интеллекта.
2. Управление Telegram-ботами
Управление Telegram-ботами на платформе позволяет быстро развертывать масштабируемые решения для поддержки клиентов или внутренних нужд сотрудников, используя мощь различных языковых моделей.
2.1. Создание и базовая настройка
Для создания нового бота нажмите кнопку «Создать бота» в соответствующем разделе. В модальном окне необходимо настроить ключевые параметры:
● Telegram Bot Token: Уникальный ключ, полученный у @BotFather.
● Выбор модели LLM: Платформа поддерживает широкий спектр моделей для разных задач:
● Температура (0.0 – 1.0): Регулирует баланс между точностью и креативностью. Для корпоративных справочников рекомендуется 0.2–0.3.
● Системный промпт: Глобальная инструкция, задающая роль и ограничения бота.
● Telegram Bot Token: Уникальный ключ, полученный у @BotFather.
● Выбор модели LLM: Платформа поддерживает широкий спектр моделей для разных задач:
● Температура (0.0 – 1.0): Регулирует баланс между точностью и креативностью. Для корпоративных справочников рекомендуется 0.2–0.3.
● Системный промпт: Глобальная инструкция, задающая роль и ограничения бота.
2.2. Жизненный цикл бота: Запуск и мониторинг
Активация бота происходит нажатием кнопки «Запустить» . Система использует режим Polling , что позволяет работать без настройки публичных URL.
Важное правило: Для корректной работы необходимо удалить все сторонние Webhooks для данного токена, иначе возникнет конфликт, приводящий к двойным ответам или их отсутствию..
Важное правило: Для корректной работы необходимо удалить все сторонние Webhooks для данного токена, иначе возникнет конфликт, приводящий к двойным ответам или их отсутствию..
3. Работа с базой знаний (RAG и Graph RAG)
Технология RAG (Retrieval-Augmented Generation) — это стратегический инструмент снижения галлюцинаций AI. Она заставляет модель использовать только проверенные корпоративные документы для формирования ответов.
3.1. Песочница RAG: Подготовка данных
В этом разделе вы загружаете документы, которые станут источником знаний.
● Поддерживаемые форматы: PDF, DOCX, TXT, ODT.
● Чанкирование: При загрузке система разбивает файлы на фрагменты (чанки). Это необходимо для того, чтобы при поиске AI находил именно тот абзац, который содержит ответ.
● Правило топ-5: При запросе система извлекает 5 наиболее релевантных фрагментов на основе весового поиска с нормализацией Score.
● Поддерживаемые форматы: PDF, DOCX, TXT, ODT.
● Чанкирование: При загрузке система разбивает файлы на фрагменты (чанки). Это необходимо для того, чтобы при поиске AI находил именно тот абзац, который содержит ответ.
● Правило топ-5: При запросе система извлекает 5 наиболее релевантных фрагментов на основе весового поиска с нормализацией Score.
3.2. Graph RAG: Визуализация знаний
В отличие от обычного RAG, Graph RAG создает сеть связей между сущностями (люди, проекты, технологии). Это позволяет AI отвечать на сложные вопросы, требующие понимания структуры организации.
● Вкладки: «Граф» (визуализация), «Сущности», «Связи», «Q&A» (тестирование графа), «Метрики» и «Настройки».
● Пользовательское управление: Вы можете добавлять сущности и связи вручную или позволить системе извлечь их из документов автоматически.
● Вкладки: «Граф» (визуализация), «Сущности», «Связи», «Q&A» (тестирование графа), «Метрики» и «Настройки».
● Пользовательское управление: Вы можете добавлять сущности и связи вручную или позволить системе извлечь их из документов автоматически.
3.3. Подключение RAG к ботам
Чтобы бот начал использовать базу данных, активируйте переключатель «Использовать RAG» в настройках бота и выберите нужные источники. Защита от галлюцинаций: В режиме RAG бот обязан следовать строгому правилу. Если информация не найдена, он возвращает точную фразу: "Извините, я не нашел релевантной информации в загруженных документах для ответа на ваш вопрос."После настройки источников данных важно убедиться в качестве формулировок, которые бот использует для обработки этих знаний.
4. Инструменты оптимизации и тестирования
Эффективность AI напрямую зависит от точности инструкций. Оптимизация промптов снижает затраты на итерации и обеспечивает единство стиля ответов во всей компании.
4.1. Оптимизация системных промптов
Этот инструмент позволяет превратить краткую мысль в профессиональный промпт. Выберите роль (Expert, Analyst, Coder, Teacher и др.) и целевую модель. Система перепишет вашу инструкцию, добавив в неё необходимые ограничения и форматирование. Все версии сохраняются в «Истории оптимизаций» , что позволяет быстро откатиться к успешным формулировкам.
4.2. Песочница тестирования LLM и Токенизация
Прежде чем выпускать бота в «продакшн», протестируйте его в изолированной среде.
● Контроль контекста: Для RAG-запросов используется увеличенный лимит max_tokens=4000, что позволяет обрабатывать большие объемы данных из документов.
● Анализ токенов: Токенизатор показывает, как текст разбивается на смысловые единицы, помогая оценить стоимость запроса и эффективность использования контекстного окна модели.Отладив поведение одиночного ассистента, можно переходить к построению комплексных систем, состоящих из нескольких взаимодействующих агентов.
● Контроль контекста: Для RAG-запросов используется увеличенный лимит max_tokens=4000, что позволяет обрабатывать большие объемы данных из документов.
● Анализ токенов: Токенизатор показывает, как текст разбивается на смысловые единицы, помогая оценить стоимость запроса и эффективность использования контекстного окна модели.Отладив поведение одиночного ассистента, можно переходить к построению комплексных систем, состоящих из нескольких взаимодействующих агентов.
5. Веб-боты и Агентные системы
Для интеграции AI в бизнес-процессы часто недостаточно одного интерфейса или одной модели. Здесь на помощь приходят веб-виджеты и многоагентные архитектуры.
5.1. Создание Веб-ассистентов
Веб-боты предназначены для встраивания в сайты или порталы. Они поддерживают независимые сессии для каждого пользователя и имеют функцию очистки истории, что критично для публичных интерфейсов.
5.2. Многоагентные системы
Для решения многоуровневых задач (например, анализ документа -> перевод -> написание кода) используются агентные системы:
● Chain (Цепочка): Агенты работают по очереди. Результат первого передается второму.
● Parallel (Параллельная): Запрос отправляется всем агентам одновременно (например, для сравнения мнений разных экспертов).
● Hierarchical (Иерархическая): Стратегический выбор для сложных проектов. Включает Координатора , который анализирует задачу и делегирует её выполнение нужным специалистам.Завершающим этапом освоения платформы является настройка коллективного доступа и мониторинг состояния системы.
● Chain (Цепочка): Агенты работают по очереди. Результат первого передается второму.
● Parallel (Параллельная): Запрос отправляется всем агентам одновременно (например, для сравнения мнений разных экспертов).
● Hierarchical (Иерархическая): Стратегический выбор для сложных проектов. Включает Координатора , который анализирует задачу и делегирует её выполнение нужным специалистам.Завершающим этапом освоения платформы является настройка коллективного доступа и мониторинг состояния системы.