Скала^р Спектр ИИ

Скала^р Спектр ИИ - это платформа, устанавливаемая на ПАК МИИ и предназначенная для централизованного управления ресурсами ПАК (CPU/RAM/GPU) в сценариях использования ИИ-моделей, приложений с ИИ-функциональностью, агентских систем, а также виртуальных сред.
Продукт позволяет повысить эффективность использования GPU-карт в рамках ПАК, соотнеся вид нагрузки и часть ресурса карты. Также Спектр ИИ сокращает время подготовки ПАК для начала работы с моделями, приложениями, агентами и виртуальными средами, а также устраняет необходимость в установке и конфигурации дополнительного специализированного ПО поверх операционной системы

Функциональные характеристики

• Распределение ресурса, включая GPU-карты, между контейнерами с ИИ-нагрузками, единым образом для карт от разных вендоров
• Мониторинг нагрузки на GPU-карты с возможностью прогнозирования потребностей, исходя из профиля загрузки
• Запуск на ПАК ИИ-моделей как из локального репозитория, так и открытых ресурсов с минимальными настройками и созданием эндпоинтов
• Учет используемых моделями токенов для целей биллинга
• Запуск преднастроенных виртуальных сред на базе контейнеров для сотрудников, которым требуется использование GPU
• Запуск на ПАК MCP/A2A-серверов и других приложений на базе контейнеров и публикация эндпоинтов
• Разграничение доступа пользователей к исполняемым ИИ-нагрузкам
• Каталогизация ИИ-сервисов, развернутых на ПАК (модели, агенты, контейнеры)
• Упрощение эксплуатации и настройки ПАК посредством использования агентского режима