Г. А. Нижниченко

СИСТЕМА ОЦЕНКИ КАЧЕСТВА МОДЕЛЕЙ И АГЕНТОВ В МУЛЬТИАГЕНТНОЙ ИНТЕЛЛЕКТУАЛЬНОЙ ПЛАТФОРМЕ КОНКУРЕНТНОЙ РАЗВЕДКИ: АРХИТЕКТУРА И МЕТОДОЛОГИЯ

Резюме: Статья посвящена проблеме оценки качества больших языковых моделей (LLM) и интеллектуальных агентов в мультиагентных платформах автоматизации конкурентной разведки. Актуальность исследования обусловлена переходом от монолитных LLM-систем к мультиагентным архитектурам, требующим дифференцированного подхода к оценке: модельного (сравнение базовых моделей при прочих равных условиях) и агентного (оценка всей системы, включающей модель, инструменты скрапинга, промпты и оркестрацию). Целью работы является разработка архитектуры двухуровневой системы оценки, включающей агент-эвалюатор с трассировкой цепочки рассуждений, контрольный датасет из 30+ сценариев использования и механизм валидации на выборках реальных пользовательских запросов. Методологическую основу составляют парадигма LLM-as-a-Judge, принципы Agent-as-a-Judge, а также методы системного анализа и проектирования информационных систем. Предложена архитектура системы оценки, включающая компоненты Cell Agent (модель + инструменты + промпт), Cell Agent Models (сравнение моделей), Evaluator Agent (трассировка шагов, верификация источников, оценка корректности и оптимальности) и базу данных результатов. Разработана четырёхкритериальная модель верификации: (a) верифицируемость и логичность каждого шага, (b) корректность и релевантность привлечённых источников, (c) корректность финального результата, (d) оптимальность пути решения. Научная новизна состоит в обосновании интегрированного подхода к оценке, объединяющего модельный бенчмаркинг и агентную трассировку в единой архитектуре. Практическая значимость определяется возможностью применения результатов при проектировании систем управления качеством данных в организационных системах.

Ключевые слова: Мультиагентная система, оценка качества, LLM-as-a-Judge, Agent-as-a-Judge, конкурентная разведка, большие языковые модели, агент-эвалюатор, трассировка рассуждений, управление в организационных системах, контрольный датасет, бенчмаркинг.

Nizhnichenko G. A.

MODEL AND AGENT EVALUATION SYSTEM IN A MULTI-AGENT INTELLIGENT COMPETITIVE INTELLIGENCE PLATFORM: ARCHITECTURE AND METHODOLOGY

Summary: The article addresses the problem of evaluating the quality of large language models (LLMs) and intelligent agents in multi-agent competitive intelligence automation platforms. The aim is to develop the architecture of a two-level evaluation system featuring an Evaluator Agent with reasoning chain tracing, a control dataset of 30+ use cases, and a validation mechanism on samples of real user queries. The proposed architecture includes Cell Agent, Cell Agent Models, Evaluator Agent, and a results database. A four-criteria verification model is introduced: (a) step verifiability and logical consistency, (b) source correctness and relevance, (c) result correctness, and (d) solution path optimality. The scientific novelty lies in substantiating an integrated evaluation approach unifying model benchmarking and agent tracing within a single architecture.

Keywords: Multi-agent system, quality evaluation, LLM-as-a-Judge, Agent-as-a-Judge, competitive intelligence, large language models, evaluator agent, reasoning tracing, management in organizational systems, control dataset, benchmarking.

DOI: 10.34219/2078-8320-2026-16-2-127-133