Сколько инструментов можно дать AI-агенту: замер на 5–100 MCP-инструментах

Что сделать сегодня

• Если вы подключаете AI-агента к CRM, рекламе или аналитике, не урезайте набор инструментов только из страха, что агент запутается: в этом замере точность от их числа не зависела.
• Проверьте, включён ли в вашей программе-агенте поиск инструментов. Если инструментов больше двух десятков, он экономит место для работы модели.
• Следите за описаниями инструментов: по замеру именно описание, а не название, помогало агенту выбрать правильное действие.
• Перед тем как объединять или дробить инструменты, проверьте результат на своей программе-агенте: одна и та же схема в разных агентах работает по-разному.

Для специалистов

Как проводили замер

По Claude Code авторы замерили два режима, по Codex CLI и Antigravity — по одному. Все три агента работали с одним тестовым MCP-сервером, на котором было от 5 до 100 инструментов. Отдельно проверили вариант, где те же 50 операций собраны в 7 «сборных» инструментов. Задач было 18, у каждой известен правильный ответ, 10 из них — неоднозначные: рядом лежал инструмент с почти таким же названием. Каждую комбинацию повторяли дважды. Правильным считался прогон, где агент выбрал нужные инструменты, в нужном порядке и с нужными ключевыми параметрами (как модели вызывают инструменты).

Токены и контекст

Входные токены — это объём текста, который программа-агент отправляет модели: запрос, служебные инструкции и описания инструментов. Контекст — это «рабочая память» модели на одну задачу; чем больше её занято описаниями инструментов, тем меньше остаётся на саму работу.

У Claude Code есть два режима:

• с поиском инструментов (включён по умолчанию): модель сначала видит только названия, а полное описание нужного инструмента подгружает сама. Входных токенов на задачу — 13,8 тыс. при 5 инструментах и 19,9 тыс. при 100;
• без поиска: описания всех инструментов уходят в каждый запрос, и расход растёт с 9,3 тыс. до 48,6 тыс. токенов.

На малом числе инструментов поиск обходится дороже — это лишний шаг. Окупается он примерно с 19 инструментов, а при 100 экономит 59% входных токенов. Денег в этих задачах он не сэкономил: почти весь ввод читался из кэша, а поиск добавлял ещё один вызов модели. Выигрыш — в свободном месте в контексте.

Сборные инструменты

В Claude Code без поиска 7 сборных инструментов оказались самым дешёвым вариантом, с поиском разница была небольшой. А в Antigravity именно со сборными инструментами случилось единственное падение точности в основном замере — до 89%.

Оговорки

Инструменты в тесте ненастоящие — ничего не делают с файлами. Все задачи из одной области: файлы и документы. Токены считаются вместе со служебной нагрузкой каждой программы — её собственными инструкциями и настройками, которые она добавляет к каждому запросу. Поэтому сравнивать можно рост внутри одного агента, а не цифры разных агентов между собой. В отдельной серии с самыми дешёвыми моделями ошибки всё же появились: 8 неудачных прогонов из 1 296, причём в 4 из них агент выполнил не тот инструмент.

Источник: исследование worklore на GitHub.