Порядок действий в Skill даёт 65,7% пользы — знания только 4,5%

Что произошло

Авторы препринта разобрали не «улучшают ли Skills успех в среднем», а когда они помогают и почему ломаются при росте библиотеки.

Два числа, которые я держу в голове:

• 65,7% пользы Skill — процедурное якорение: стабильный порядок действий — что проверить раньше, что сравнить потом, какую ошибку исключить, когда остановиться.
• 4,5% — прямое добавление знаний в Skill.

Отдельно — узел маршрутизации. При пуле из 5 Skills точность фактического выбора «правильного» навыка — примерно 29,6%; при пуле из 100 — около 3,3%.

Skill в их определении — короткая инструкция как сделать работу (файл навыка), а не слой знаний о продукте, рынке и клиентах.

Что сделать сегодня

1. Возьмите 10 реальных запросов команды — маркетинг, аналитика, стратегия, контент.
2. Для каждого заранее зафиксируйте: какой Skill должен быть выбран.
3. Сверьте с логом фактического выбора агента: попал ли в «правильный» Skill? Помог ли порядок шагов, а не новая фактология?
4. Перед добавлением новых карточек — сузьте пул: задача → домен (5–10 Skills) → конкретный навык, а не поиск среди всего каталога.

Доказательства

1. 65,7% пользы Skill — процедурное якорение; 4,5% — прямое добавление знаний. Источник: препринт arXiv:2608.14036, 14.08.2026.
2. Точность выбора «правильного» Skill: ~29,6% при пуле 5 Skills → ~3,3% при пуле 100. Тот же препринт.
3. Волна разборов 23 августа — контекст в обзоре Neura Market; цифры там вторичны, не первоисточник.

Парные сравнения, оценка маршрутизации и доверительные интервалы — только в блоке «Для специалистов» ниже.

Для специалистов

Методика препринта. Авторы нормализовали 8 135 записей запусков, вручную разметили 240 траекторий (238 валидных уникальных меток), свели наблюдения в таксономию из трёх верхних категорий и двенадцати режимов использования Skill. Сравнивали одно и то же опытное знание как память рабочего процесса и как дистиллированный файл навыка.

Парные сравнения. Skill улучшает результат относительно памяти рабочего процесса примерно на 6,06 процентных пункта в парных сравнениях; доверительный интервал — у авторов. Это механистический слой, не для лида: цифры получены на терминальных бенчмарках и ограниченном наборе пар «агент + модель»; авторы сами ограничивают обобщение на все типы агентных задач.

Оценка маршрутизации. Практический тест, который я держу отдельно:

``` Оценка маршрутизации навыков 100 реальных запросов ↓ какой Skill должен выбрать агент? ↓ какой выбрал? ↓ почему? ```

Прогонять при каждом существенном расширении каталога. Точный выбор эталонного Skill не всегда обязателен для успеха задачи, но маршрутизация всё равно становится узким местом при росте библиотеки.

Двухэтапная схема вместо плоского каталога:

``` ЗАДАЧА → ДОМЕН (5–10 Skills) → конкретный НАВЫК ```

вместо `ЗАДАЧА → искать среди всего каталога`.