Оценочные тесты Skills: без них навык как непроверенный код
6 августа 2026 в Тайбэе прошёл workshop по оценочным тестам навыков от Claude Community Taiwan: участникам предлагали приносить уже существующий Skill и строить для него набор тестов, искать граничные случаи и проверять стабильность поведения. Это сигнал зрелости экосистемы: вопрос смещается с «как написать хороший Skill?» на «как доказать, что Skill улучшает результат?». Редактор skill-creator уже умеет тесты в чистых контекстах, слепое сравнение версий и замер доли успешных прогонов, токенов и времени — в том числе в Cowork.
Коротко
- Что произошло: 6 августа 2026 в Тайбэе прошёл workshop по оценочным тестам навыков — не вводный курс, а практикум для уже существующих Skills.
- Кто вёл: амбассадор сообщества Justin; формат — сообщество, не корпоративный релиз.
- Инструменты: skill-creator Anthropic — оценочные тесты, эталонный прогон, слепое сравнение; доступно в Claude.ai, Cowork и Claude Code.
- Главное ограничение: workshop рассчитан на тех, кто уже писал Skills; без этого базового опыта порог входа высокий.
- Главное последствие: Skill без тестов всё больше похож на непроверенный код.
Что изменилось
6 августа 2026 в Тайбэе состоялся workshop по оценочным тестам навыков от Claude Community Taiwan. Это был не мастер-класс «как написать первый Skill», а сессия для тех, кто уже имеет навык и хочет:
- построить набор оценочных тестов;
- найти граничные случаи и скрытые ошибки;
- проверить стабильность и предсказуемость поведения.
Workshop вёл амбассадор сообщества Justin. По описанию организаторов, участники приносили свой Skill и уходили с процессом верификации для ежедневной работы.
Параллельно Anthropic уже развивает официальный контур тестирования. В skill-creator авторы Skills могут:
- писать оценочные тесты — запросы с критериями «хорошего» ответа;
- запускать эталонный прогон: доля успешных прогонов, время, токены;
- гонять тесты в независимых чистых контекстах (параллельные агенты без перекрёстного загрязнения);
- сравнивать две версии Skill вслепую или навык против Claude без навыка через сравнивающего агента;
- настраивать описание навыка, чтобы снизить ложные и пропущенные срабатывания.
Возможности работают в Claude.ai, Cowork и как плагин для Claude Code.
| Сигнал | Что означает |
|---|---|
| Workshop в Тайбэе | Сообщество перешло от авторства к верификации |
| skill-creator | Инструменты тестирования в продукте, не только в документации |
| Слепое сравнение | Субъективное «стало лучше» заменяется процедурой |
Почему это важно
Хороший индикатор зрелости экосистемы: вопрос меняется с
«Как написать хороший Skill?»
на
«Как доказать, что Skill действительно улучшает результат?»
Anthropic в блоге разделяет два типа навыков:
- Прирост возможностей — модель без навыка не справляется или справляется нестабильно (пример: сложные PDF-формы).
- Закодированный процесс — модель умеет по частям, но навык фиксирует порядок вашего рабочего процесса (проверка NDA, еженедельный отчёт из MCP).
Для первого типа оценочные тесты показывают, когда навык перестал быть нужен — базовая модель научилась сама. Для второго — насколько точно навык воспроизводит ваш рабочий процесс.
Без тестов маркетинговый Skill — красивая инструкция, которую никто не перепроверял после смены модели, коннектора или источника данных.
Что это означает для маркетинга
Минимальный контракт тестирования для маркетингового Skill:
| Проверка | Что измеряем |
|---|---|
| Триггер | Навык вызывается на нужных запросах и не срабатывает на чужих |
| Верность источникам | Цифры и факты соответствуют данным |
| Верность методологии | Соблюдены шаги аудита, задача пользователя, SEO-чеклист |
| Бизнес-ограничения | Не потеряны маржа, наличие, сегмент, бюджет, цели |
| Качество решения | Рекомендация следует из данных, а не из шаблона |
| Граничные случаи | Пропуски и противоречия в данных не ломают навык |
| Безопасность | Нет запрещённых действий записи |
| Экономика | Стоимость и время запуска разумны |
Самый полезный приём — не сравнивать новую версию со старой глазами автора:
20 реальных задач × навык включён × навык выключен → слепое сравнение → качество, точность, стоимость, стабильность.
Если Claude без Skill даёт тот же или лучший результат, навык с приростом возможностей можно удалить или сильно сократить. Anthropic рекомендует оценочные тесты именно для обнаружения таких случаев по мере улучшения моделей.
Принцип для большой библиотеки Skills: не только добавлять новые, но и регулярно убирать те, чья добавленная ценность исчезла.
Связанный контекст: Google описала промышленный контур Skills с регрессиями; аудит промптов в Claude Code 2.1.221 ловит устаревшие формулировки. Оценочные тесты закрывают третий слой — доказательство прироста.
Что протестировать
- Навык включён vs выключен. Возьмите 10–20 реальных маркетинговых задач из прошлого месяца. Прогоните с навыком и без. Слепое сравнение (или коллега без знания версии) оценивает качество — не автор навыка.
- Регрессия после смены модели. После обновления Claude перезапустите оценочные тесты. Навык, который «всегда работал», часто ломается на описании или порядке шагов, а не на логике.
- Триггер. Добавьте 5 запросов, где навык не должен срабатывать. Ложные срабатывания дороже пропусков — они тратят токены и подменяют процесс команды.
Что проверить сейчас
Хотите превратить каталог Skills из папки с инструкциями в проверенную библиотеку?
На обучении по маркетинговым навыкам разбираем, как писать Skills и сразу закладывать контракт тестирования: триггер, верность данным, экономика запуска.
Главный вывод
6 августа workshop в Тайбэе показал: оценочные тесты Skills выходят из документации в практику. Сообщество учит не писать ещё один файл навыка, а доказывать прирост — через тесты, эталонный прогон и слепое сравнение.
Для маркетинга это дисциплина ближе к разработке: навык без тестов — непродукт. Для зрелой библиотеки — обязательный цикл: измерить → сравнить с базовой моделью → удалить то, что больше не даёт прироста возможностей.
Источники
- Improving skill-creator: Test, measure, and refine Agent Skills — Anthropic, 2026-03-03
- Taipei | Claude Code Skill Evals Workshop — Claude Community Taiwan (Luma), 2026-08-06
Читайте также
Google: промышленный стандарт разработки Agent Skills
Google раскрыла контур сопровождения Agent Skills: MCP вместо прямых вызовов API, сравнительные оценки со Skill и без, владелец на каждый Skill. Что проверить в каталоге и как это стыкуется с MCP Panel.
Claude Code 2.1.221: аудит промптов для Skills
Claude Code 2.1.221–2.1.222: prompt-audit для промптов и описаний инструментов, проверка имён плагинов. Процесс обновления Skills после смены модели и реестр совместимости.
Claude Code 2.1.215 отключил автоматическую проверку
Claude Code 2.1.215 убирает автозапуск проверки и ревизии кода. Как зафиксировать проверки в Marketing OS и не публиковать без успешного прохождения.
Anthropic: аналитика Skills и экономика агентных процессов
Anthropic измеряет Skills: стоимость запуска, действия коннекторов, MCP-записи и «насколько агентна работа». Какие метрики взять в MCP Panel и почему не делать главным KPI «сэкономленные часы».