Воспроизведённая ошибка
На изолированном примере, до любой правки.
Skill Regression Check
Skill воспроизводит конкретную ошибку навыка на изолированном примере и проверяет исправление. Подходит для регрессии поведения одного навыка.
Версия 2.0.0 · marketing-skills 2.0.7 che-skill-regression-check
Тестирование ИИ-агентов: воспроизвести ошибку Skill и проверить исправление
Навык проверяет одну наблюдаемую ошибку навыка. Он воспроизводит её на обезличенных входах, исправляет только подтверждённую причину и повторяет те же случаи после правки, отмечая улучшения и регрессии по каждому критерию.
↓СкачатьGitHub
Скачать навык с GitHub
Архив навыка che-skill-regression-check — в релизе marketing-skills v2.0.7 на GitHub.
Как установить
Отправьте этот промпт своему агенту в системе, поддерживающей навыки. Он определит доступный способ установки и либо выполнит её, либо даст инструкции для вашего интерфейса:
Хочу установить Marketing Skill Cheremisina (che-skill-regression-check) из репозитория: https://github.com/LuCheremisina/marketing-skills
Определи, в какой системе и среде ты работаешь. Прочитай актуальную инструкцию установки для этой системы. Если доступна штатная установка, установи авторский маркетинговый пакет. Если он уже установлен, сравни версии и содержимое, сохрани локальные доработки и избегай дублей. Сторонний engineering-пакет не устанавливай. Если установка из чата недоступна, дай точные действия: какой файл скачать и куда его загрузить в интерфейсе этой системы. Не считай чтение репозитория установкой. После установки сообщи версию, количество обнаруженных навыков и что фактически проверено.
После установки дайте агенту реальную задачу. Например:
Используй che-skill-regression-check: воспроизведи ошибку моего навыка [название] на входе [пример], ожидаемое поведение — [описание]; проверь исправление на тех же случаях
Образец — журнал прогонов
Образец формата — не материал клиента.
| Поле | Что записывается |
|---|---|
| Вход | Реальный обезличенный пример или граничный случай |
| Версия навыка | До правки и после — с сохранённой исходной версией для возврата |
| Тип проверки | Статический разбор, проверка структуры или поведенческий прогон |
| Критерий и вердикт | Ожидаемое поведение, фактический выход, вердикт |
| Доказательство | Что подтверждает вердикт |
Выводы по результату
- Ошибка инструкции отделяется от нехватки доступа, сбоя инструмента, неполных данных и неверного ожидания.
- Проценты считаются только по фактически выполненным случаям.
Конкретная ошибка — воспроизведена и проверена
Правка подтверждённой причины
Исправляется только то, что подтверждено прогоном.
Те же случаи до и после
Улучшения и регрессии — по каждому критерию.
Честный итог
Причина, правка, результаты, непроверенное и состояние установки.
Обычный ИИ-чат и регрессионная проверка
Обычный ИИ-чат правит инструкцию по описанию ошибки. Навык воспроизводит её и сравнивает те же случаи до и после правки.
| Обычный ИИ-чат |
|---|
| Правит инструкцию по описанию ошибки |
| Проверяет на одном примере |
| Называет мысленный разбор тестом |
| Повторяет «самолечение» без конца |
Ошибка → случаи → прогон до → правка → прогон после
1
Устанавливает точный навык, его исходную папку, версию и наблюдавшуюся ошибку; читает инструкции и только относящиеся к сбою ресурсы.
2
Сохраняет исходную версию или список правок для возврата и фиксирует обезличенные входы, граничные случаи и случай, где навык не должен применяться.
3
До изменения выполняет доступные безопасные прогоны и записывает вход, версию, выход, критерий, вердикт и доказательство.
4
Отделяет ошибку инструкции от нехватки доступа, сбоя инструмента и неполных данных и исправляет только подтверждённую причину.
Навык работает с вашими материалами.
Когда навык начал ошибаться
Навык начал ошибаться
Наблюдаемая ошибка после изменения инструкции или среды.
Проверка исправления
Убедиться, что правка устранила сбой и не сломала обязательный сценарий.
Внешние сервисы
Фикстуры или тестовая среда вместо рабочих систем.
Регрессия после обновления
Те же входы до и после новой версии навыка.
Что входит и сколько стоит
Навык бесплатный и работает независимо от MCP Panel.
Какие MCP используются
Коннекторы: не требуются
—FAQЧастые вопросы
Частые вопросы
Что нужно на входе?
Навык, конкретный сбой, входные данные и ожидаемое поведение.
Что я получу?
Итог по цепочке: причина → правка → реальные результаты до и после → непроверенное → исходник и состояние установки.
Чем отличается от Skill Optimizer?
Skill Regression Check воспроизводит конкретную ошибку и проверяет исправление на тех же входах. Skill Optimizer проверяет и улучшает инструкции — один навык или всю библиотеку.
Это обучение модели?
Нет. Это проверка поведения инструкции на одинаковых входах до и после изменения, а не обучение весов модели.
Можно ли проверить навык, который принимает результат по брифу?
Да, если есть конкретная ошибка и ожидаемое поведение. Например, для навыка Brief Acceptance фиксируются те же входы до и после правки.
Нужна ли MCP Panel?
Не обязательно. Навык бесплатный и работает независимо от MCP Panel.
Нужны ли доступы на демо?
Для первой встречи доступы к вашим системам не нужны. Если хотите увидеть работу на своих данных, подготовьте выгрузку отчёта из нужной системы.
Сколько стоит навык?
Навык бесплатный: архив навыка (релиз 2.0.7) скачивается по кнопке на этой странице.
MCP Panel в работе с навыками
На демонстрации — как MCP Panel работает вместе с навыками в нейросети на ваших данных. Навыки бесплатные, скачать их можно выше на этой странице.