Cainex: исправляйте принцип Skill, а не пример

Что изменилось

Anthropic опубликовала гайд с принципом «доверяй, но проверяй» на примере Cainex — стартапа, который с помощью агентов читает медицинские записи и генерирует коды для больничного биллинга.

Uriah Israel, co-founder и CTO Cainex, формулирует жёстко: «В медицинском кодировании неверный код — не опечатка. Это событие биллинга и соответствия требованиям». Отсюда — культура проверки, которую Anthropic переносит на Skills.

Когда эксперт находит ошибку агента, система Cainex:

1. Находит часть инструкций, которая породила ошибку.
2. Переписывает её — или добавляет новое руководство, если случай действительно новый.
3. Вносит изменение в версионированный набор инструкций.
4. Прогоняет кандидата сначала на записях, где была ошибка.
5. Затем — на эталонном наборе плюс случайной выборке.
6. Выявляет регрессии до выпуска новой версии.

Правило, которое команда держит явно: «исправлять принцип, а не пример».

Первые версии Cainex, по словам Uriah, переобучались на частности: «исправляли» кейс, кодируя конкретный случай — и накапливали заплатки вместо того, чтобы становиться умнее. Подход сменили: принудительно обобщать принципы и ограничивать, сколько частностей может войти в одно изменение.

Тему оценочных тестов Skills мы уже разбирали — здесь другой акцент: не «как мерить», а как править, когда тест упал.

Что это означает для бизнеса

Три следствия для маркетинговой библиотеки Skills:

1. SKILL.md — методология, не журнал инцидентов. Каждое правило должно отвечать на вопрос «какой класс задач это покрывает?», а не «какой баг мы поймали в вторник».

1. Эксперт не чинит примеры — он чинит принципы. Cainex использует предметных экспертов не для правки по одному случаю, а чтобы их указания входили в цикл самоулучшения. Маркетолог, который дописывает «для кампании X делай Y», должен переформулировать в «для кампаний типа Z проверяй W».

1. Версия Skill без регрессии — не версия. Cainex возвращает короткий список: предложенные правки, записи, которые не удалось разрешить, вопросы к эксперту. Инженер тратит время на сложные 20%, а не на механические 80%.

Стыкуется с корпоративной библиотекой Skills и программным интерфейсом Skills в общей доступности: когда навык — управляемый компонент с версиями, правило «не костылить» становится операционным, а не пожеланием.

Что это значит для ваших данных

Принцип Cainex особенно важен для Skills, которые ходят в MCP-коннекторы — Метрика, CRM, рассылки. Агент легко «запоминает» аномалию одного аккаунта как универсальное правило. Обобщение «если в выборке меньше N отправок — помечай результат как неполный» защищает и методологию, и отчётность.

Практический шаг: завести рядом с Skill каталог эталонных тестов или таблицу проверенных кейсов — как в skill-creator, но фокус на регрессии после правки, а не только на первичной оценке. Связка с Crazy Egg: там ценность дала не цепочка Skills сама по себе, а фильтр стратегического угла — принцип, а не 27 правил ради одного письма.