Обсуждение:Механистическая интерпретируемость

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
 
Строка 1: Строка 1:
-
== О подготовке статьи ==
+
Статью про механистическую интерпретируемость я подготовил с помощью '''GPT-5.6 Terra High'''. Первый промпт был такой:
-
 
+
-
Статья «Механистическая интерпретируемость» была подготовлена с помощью '''GPT-5.6 Terra High'''. Мне было важно отличить это направление от обычных постфактум-объяснений модели: здесь речь идёт не о красивой визуализации, а о проверке конкретных внутренних механизмов нейросети через вмешательства.
+
-
 
+
-
Первый запрос был таким:
+
{{well|
{{well|
-
Ты разбираешься в интерпретируемости нейронных сетей, трансформерах и безопасности ИИ. Напиши подробную энциклопедическую статью для MachineLearning.ru про механистическую интерпретируемость (mechanistic interpretability).
+
Напиши подробную статью про механистическую интерпретируемость нейросетей. Объясни, чем она отличается от обычных способов объяснения модели после получения ответа.
-
Объясни, чем она отличается от обычного explainable AI. Расскажи про нейроны, признаки, цепочки вычислений, головы внимания и внутренние представления модели. Особое внимание удели тому, почему корреляции активаций недостаточно и зачем нужны абляции, activation patching и другие причинные вмешательства.
+
Расскажи про нейроны, признаки, внутренние представления, головы внимания и вычислительные цепочки. Объясни, почему одной корреляции активаций недостаточно и зачем нужны абляции, activation patching и другие вмешательства во внутреннюю работу модели.
-
Раскрой суперпозицию, полисемантичность, моносемантичность, разреженные автоэнкодеры и словарное обучение. Упомяни реальные работы Toy Models of Superposition, Towards Monosemanticity и Scaling Monosemanticity.
+
Добавь суперпозицию, полисемантичность нейронов, моносемантичные признаки, sparse autoencoders и словарное обучение. Упомяни Toy Models of Superposition, Towards Monosemanticity и Scaling Monosemanticity.
-
Статья должна быть понятна студенту, но технически точна. Добавь формулы, внутренние ссылки, реальные академические источники, ограничения метода и связь с безопасностью ИИ. Не выдумывай факты, авторов, результаты и DOI.
+
Пиши понятно для студента, но не упрощай важные технические моменты. Добавь формулы, ограничения, внутренние ссылки и настоящие научные источники. Ничего не выдумывай. Формулы оформляй через <tex> и </tex>, отдельные формулы начинай с двух двоеточий.
-
 
+
-
Формулы оформляй через <tex>...</tex>, а отдельные формулы выделяй двойным отступом через два двоеточия.
+
}}
}}
-
После первого черновика я решил подробнее раскрыть два момента: что именно считается свидетельством механизма и почему отдельный нейрон не обязательно соответствует одному человеческому понятию.
+
Первый текст получился неплохим, но наблюдение за активациями и реальная причинная проверка были разделены недостаточно чётко. Ещё хотелось подробнее объяснить, почему один нейрон не обязан отвечать за одно понятие и почему найденный признак сам по себе не является полным объяснением работы модели.
-
Второй запрос был таким:
+
Второй промпт я написал так:
{{well|
{{well|
-
Доработай статью «Механистическая интерпретируемость» как научный редактор.
+
Доработай статью про механистическую интерпретируемость. Чётко раздели обычное наблюдение за внутренними активациями и причинную проверку механизма.
-
Чётко раздели статистическое наблюдение внутренней активации и причинную проверку механизма. Добавь раздел об абляции и activation patching с простой формальной записью эффекта вмешательства.
+
Подробнее объясни абляцию и activation patching, добавь простую формулу эффекта вмешательства. Расширь часть про суперпозицию и полисемантичность. Напиши, как sparse autoencoders и словарное обучение используются для поиска более понятных признаков.
-
Расширь раздел о суперпозиции: объясни, почему сеть может представлять больше признаков, чем число доступных координат, и как это связано с полисемантичностью нейронов. Затем подробно опиши sparse autoencoders, словарное обучение и идею моносемантичных признаков.
+
Не пиши, что найденный признак автоматически объясняет всё поведение модели. Добавь ограничения: субъективность интерпретации, неполное покрытие, большое число возможных цепочек, перенос выводов с маленьких моделей и возможные артефакты автоэнкодеров.
-
Не создавай впечатление, что найденный признак автоматически является полным объяснением поведения модели. Добавь ограничения: субъективность интерпретации, неполнота покрытия, масштаб числа цепочек, перенос результатов с маленьких моделей и риск артефактов автоэнкодера.
+
Убери пустые фразы и проверь источники. Все формулы оформи через <tex> и </tex>, отдельные формулы начинай с двух двоеточий. Верни готовую статью целиком.
-
 
+
-
Проверь, что нет пустых фраз, рекламных утверждений, выдуманных источников и несуществующих шаблонов. Все формулы должны использовать <tex>...</tex>, а не <math>...</math>. Верни готовую статью целиком в вики-разметке.
+
}}
}}
-
== Что было уточнено после генерации ==
+
После второго ответа я вручную проверил статью, формулы и ссылки. Особенно посмотрел на знаки эффектов при вмешательствах и на то, чтобы корреляции, отдельные признаки и результаты маленьких моделей не выдавались за полное причинное объяснение.
-
 
+
-
После второй версии я проверил не только связность текста, но и то, соответствуют ли формальные утверждения описанным экспериментам:
+
-
 
+
-
* для эффектов абляции и activation patching явно задано направление метрики, чтобы знак эффекта нельзя было истолковать двояко;
+
-
* наблюдательная доступность информации отделена от причинного использования этой информации моделью;
+
-
* ''faithfulness'' описана как верность воспроизведения поведения полной модели, а не как обычная точность классификации;
+
-
* утверждения о path patching и градиентной аппроксимации патчей снабжены отдельными источниками;
+
-
* результаты игрушечных моделей и sparse autoencoders не представлены как полное объяснение больших моделей;
+
-
* ссылки на работы об IOI и редактировании фактов заменены на страницы рецензируемых публикаций;
+
-
* проверены совместимые с MachineLearning.ru параметры библиографического шаблона и однострочная запись вынесенных формул.
+
-
 
+
-
Итоговая версия различает обнаружение корреляции, причинное вмешательство и степень полноты полученного объяснения.
+
-
— [[Участник:Oleg Batsiev|Oleg Batsiev]]
+
[[Участник:Oleg Batsiev|Oleg Batsiev]]

Текущая версия

Статью про механистическую интерпретируемость я подготовил с помощью GPT-5.6 Terra High. Первый промпт был такой:


Напиши подробную статью про механистическую интерпретируемость нейросетей. Объясни, чем она отличается от обычных способов объяснения модели после получения ответа.

Расскажи про нейроны, признаки, внутренние представления, головы внимания и вычислительные цепочки. Объясни, почему одной корреляции активаций недостаточно и зачем нужны абляции, activation patching и другие вмешательства во внутреннюю работу модели.

Добавь суперпозицию, полисемантичность нейронов, моносемантичные признаки, sparse autoencoders и словарное обучение. Упомяни Toy Models of Superposition, Towards Monosemanticity и Scaling Monosemanticity.

Пиши понятно для студента, но не упрощай важные технические моменты. Добавь формулы, ограничения, внутренние ссылки и настоящие научные источники. Ничего не выдумывай. Формулы оформляй через <tex> и </tex>, отдельные формулы начинай с двух двоеточий.


Первый текст получился неплохим, но наблюдение за активациями и реальная причинная проверка были разделены недостаточно чётко. Ещё хотелось подробнее объяснить, почему один нейрон не обязан отвечать за одно понятие и почему найденный признак сам по себе не является полным объяснением работы модели.

Второй промпт я написал так:


Доработай статью про механистическую интерпретируемость. Чётко раздели обычное наблюдение за внутренними активациями и причинную проверку механизма.

Подробнее объясни абляцию и activation patching, добавь простую формулу эффекта вмешательства. Расширь часть про суперпозицию и полисемантичность. Напиши, как sparse autoencoders и словарное обучение используются для поиска более понятных признаков.

Не пиши, что найденный признак автоматически объясняет всё поведение модели. Добавь ограничения: субъективность интерпретации, неполное покрытие, большое число возможных цепочек, перенос выводов с маленьких моделей и возможные артефакты автоэнкодеров.

Убери пустые фразы и проверь источники. Все формулы оформи через <tex> и </tex>, отдельные формулы начинай с двух двоеточий. Верни готовую статью целиком.


После второго ответа я вручную проверил статью, формулы и ссылки. Особенно посмотрел на знаки эффектов при вмешательствах и на то, чтобы корреляции, отдельные признаки и результаты маленьких моделей не выдавались за полное причинное объяснение.

Oleg Batsiev

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9E%D0%B1%D1%81%D1%83%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5:%D0%9C%D0%B5%D1%85%D0%B0%D0%BD%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B0%D1%8F_%D0%B8%D0%BD%D1%82%D0%B5%D1%80%D0%BF%D1%80%D0%B5%D1%82%D0%B8%D1%80%D1%83%D0%B5%D0%BC%D0%BE%D1%81%D1%82%D1%8C»
Личные инструменты