Обсуждение:Машинное забывание
Материал из MachineLearning.
Промпт для подготовки статьи
Работа над статьёй начинается с подробного промпта, в котором заранее заданы тема, целевая аудитория, стиль, структура, требования к оформлению формул, внутренних ссылок и научных источников.
Напиши подробную академическую статью для machinelearning.ru в формате MediaWiki по теме «Контаминация бенчмарков больших языковых моделей».
Целевая аудитория — студенты и специалисты по машинному обучению, анализу данных, обработке естественного языка и прикладной математике. Стиль — энциклопедический, строгий, но понятный новичку.
Все формулы, переменные, индексы и математические обозначения оформляй только через <tex>...</tex>. Важные термины оформляй как внутренние ссылки [[...]].
Добавь преамбулу с точным определением темы и объяснением, почему контаминация бенчмарков важна для оценки больших языковых моделей. После преамбулы добавь __TOC__.
Структуру статьи выбери самостоятельно, но обязательно раскрой разделы: «Терминология и базовые понятия», «Исследовательский контекст», «Причины и источники контаминации», «Виды контаминации», «Математическое описание задачи», «Влияние на оценку качества моделей», «Методы обнаружения контаминации», «Методы предотвращения и деконтаминации», «Практический протокол аудита бенчмарка», «Ограничения существующих методов», «Типичные ошибки при оценке LLM», «Современные исследования и примеры», «Значение для науки и практики», «См. также», «Примечания» с <references />, «Литература», «Ссылки» и категории.
Используй таблицы MediaWiki там, где они помогают: например, для сравнения видов контаминации, методов обнаружения, этапов аудита или типичных ошибок.
Используй только реальные надёжные источники: статьи ACL, EMNLP, NAACL, NeurIPS, ICML, ICLR, JMLR, TMLR, AAAI, KDD, WWW, arXiv-препринты известных исследовательских групп, технические отчёты крупных организаций, официальные страницы датасетов, бенчмарков и проектов. Источники оформляй через <ref name="...">...</ref>. Не выдумывай авторов, названия, годы, DOI, конференции, ссылки и репозитории.
Обязательно различай близкие понятия: контаминацию обучающей выборки, утечку тестовых данных, memorization, data leakage, benchmark overfitting, prompt leakage и intentional benchmark gaming. Если термин имеет несколько трактовок, объясни их нейтрально и со ссылками.
Статья должна быть содержательной, интересной, без воды, повторов и следов LLM. Итог выдай сразу полным MediaWiki-кодом, готовым для вставки на страницу.
