Обсуждение:Позиционное кодирование

Материал из MachineLearning.

Промпт

Статья сгенерирована с помощью LLM Claude Opus 4.8 и вычитана вручную. Приводятся оба промпта (основной и уточняющий).

Основной промпт:

Ты специалист по машинному обучению, профессор в ведущем техническом университете
и популяризатор науки. Напиши статью «Позиционное кодирование» для вики
MachineLearning.ru в вики-разметке MediaWiki.

Статья должна быть полезна и новичку (понятные определения, популярные объяснения),
и профессионалу (актуальные результаты, ссылки на первоисточники). Без банальностей
и «следов LLM».

Объясни, почему трансформеру нужна информация о порядке (перестановочная
инвариантность внимания), разбери абсолютное синусоидальное и обучаемое кодирование,
относительное кодирование, а также современные подходы RoPE и ALiBi. Свяжи с задачей
расширения контекстного окна.

Оформление: жирное определение с термином в скобках «(англ. ...)»; разделы ==...==; формулы через
<tex>...</tex>; внутренние ссылки [[...]]; в конце ==См. также==, ==Литература==
(через * с шаблонами {{статья}}/{{cite web}}), категории. Объём ~500-650 слов.

Уточняющий промпт (2-я итерация):

Добавь формулу синусоидального кодирования и коротко поясни интуицию RoPE
(поворот векторов запроса и ключа на угол, пропорциональный позиции, так что
скалярное произведение зависит от относительного сдвига). Проверь, что все
приведённые работы реальны.

Iaroslav Lyakhov 20:11, 1 июля 2026 (MSD)