Трансформер
Определение
Трансформер — архитектура нейронной сети для обработки последовательностей, в которой внимание связывает позиции, а полносвязные блоки преобразуют их представления.
Также ищут: Transformer · Transformer architecture · архитектура Transformer
Зачем это знать
Помогает проверить по схеме модели, какие данные доступны при построении очередного токена.
Карта понятия
Что подтверждено
В исходной модели кодировщик (encoder) строит представления входа. Декодер (decoder) формирует выход, обращаясь к ним через отдельный блок внимания.
Граница применимости: Vaswani et al., v5, §§3.1 и 3.2.3; исходная модель последовательного преобразования.
В GPT-1 используется только декодер Transformer с маскированным самовниманием. В исходной модели Vaswani есть также кодировщик и внимание к его выходу.
Граница применимости: Сопоставление Vaswani et al., v5, §§3.1–3.2.3, и конкретной конфигурации GPT-1 из Radford et al., 2018, §4.1; не обобщение на каждую GPT-модель.
В каждом слое исходной модели есть полносвязная сеть (FFN), преобразующая вектор каждой позиции отдельно. Её веса общие для позиций, но различаются между слоями.
Граница применимости: Vaswani et al., v5, §§3.1 и 3.3; именно исходная модель.
В самовнимании исходного декодера причинная маска разрешает текущую и предыдущие входные позиции, запрещая будущие.
Граница применимости: Vaswani et al., v5, §§3.1 и 3.2.3. Вход декодера сдвинут относительно целевой последовательности; текущая входная позиция разрешена.
Порядок позиций исходная модель учитывает через кодирования, добавленные к эмбеддингам. Авторы выбрали синусы и косинусы, проверив также обучаемый вариант.
Граница применимости: Vaswani et al., v5, §3.5; синусоидальный вариант описывает оригинал, а не каждую Transformer-модель.
Что проверить
- Уточните, есть ли кодировщик и связь с декодером.
- Проверьте доступные позиции по причинной маске.
- Уточните позиционное кодирование модели.
Первоисточники
- Improving Language Understanding by Generative Pre-Training
§3.1, формулы 1–2 описывают авторегрессионную цель обучения. §3.2 относится к конкретному дообучению на размеченных данных; его нельзя переносить на все современные схемы дообучения. 26.10.2026 сверён §4.1: GPT-1 использует decoder-only Transformer с masked self-attention.
Утверждения: 02