Визуально-языковая модель
Определение
Визуально-языковая модель (VLM) — модель для совместной обработки визуальных данных и естественного языка. Она может сопоставлять изображение с описанием или генерировать текстовый ответ.
Также ищут: VLM · модель компьютерного зрения и языка · vision-language model
Зачем это знать
По названию VLM нельзя определить способ работы модели. CLIP сравнивает представления изображения и текста; Qwen2-VL передаёт визуальные признаки языковой модели. Для задачи важно различать эти пути.
Карта понятия
Что подтверждено
В Qwen2-VL изображение проходит визуальный кодировщик ViT; затем соседние признаки объединяются блоками 2×2 и передаются языковой модели.
Граница применимости: Архитектура Qwen2-VL; в коде merger входит в self.visual. Не универсальная схема всех VLM.
CLIP отдельно кодирует изображение и текст в векторы и сравнивает их близость. При классификации он выбирает среди заданных описаний классов; этот способ работы не требует генерации текстового ответа.
Граница применимости: Пример CLIP из указанной статьи; не утверждение, что все негенеративные VLM устроены как CLIP.
CLIP сопоставляет векторы изображения и текста, а Qwen2-VL передаёт визуальные признаки языковой модели для генерации. Поэтому путь ViT → пространственное слияние → LLM не определяет весь класс VLM.
Граница применимости: Граница проверенной архитектуры по статье Qwen2-VL и pinned Transformers v4.45.2.
Что проверить
- Уточните ожидаемый результат: сопоставление изображения и текста или генеративный ответ по изображению.
- Для Qwen2-VL проследите изображение через ViT и пространственное слияние 2×2 до языковой модели.
- Уточняйте устройство выбранной модели: схема Qwen2-VL не описывает все VLM.
Первоисточники
- Qwen2-VL: Enhancing Vision-Language Model’s Perception of the World at Any Resolution
§2.1 Model Architecture / Naive Dynamic Resolution; Unified Image and Video Understanding; §2.2.1 Data Format.
- modeling_qwen2_vl.py
PatchEmbed, PatchMerger, vision forward and conditional-generation forward with image features.
Утверждения: 01
- Learning Transferable Visual Models From Natural Language Supervision
§2.3 Selecting an Efficient Pre-Training Method; §3.1.2 Using CLIP for Zero-Shot Transfer. Два кодировщика и классификация по сходству представлений.