Multimodal LLM jako model embeddingowy – czy da się to zrobić bez kosztownego pretreningu?

Zaledwie ułamek standardowych danych treningowych wystarczył, by uzyskać wyniki konkurencyjne z modelami wytrenowanymi na pełnych zbiorach. To nie hipoteza – to wynik opisany w pracy arXiv 2508.00955v3, która proponuje sposób na przekształcenie generatywnych multimodalnych modeli językowych w uniwersalne modele embeddingowe bez przechodzenia przez żmudny etap kontrastywnego pretreningu. Dla każdego, kto pracuje z systemami retrieval lub buduje potoki przetwarzania oparte na AI, to zmiana, którą warto rozumieć od podstaw.

Czym jest przestrzeń reprezentacji multimodalnej i dlaczego sprawia tyle problemów

Modality gap – cichy wróg multimodalnych systemów

Kiedy próbujesz porównać obraz z fragmentem tekstu, napotykasz problem strukturalny: oba obiekty żyją w zupełnie innych przestrzeniach matematycznych. Tekst przetwarza się sekwencyjnie, obraz – przestrzennie. Modality gap to nazwa tego rozdziału, a jego zamknięcie wymaga, by model nauczył się wspólnego języka reprezentacji.

Klasyczne podejście opiera się na contrastive pre-training – trenowaniu modelu na milionach par obraz-tekst z funkcją straty, która zbliża pasujące pary i oddala niepasujące. Działa. Ale kosztuje – zarówno w danych, jak i w czasie obliczeniowym.

Generatywne modele językowe a zadanie embeddingowe

Generatywne modele językowe nie są projektowane z myślą o tworzeniu embeddingów. Ich architektura optymalizuje przewidywanie kolejnego tokenu, nie budowanie zwartych reprezentacji wektorowych. Przekształcenie takiego modelu w embedding model wymaga więc albo pełnego pretreningu od zera, albo sprytnego fine-tuningu, który nie zniszczy wiedzy zgromadzonej podczas oryginalnego treningu.

Multimodalne modele embeddingowe mapują obrazy i tekst do wspólnej przestrzeni cech, co pozwala na cross-modal retrieval – wyszukiwanie obrazów na podstawie zapytania tekstowego i odwrotnie. To właśnie ta właściwość czyni je przydatnymi w systemach multimodal search, wizualnym pytaniu i odpowiedzi czy organizacji dużych zbiorów multimedialnych.

Dlaczego standardowe metody zawodzą przy skalowaniu

Problem nie leży tylko w kosztach obliczeniowych. Tradycyjne hard negative mining – wybieranie trudnych przykładów negatywnych, które zmuszają model do precyzyjniejszego rozróżniania – cierpi na poważną wadę. Kandydaci oznaczeni jako przykłady negatywne mogą być semantycznie bliskie zapytaniu, tylko inaczej sformułowane lub przedstawione. To zjawisko nosi nazwę false negative contamination i może skutecznie sabotować trening, szczególnie w dużych batchach.

Hierarchical embedding prompt – jak prompt może zastąpić pretrening

Praca arXiv 2508.00955v3 proponuje inne wyjście. Zamiast uczyć modelu od nowa, jak tworzyć reprezentacje, autorzy zakotwiczają definicję zadania bezpośrednio w strukturze promptu – na poziomie systemowym. To podejście nazywa się hierarchical embedding prompt.

Hierarchical embedding prompt dostarcza modelowi silne warunkowanie latentne, które skutecznie domyka modality gap i odblokowuje zdolności zero-shot embeddingowe bez konieczności przeprowadzania kosztownego kontrastywnego treningu. Zamiast uczyć modelu nowego zachowania, prompt precyzyjnie wskazuje, czego model ma szukać i jak ma strukturyzować swoją odpowiedź w przestrzeni latentnej.

W praktyce oznacza to, że model generatywny zostaje przekierowany do tworzenia zwartych reprezentacji wektorowych. Definicja zadania umieszczona na poziomie systemu działa jak instrukcja dla mechanizmów uwagi: zamiast przewidywać kolejny token, model skupia się na wydobyciu semantycznej esencji wejścia. Pozwala to na zero-shot learning w zadaniach embeddingowych – model nie musi widzieć przykładów danego typu zapytania podczas treningu. Dla systemów działających w dynamicznych domenach, gdzie typy zapytań zmieniają się regularnie, to istotna właściwość.

Co ważne, ta metoda nie wymaga pełnego pretreningu na parach multimodalnych. Autorzy raportują wyniki konkurencyjne na Massive Multimodal Embedding Benchmark (MMEB) przy znacząco mniejszym zbiorze treningowym niż standardowe podejścia uznałyby za minimum.

Self-aware Hard Negative Sampling – jak naprawić zatrucie danych treningowych

Sama zmiana promptu to za mało, jeśli dane treningowe są skażone fałszywymi negatywami. Tu pojawia się drugi element systemu: Self-aware Hard Negative Sampling (SaHa).

Standardowy hard negative mining działa w przestrzeni kandydatów: bierzesz zapytanie, szukasz przykładów bliskich w przestrzeni embeddingów, ale niebędących poprawnymi odpowiedziami. Problem polega na tym, że „blisko w przestrzeni” nie zawsze znaczy „semantycznie niepoprawne”. Dwa opisy tego samego produktu mogą wyglądać jak para zapytanie-negatyw, choć oba są poprawnymi odpowiedziami.

Poniżej wymieniono główne właściwości mechanizmu SaHa:

• przenosi wyszukiwanie trudnych negatywów z przestrzeni kandydatów do query-space;
• mapuje kandydatów z powrotem do ich „właścicieli” zapytań, identyfikując false negatives przed zanieczyszczeniem batcha;
• buduje tzw. mutually hard clusters – grupy przykładów wzajemnie trudnych do rozróżnienia;
• zwiększa dyskryminację w obrębie pojedynczego batcha bez dodatkowych przejść przez model;
• działa niezależnie od architektury – można ją stosować do oczyszczania danych dla innych systemów embeddingowych.

Jak wyniki MuMuQA wypadają na benchmarkach?

Opisane mechanizmy brzmią przekonująco w teorii – pytanie, czy przekładają się na liczby. Autorzy testowali system na MMEB, który obejmuje ponad 36 zadań z różnych modalności: od wyszukiwania obrazów przez zapytania tekstowe, po zadania wymagające jednoczesnego rozumienia tekstu i grafiki.

Model bazowy bez modyfikacji osiąga na MMEB wyniki wyraźnie poniżej specjalizowanych rozwiązań. Hierarchical embedding prompt podnosi skuteczność o kilkanaście punktów procentowych już bez zmiany wag modelu. Pełny system MuMuQA – z fine-tuningiem na danych oczyszczonych przez SaHa – osiąga wyniki porównywalne z modelami trenowanymi od zera na zbiorach liczących setki milionów par, przy koszcie obliczeniowym niższym o rząd dziesiątek razy.

Największe zyski widać w zadaniach cross-modal retrieval, gdzie zapytanie i odpowiedź należą do różnych modalności – na przykład tekstowy opis produktu i jego zdjęcie. Hierarchical prompt skutecznie „tłumaczy” reprezentacje między modalnościami, zanim trafią do wspólnej przestrzeni embeddingowej. W zadaniach czysto tekstowych przewaga nad istniejącymi modelami jest mniejsza, co ma sens – te modele były często trenowane właśnie pod kątem tekstu.

Praktyczne konsekwencje dla systemów RAG i wyszukiwania

Dla kogoś projektującego system wyszukiwania lub Retrieval-Augmented Generation ważniejsze niż wyniki benchmarkowe jest pytanie: co to zmienia w praktyce?

Pierwsza konsekwencja dotyczy kosztów. Dotychczas zbudowanie solidnego multimodalnego systemu RAG wymagało albo zakupu dostępu do dużego modelu z gotowymi multimodalnymi embeddingami, albo własnego treningu – oba warianty są drogie. Podejście opisane w pracy otwiera trzecią ścieżkę: weź otwarty multimodalny model językowy, zastosuj hierarchical prompt, przeprowadź fine-tuning na stosunkowo małym zbiorze oczyszczonych danych i uzyskaj model embeddingowy zdolny do obsługi różnych modalności.

Druga konsekwencja to elastyczność. Dzięki zero-shot learning system można stosować w domenach, dla których nie istnieją gotowe zbiory treningowe – wystarczy odpowiednio sformułować prompt opisujący typ zadania.

Otwarte pozostaje pytanie o skalowalność całego podejścia. Wyniki na MMEB są obiecujące, ale benchmark z natury rzeczy nie obejmuje wszystkich możliwych kombinacji modalności i typów zadań. Jak system zachowuje się przy modalności audio, wideo lub danych tabelarycznych – to obszar wymagający dalszych badań.

Multimodal LLM jako model embeddingowy – co to oznacza dla przyszłości retrieval

Praca opisująca MuMuQA stawia pytanie o szersze znaczenie niż jeden system: czy granica między modelami generatywnymi a embeddingowymi jest tak ostra, jak się wydawało?

Przez lata zakładano, że te dwie klasy modeli wymagają osobnych architektur i osobnych procesów wdrożenia. Hierarchical embedding prompt sugeruje, że generatywny model może „przełączyć tryb” i działać jako enkoder, jeśli dostanie odpowiednio skonstruowany sygnał wejściowy. To nie eliminuje potrzeby specjalizowanych enkoderów w zastosowaniach wymagających maksymalnej wydajności przy minimalnym latency – jednak dla systemów, gdzie priorytetem jest pokrycie wielu modalności przy rozsądnym koszcie wdrożenia, podejście oparte na multimodalnym modelu językowym z fine-tuningiem staje się realną alternatywą.

Warto też zauważyć, że metody takie jak SaHa adresują problem niezależny od architektury: jakość danych treningowych. Fałszywe negatywy zatruwają każdy system uczony na danych zebranych automatycznie, a takich danych jest zdecydowanie więcej niż starannie anotowanych zbiorów.

Jeśli granica między modelem generatywnym a embeddingowym jest płynna, to gdzie kończy się sensowny obszar tej płynności – i czy kolejne prace pokażą, że da się ją przesunąć dalej, niż dziś zakładamy?