Okno kontekstowe
Definicja okna kontekstowego
Okno kontekstowe (ang. context window) to zakres informacji, jaki model językowy jest w stanie „zapamiętać” i brać pod uwagę w danym momencie generowania odpowiedzi. Mierzy się je nie w słowach, lecz w tokenach, czyli najmniejszych jednostkach tekstu przetwarzanych przez model. Wszystko, co przekracza ten limit – zarówno w treści zapytania (promptu), jak i w generowanej odpowiedzi – zostaje „wypchnięte” z pamięci modelu, co może skutkować utratą kontekstu i mniej trafnymi odpowiedziami.
Dla użytkownika oznacza to, że model nie ma nieskończonej pamięci – nie „pamięta” całej rozmowy, a jedynie jej ostatnią część mieszczącą się w limicie tokenów. Przykładowo, model z oknem kontekstowym 8 000 tokenów może przetwarzać mniej więcej 5 000–6 000 słów naraz. Nowsze modele, jak GPT-4 Turbo czy Claude 3 Opus, mają znacznie większe okna (nawet do 100 000–200 000 tokenów), co umożliwia im analizę długich dokumentów, rozmów i kontekstów bez utraty spójności.
Dla użytkownika oznacza to, że model nie ma nieskończonej pamięci – nie „pamięta” całej rozmowy, a jedynie jej ostatnią część mieszczącą się w limicie tokenów. Przykładowo, model z oknem kontekstowym 8 000 tokenów może przetwarzać mniej więcej 5 000–6 000 słów naraz. Nowsze modele, jak GPT-4 Turbo czy Claude 3 Opus, mają znacznie większe okna (nawet do 100 000–200 000 tokenów), co umożliwia im analizę długich dokumentów, rozmów i kontekstów bez utraty spójności.