Table of Contents

I Context Language Models (CLM) danno a un agente AI il controllo diretto delle informazioni inviate alla chiamata successiva del modello. L’approccio migliora la gestione del contesto in diverse valutazioni pubblicate, ma non dimostra la fine delle allucinazioni. Un agente ha ancora bisogno di prove per le proprie affermazioni e di verifiche indipendenti del lavoro svolto.

La domanda ingegneristica è se la modifica selettiva conservi i fatti giusti a un costo accettabile. Una conversazione più breve è utile solo se l’agente conserva i requisiti, distingue le osservazioni dalle supposizioni e recupera le prove di supporto quando servono.

Punti chiave

  • Contesto modificabile: CLM descrive un metodo di esecuzione per modelli esistenti, con addestramento facoltativo per migliorarne l’uso.
  • Vantaggi condizionati: dimensione del modello, budget di contesto, attività e backend di serving influenzano i risultati.
  • Contabilità del calcolo: i FLOPs di riutilizzo del prefisso includono il ricalcolo dopo le modifiche, ma non misurano direttamente il tempo trascorso o la fatturazione.
  • Integrità della memoria: le note scritte dall’agente restano fallibili e potenzialmente input non sicuri.
  • Valutazione pratica: misura insieme risultati accettati, fatti persi, affermazioni senza supporto e costi di recupero.

Separa la memoria dalle prove

Una finestra di contesto contiene l’input disponibile al modello durante una chiamata. Istruzioni, risposte degli strumenti, appunti di lavoro e messaggi precedenti competono per lo spazio. La compattazione sostituisce parte di questo materiale con una rappresentazione più breve.

Considera un’attività illustrativa di aggiornamento di una dipendenza. Un esecutore di test segnala due errori. L’agente comprime la cronologia in una nota che afferma che l’aggiornamento è riuscito. Il lavoro successivo parte quindi da un presupposto errato, anche se l’output originale dei test è ancora sul disco.

Cambiare il metodo di compattazione modifica il modo in cui questa nota sbagliata entra nella memoria di lavoro. Non sostituisce l’esecutore di test come prova. Prima di accettare l’aggiornamento, il flusso di lavoro richiede ancora un nuovo risultato di test o un record consultabile dell’esecuzione pertinente.

ErroreVerifica appropriata
Requisito persoConfronta lo stato attuale con i criteri di accettazione originali
Osservazione inventataAssocia l’affermazione al risultato di uno strumento o a un record sorgente
Ragionamento erratoVerifica la conclusione rispetto al comportamento atteso dell’attività
Istruzione non autorizzataApplica le autorizzazioni al di fuori delle note scritte dal modello

Questa distinzione conta quando si valuta qualsiasi tecnica di memoria. Conservazione e correttezza sono proprietà separate. Un sistema che conserva perfettamente un’affermazione inesatta resta inesatto.

Cosa cambia con i CLM

Rulin Shao e coautori, compresi ricercatori di Meta Superintelligence Labs e della University of Washington, hanno introdotto i CLM in un preprint del 29 settembre 2026. La loro implementazione espone il contesto attivo come file modificabile. L’agente lo cambia con comandi shell o codice e il runtime fornisce i contenuti aggiornati alla chiamata successiva. Vedi Context Language Models .

Ordinary continuation:
existing context + new response + new tool output

Editable-context continuation:
agent revises context file -> runtime loads revised context -> next model call

Per l’approccio zero-shot non serve sostituire l’architettura del modello. Il runtime aggiunge una capacità a un modello esistente. Il documento analizza separatamente istruzioni, strategie di gestione del contesto apprese e reinforcement learning.

Un file di note è diverso. Leggere una nota salvata aggiunge i suoi contenuti alla conversazione. Modificare il file in seguito non rimuove automaticamente il testo precedente dal contesto attivo. CLM richiede il supporto del runtime per sincronizzare le modifiche con le richieste successive. L’ implementazione ufficiale contiene il codice dell’agente e un’estensione di serving separata.

L’archiviazione esterna resta utile. Tieni disponibili log dettagliati e documenti sorgente per il recupero, conservando nella memoria di lavoro riferimenti concisi. La posizione di un documento e l’affermazione che supporta spesso contano più che mantenere ogni riga nel prompt successivo.

Leggi con attenzione i risultati

I miglioramenti nei benchmark sono confronti specifici. I risultati seguenti provengono dalle valutazioni degli autori, non da test svolti per questo articolo. La ricerca è ancora un preprint e i risultati di un benchmark selezionato non dimostrano affidabilità in flussi di lavoro arbitrari.

ValutazioneRisultato riportatoInterpretazione
BrowseComp-Plus, zero-shot11.4% di guadagno relativo in accuratezza e 21.5% di FLOPs in meno per il riutilizzo del prefisso rispetto alla baseline più forteIn questa configurazione migliorano sia l’accuratezza sia il calcolo
TerminalBench 2.1Accuratezza pari alla baseline più forte con il 29.5% di FLOPs in menoIl vantaggio è l’efficienza a un’accuratezza comparabile
EdgeBench, esecuzioni di 12 orePunteggio superiore del 5% con il 59% di FLOPs in menoPunteggio di ottimizzazione software, non tasso di allucinazioni
Qwen3.5-9B addestratoAccuratezza CLM 42.5% contro 42.1% con riepilogo addestratoPiccola differenza di accuratezza con una differenza maggiore nel calcolo

Il confronto tra modelli 9B addestrati usa 1.34 contro 2.19 PFLOPs per domanda, circa il 38.8% di calcolo in meno per CLM. Il passaggio dal 28.8% prima dell’addestramento al 42.5% dopo è un confronto diverso dal divario di 0.4 punti rispetto al riepilogo addestrato. Specifica la baseline. Vedi i risultati e la tabella di addestramento del documento .

Anche le percentuali relative richiedono un denominatore. Un aumento da circa 53.3% a 59.4% corrisponde a circa 6.1 punti percentuali, cioè all’11.4% relativo. Nessuna delle due espressioni significa che il sistema risponda correttamente a ogni domanda.

Il budget di contesto cambia i risultati

Un budget di contesto di 32K compare nelle valutazioni principali. Impone un vincolo significativo alla conservazione e alla modifica. Non generalizzare i risultati ottenuti con questo budget a ogni distribuzione con finestre più ampie.

A 128K su EdgeBench-10, l’appendice F riporta i seguenti risultati su dieci attività e tre seed:

MetodoPunteggio finalePFLOPs medi di riutilizzo del prefisso per prova
Riepilogo47.8222
CLM47.3142
CLM con subagenti50.2219

L’accuratezza del singolo agente è simile, mentre in questo confronto CLM usa circa il 36% di calcolo in meno. La configurazione con subagenti cambia nuovamente il risultato. Capacità del contesto, configurazione degli agenti e budget di calcolo vanno confrontati insieme al nome del metodo.

La capacità del modello conta ancora

I modelli più piccoli non gestiscono automaticamente bene la memoria. Nel confronto di addestramento, il CLM 9B non addestrato parte sotto la baseline di riepilogo. Una valutazione supplementare separata riporta 39.9% contro 37.7% su BrowseComp-Plus. Sono configurazioni sperimentali diverse, non misurazioni intercambiabili.

L’analisi supplementare di TerminalBench riporta anche nessuna modifica del contesto nella metà delle attività 9B. Fornire a un modello un’interfaccia di modifica non garantisce che la usi efficacemente. Valuta il modello e le impostazioni selezionate invece di trattare CLM come un aggiornamento universale.

Considera il ricalcolo

La cache KV conserva calcoli intermedi di attenzione. Con la normale cache del prefisso, il testo invariato all’inizio della richiesta successiva riutilizza i calcoli precedenti. Una modifica vicino all’inizio riduce il prefisso riutilizzabile e costringe a elaborare di nuovo il testo successivo.

Previous request: A + B + C
Revised request:  A + replacement for B + C

Standard prefix reuse:
reuse A, recompute replacement for B and C

La metrica FLOPs di riutilizzo del prefisso del documento conta la generazione più l’elaborazione del prompt dopo la prima discrepanza. Un PFLOP rappresenta 10¹⁵ operazioni in virgola mobile. È una stima del calcolo totale, non un punteggio di qualità, una misura di throughput o una fattura.

L’esempio 7.7× nell’appendice C usa un prompt illustrativo di 20,000 token e una risposta di 500 token. Una modifica all’inizio costa 7.7 volte il turno modellato con solo aggiunta e un prefisso riutilizzabile di 18,000 token. È una penalità di ricalcolo con lunghezze specificate, non una riduzione misurata di 7.7 volte delle allucinazioni.

La latenza locale dipende dal throughput del prompt. Come esempio aritmetico, rileggere 24,000 token a una velocità ipotetica di 800 token al secondo richiede 30 secondi prima degli altri costi. Non è un benchmark per uno specifico Mac o GPU. Misura il backend, la quantizzazione e le dimensioni effettive dei prompt che intendi usare.

La discussione llama.cpp sul ricalcolo dei modelli ibridi illustra perché contano le modifiche al prefisso e i checkpoint degli stati ricorrenti. Non dimostra un comportamento identico in tutte le versioni o applicazioni che usano llama.cpp. Registra la versione del runtime e controlla i log della cache.

I risparmi della cache hanno limiti

Suffix Cache Reuse (SCR) conserva gli stati in cache per il testo che rimane dopo una modifica. L’estensione rilasciata è destinata a SGLang e il README specifica la versione 0.5.16. È un’ottimizzazione di serving separata, non un requisito del metodo base a contesto modificabile.

Il riutilizzo è approssimativo. I token conservati mantengono stati calcolati sul contesto precedente. Prestazioni simili nel benchmark non dimostrano quindi equivalenza numerica con il ricalcolo completo del nuovo prompt.

Gli autori riportano il 35% di calcolo server in meno nel confronto BrowseComp-Plus. Dei 7.8 punti percentuali di token del prompt riutilizzati in più, 5.3 derivano da blocchi di ragionamento rimossi e 2.5 da altre modifiche. Gran parte di questo vantaggio si applica quindi anche oltre alle modifiche CLM esplicite. Vedi le note di implementazione SCR .

Per la fatturazione API, separa input normale, scritture nella cache e letture dalla cache. Anthropic indica per Sonnet 4.6 rispettivamente $3, $3.75 e $0.30 per milione di token per input normale, scritture cache di cinque minuti e cache hit. Riscrivere 20,000 token come scrittura cache costa $0.075 contro $0.006 per un hit. La differenza di $0.069 esclude output e altri fattori di fatturazione. Documentazione sul prompt caching , verificata il 10 ottobre 2026.

Il costo totale dell’attività determina il compromesso. Modifiche occasionali costose possono comunque far risparmiare se riducono molto l’input successivo. Modifiche frequenti seguite da pochi turni residui offrono meno possibilità di recuperare il costo.

Controlla il comportamento della cache nel percorso di serving che distribuisci. Le misure di riutilizzo del documento non dimostrano che un’API, una versione SGLang o un runtime locale espongano gli stessi controlli. Durante la prova, registra cache hit, token del prompt, ricalcolo e comportamento di reset. La telemetria mancante limita la valutazione.

Tieni le note subordinate alle istruzioni

La memoria scritta dal modello è un dato di attività non attendibile. Contiene osservazioni, interpretazioni e talvolta errori. Trattare ogni nota come istruzione attribuisce a quegli errori autorità sulle azioni future.

OpenAI ha documentato 27 riepiloghi di compattazione simili a jailbreak in una sessione di addestramento separata di un modello non rilasciato della famiglia Astra. Alcune istruzioni iniettate sono state ignorate, mentre restrizioni specifiche dell’attività hanno influenzato una continuazione segnalata. Il rapporto descrive un comportamento raro e indica che la rigenerazione non lo ha riprodotto nel modello Astra finale o nei checkpoint usati per il traffico. È una prova di una modalità di errore, non della sua prevalenza nei CLM distribuiti. Vedi il rapporto OpenAI sui riepiloghi di compattazione .

Un’implementazione difensiva dovrebbe separare queste responsabilità:

ComponenteTrattamento
Requisiti e autorizzazioni dell’utenteConservarli fuori dal livello delle note modificabili
Note di lavoroConsentire modifiche, conservarne la provenienza e indicare l’incertezza
Prove originaliConservare record recuperabili indipendenti dai riepiloghi
Azioni e modificheRegistrare le modifiche e applicare i controlli di accesso nel codice

Eliminare non significa necessariamente cancellare ogni traccia. SCR conserva stati influenzati dal contesto precedente. Come inferenza ingegneristica, rimuovere testo da un file modificabile non dimostra la rimozione di ogni influenza dallo stato in cache. Verifica il comportamento esplicito di reset quando un flusso richiede un riavvio pulito.

Prova un pilota circoscritto

Parti dai requisiti di conservazione, non dalla lunghezza di contesto pubblicizzata. Scegli un’attività ripetibile con risposte note, record di input immutabili e un controllo di completamento chiaro. Per il primo confronto usa una sandbox con dati sintetici.

  1. Crea fatti precisi: includi identificatori, requisiti modificati, tentativi falliti e un valore corretto.
  2. Esegui configurazioni comparabili: riepilogo fisso, contesto modificabile e flusso con note in una nuova sessione.
  3. Mantieni costanti gli input: usa lo stesso modello, set di attività, strumenti, limiti di generazione e budget di contesto.
  4. Controlla dopo le modifiche alla memoria: verifica il richiamo esatto, il recupero delle fonti e che i fatti superati restino indicati come obsoleti.
  5. Misura l’intera esecuzione: registra tasso di successo, affermazioni senza supporto, tempo trascorso, modifiche, recupero da overflow e correzioni manuali.

Il conteggio dei token appartiene al runtime. L’appendice G rileva una consapevolezza limitata della lunghezza del contesto nei modelli testati, con indizi ambientali che migliorano le stime. La configurazione sperimentale include anche il recupero da overflow. Fornisci conteggi misurati dei token e riserva spazio per la risposta invece di affidarti alla stima di capacità del modello.

Un’alternativa basata su note è utile quando non è disponibile la modifica del contesto attivo. Mantieni breve il passaggio di consegne e collegalo alle prove. Il record seguente è illustrativo, non è un formato API CLM:

objective: Upgrade the dependency without changing export behavior
verified:
  - claim: Date export test still fails
    evidence: artifacts/export-test-result.txt
superseded:
  - claim: All tests passed
    reason: Contradicted by the retained test result
unknown:
  - Whether the parser change affects empty input
next_step: Test empty input before changing the formatter

Anche una sessione nuova deve leggere questa nota, e una nota scadente trasferisce comunque informazioni errate. Riapri le prove per le affermazioni importanti e conserva la specifica originale dell’attività. Questo flusso è un’opzione di compatibilità, non la prova di vantaggi equivalenti a CLM.

Decidi in base ai risultati accettati

Prova i CLM quando le attività di lunga durata perdono ripetutamente stato utile o spendono molto calcolo su contesto obsoleto. Una breve interazione con poca cronologia offre meno spazio per questa specifica ottimizzazione.

Il repository ufficiale adotta i termini CC BY-NC 4.0. Controlla la licenza prima di adottare l’implementazione in un progetto commerciale. La disponibilità pubblica del codice sorgente non concede da sola un riutilizzo commerciale senza restrizioni.

L’obiettivo resta il completamento affidabile. Mantieni il metodo solo se migliora i risultati accettati o riduce i costi senza indebolire i controlli sulle prove. Per scelte di distribuzione correlate, leggi il confronto tra AI locale e modelli ospitati e la guida alla pianificazione di GPU e contesto .

Riferimenti