Table of Contents

Per le attività Hermes con contesto lungo, partirei da Qwen3.5 35B su due RTX 5060 Ti da 16 GB. La route testata ha conservato 239.153 token di input tramite LiteLLM e superato verifiche separate di strumenti, streaming, visione, coda e annullamento. Qwen3.6 è la mia alternativa con una scheda. Sui sistemi RTX 3060 Ti e RTX 3070 partirei da Qwen3.5 2B o 4B.

Queste scelte derivano dall’esecuzione dei modelli attraverso i percorsi di inferenza usati dall’agente. Ho verificato la conservazione degli input lunghi, i cicli degli strumenti, le risposte in streaming, le domande sulle immagini e il rilascio del modello. Ho provato anche modalità e impostazioni di memoria, perché il caricamento corretto dice poco sull’utilità durante una lunga richiesta dell’agente.

Hermes richiede almeno 64.000 token di contesto per usare strumenti da agente. Ho usato 65.536 token di input effettivi come soglia per il contesto lungo. Il conteggio dell’input conta più del contesto dichiarato dal server. ( Documentazione dei provider Hermes Agent )

GPU in ciascun sistema

Le lettere dei sistemi indicano queste combinazioni hardware nei risultati.

SistemaGPU usate nel benchmarkModello iniziale che sceglierei
A2 × GeForce RTX 5060 Ti, 16 GB ciascunaQwen3.5 35B su entrambe le schede oppure Qwen3.6 su una sola scheda
B1 × RTX 2000E Ada, 16GBQwen3.5 9B quando alcuni minuti di elaborazione dell’input lungo sono adatti all’attività
C1 × RTX 2000E Ada, 16GBGemma 3 4B per il percorso testato con input lunghi; Qwen3.5 0.8B senza ragionamento per recupero mirato
D1 × RTX 2000E Ada, 16GBQwen3.5 9B, Gemma 4 12B-IT o GPT-OSS 20B per i carichi di lavoro testati con modelli più grandi
E9 × GeForce RTX 3060 Ti, 8 GB ciascunaQwen3.5 2B o 4B
F8 × GeForce RTX 3060 Ti, 8 GB ciascunaQwen3.5 2B o 4B
G3 × GeForce RTX 3070Qwen3.5 2B o 4B

Il numero di schede installate non implica che ogni richiesta abbia usato tutte le GPU. I test Qwen3.5 35B e Flash Next hanno usato entrambe le schede del sistema A. Qwen3.6 ne ha usata una. La ripetizione riuscita del test visivo Qwen3.5 4B sul sistema E ha usato una scheda selezionata da un gruppo di otto, mentre una nona è rimasta esclusa dalle attività AI.

Considera le durate come risultati combinati del modello, runtime e sistema testati. Queste esecuzioni confrontano configurazioni utilizzabili, senza isolare l’architettura GPU come causa della differenza di velocità.

Due RTX 5060 Ti rendono Qwen3.5 35B la mia scelta per il contesto lungo

Qwen3.5 35B ha conservato la quantità maggiore di input nei test. La progressione diretta Ollama ha mantenuto 248.279 token in un contesto runtime di 262.144. Una richiesta gateway separata in streaming ha conservato 239.153 token, restituito il marcatore iniziale e terminato normalmente dopo 31 token di output in 148,12 secondi.

Il risultato gateway interessa Hermes perché la richiesta è passata dal broker e LiteLLM. Richieste separate hanno completato un ciclo dello strumento, riconosciuto un’immagine rossa e restituito due risposte corrette quando inviate insieme. Il broker le ha messe in coda. Chiudere la richiesta in streaming ha liberato il broker e scaricato il modello entro 60,31 secondi.

Richiesta Qwen3.5 35BToken di inputToken di outputDurataEsito
Ollama diretto, prima fase progressiva69,4293138.783 sMarcatore iniziale esatto
Ollama diretto, continuazione con prefisso condiviso124,1793128.472 sMarcatore iniziale esatto
Ollama diretto, continuazione con prefisso condiviso182,5793138.974 sMarcatore iniziale esatto
Ollama diretto, continuazione con prefisso condiviso248,2793154.215 sMarcatore iniziale esatto
richiesta in streaming del broker69,4272938.872 sMarcatore iniziale esatto
richiesta in streaming LiteLLM239,15331148.12 sMarcatore iniziale esatto, clean unload

Le richieste dirette progressive riutilizzavano un prefisso sempre più lungo. Le durate descrivono una continuazione con prefisso caldo. Il risultato di 54,215 secondi non è una misura indipendente a freddo per un nuovo prompt da 248K.

Nella fase diretta più ampia il modello ha riportato circa 27,3 miliardi di byte residenti sulle due GPU. I picchi per scheda hanno raggiunto 14.964 e 12.386 MiB.

Le temperature massime hanno raggiunto 62 e 63 °C, senza errori OOM o Xid. Restavano 13.865 token nel contesto configurato per continuare. La risposta breve del marcatore ne ha usati 31.

Userei questa route quando conservare un ampio insieme di lavoro conta più della risposta iniziale più rapida. I controlli di strumenti e visione verificano comportamenti utili dell’agente; il test di input lungo verifica la conservazione. Sono carichi di lavoro distinti.

Qwen3.6 è l’opzione con una scheda

Qwen3.6-35B-A3B UD-Q4_K_XL ha conservato 131.000 token di input su una RTX 5060 Ti. L’altra scheda è rimasta inattiva. È un’alternativa utile quando non conviene dedicare entrambe le schede a un solo modello.

Richiesta gateway Qwen3.6Token di inputToken di outputDurataEsito
richiesta lunga iniziale66,007167.82 sMarcatore iniziale conservato
richiesta più lunga90,00011159.92 sMarcatore iniziale conservato, zero cached input
richiesta più lunga119,99911250.61 sMarcatore iniziale conservato, zero cached input
vicino al limite di esecuzione131,00011287.09 sMarcatore iniziale conservato, zero cached input

La richiesta da 131.000 token si è avvicinata al limite runtime di 131.072. Per un agente lascerei più spazio alla risposta e ai successivi messaggi degli strumenti. La conservazione vicino al limite prova la gestione dell’input, ma non definisce un budget predefinito sensato.

L’uso degli strumenti è riuscito con il pensiero disattivato. Il pensiero predefinito ha consumato i 512 token della prova prima di chiamare lo strumento. Anche le richieste rapide, in streaming e visive del pilot sono riuscite. Il primo controllo di contesto da 65.845 token è durato 139,57 secondi.

Qwen3.8 27B vince il confronto con risposta abbinata a 66K

Per lo stesso carico con marcatore da 66.007 token sul sistema A, Qwen3.8 27B ha risposto più rapidamente. Terrei disponibile questa route per richieste vicine alla dimensione testata e Qwen3.5 35B per l’insieme di lavoro più ampio.

Route sistema AToken di inputDurataEsito
Qwen3.8 27B66,00754.64 sMarcatore iniziale conservato
Qwen3.6-35B-A3B UD-Q4_K_XL66,007167.82 sMarcatore iniziale conservato
Qwen3.8-Flash-Next UD-IQ4_XS66,007164.58 sMarcatore iniziale conservato
Flash Next IQ4 compatibility alias66,007213.25 sMarcatore conservato

Qwen3.8 27B ha impiegato circa un terzo delle durate delle richieste abbinate Qwen3.6 e Flash Next. Sono osservazioni di richieste complete con i runtime testati, non un confronto limitato all’hardware.

Anche risposte rapide, streaming e uso degli strumenti sono riusciti. La modalità senza pensiero ha completato la sequenza di colori e il ciclo dello strumento; la prova con pensiero ha restituito solo parte della sequenza entro 512 token.

Flash Next è una scelta predefinita meno interessante su questo sistema per la pressione di memoria. Il pilot da 65.847 token è riuscito in 201,41 secondi con contesto runtime 98.304. Due profili precedenti con contesto 131.072 hanno raggiunto il limite di memoria prima di diventare pronti.

La route successiva ha raggiunto il limite cgroup di 54 GiB. Per il lavoro non sorvegliato sceglierei più margine di memoria.

La route chiamata flash-iq2 serviva il backend compatibile Flash Next IQ4. Il nome non indica un risultato IQ2.

La RTX 2000E Ada gestisce input lunghi, ma la scelta del modello cambia l’attesa

Gemma 3 4B è la mia route testata preferita per input lunghi sul sistema C. Due percorsi hanno conservato oltre 84K token in circa 88 secondi. Anche i modelli più grandi hanno superato controlli utili di conservazione, ma le richieste sono durate minuti.

SistemaModello e percorsoToken di inputDurataEsito
BQwen3.5 9B, gateway72,265263 sEntrambi i marcatori conservati; controllo successivo di ripresa mining superato
CGemma 3 4B, gateway84,04488.05 sMarcatore iniziale conservato
CGemma 3 4B, Aperture84,04587.68 sMarcatore iniziale conservato
CGemma 4 12B-IT, gateway67,254263.07 sMarcatore iniziale conservato
CGemma 4 12B-IT, Aperture senza streaming67,255274.24 sMarcatore iniziale conservato
CGemma 4 12B-IT, streaming Aperture67,255282.16 sMarcatore iniziale conservato
CQwen3.5 9B, gateway75,648319.36 sMarcatore iniziale conservato, modello scaricato dalla memoria
CGPT-OSS 20B, gateway84,099315.83 sMarcatore iniziale conservato, modello scaricato dalla memoria
DQwen3.5 9B, Aperture81,051324.07 sConservazione superata sull’artefatto installato
DGemma 4 12B-IT, Aperture72,057300.67 sConservazione superata sull’artefatto installato
DGPT-OSS 20B, Aperture72,104245.94 sConservazione superata sull’artefatto installato

Lo streaming non ha eliminato l’attesa di prefill di Gemma 4 sul sistema C. Il primo contenuto è arrivato dopo 277,49 secondi, più tardi della risposta non in streaming completa da 274,24. Un tentativo precedente è andato in timeout prima della ripetizione riuscita. Terrei questa route per attività compatibili con alcuni minuti di elaborazione iniziale.

Gemma 3 4B mostra perché la qualificazione deve restare specifica per il sistema testato. Il sistema D ha mancato il marcatore iniziale in due prove di richiamo 65K, inclusa una ripetizione a temperatura zero con 67.252 token. La richiesta deterministica è terminata normalmente in 62,07 secondi con piena residenza GPU.

Una risposta rapida e una risposta API normale non dimostravano la correttezza. Userei la route riuscita del sistema C ed escluderei quella fallita del sistema D dalla selezione Hermes.

La modalità di pensiero decide se Qwen3.5 0.8B è utile

Qwen3.5 0.8B è diventato un candidato utile per richiami circoscritti sul sistema C dopo aver disattivato il pensiero. Il piccolo modello Q8_0 ha conservato 75.649 token via gateway in 65,92 secondi. Il risultato appartiene all’artefatto Q8_0 e alla route senza pensiero testati, non alle vecchie configurazioni con contesto 16K nelle altre righe.

Richiesta Qwen3.5 0.8B sul sistema CToken di inputToken di outputDurataEsito
diagnostica breve con ragionamento predefinito9,0503,39166.56 sMarcatore iniziale esatto
ragionamento disattivato, diagnostica abbinata9,055217.65 sMarcatore iniziale esatto, no reasoning text
tentativo lungo con ragionamento predefinitoTimeout 600 sNessuna risposta completata
ragionamento disattivato, Ollama nativo75,6562269.80 sMarcatore iniziale esatto
endpoint compatibile OpenAI senza ragionamento75,6461269.09 sMarcatore iniziale esatto
Broker con modalità senza ragionamento imposta75,6471366.83 sMarcatore iniziale esatto
LiteLLM dal sistema A al sistema C75,6491565.92 sMarcatore iniziale esatto

La diagnostica abbinata è scesa da 66,56 a 7,65 secondi, circa 8,7 volte più rapida, mentre l’output è passato da 3.391 a 21 token. Per questo imposterei esplicitamente il ragionamento per semplici attività di estrazione e instradamento. Il ragionamento predefinito ha speso la maggior parte del lavoro in output non necessario.

Una breve prova compatibile OpenAI non ha trovato il marcatore, ma la ripetizione a temperatura zero sì. Le route riuscite usavano la modalità senza pensiero e il completamento naturale senza limite di output. Altri tre gateway hanno superato brevi richieste con marcatore in 4,22, 4,37 e 3,85 secondi. Questi controlli provano l’instradamento; i 75.649 token provano la conservazione dell’input lungo tramite gateway.

Proverei questa route per richiami limitati ed estrazione. Per il ragionamento aperto di un agente sceglierei un modello più grande. Recuperare un marcatore sintetico è più ristretto che pianificare, programmare o coordinare più strumenti.

I sistemi RTX 3060 Ti e RTX 3070 favoriscono Qwen3.5 2B e 4B

Qwen3.5 2B e 4B sono le mie scelte pratiche iniziali per schede da 8 GB. Le prove di contesto testuale sui sistemi E, F e G sono riuscite con 65.579 token e durate da 30,343 a 93,753 secondi. Anche le route 4B testate hanno superato controlli di strumenti, streaming e immagine.

La ripetizione visiva 4B del sistema E ha conservato entrambi i marcatori e l’ordine dei colori a 65.637 token in 44,88 secondi. Sono riuscite anche richieste con ordine diretto e inverso. La ripetizione ha usato una scheda funzionante dopo che un’altra ha subito un errore di collegamento Xid 79 e il sistema è stato riavviato.

SistemaContesto testuale Qwen3.5 2BContesto testuale Qwen3.5 4BContesto visivo Qwen3.5 4B
E, RTX 3060 Ti pool65,579 tokens, 30.343 s65,579 tokens, 53.787 s65,637 tokens, 44.88 s
F, RTX 3060 Ti pool65,579 tokens, 61.282 s65,579 tokens, 93.753 s65,635 tokens, 84.749 s
G, RTX 3070 pool65,579 tokens, 76.731 s65,579 tokens, 90.807 s65,635 tokens, 87.496 s

Ogni sistema ha registrato 29 controlli riusciti. La differenza di tempi tra i due sistemi RTX 3060 Ti mostra perché sceglierei un profilo testato anziché classificare le schede in base a queste durate.

Tutti e sette i sistemi sono tornati al mining dopo la finestra di inferenza. Il controllo separato di recupero dopo l’arresto del sistema B è riuscito con nuove share accettate. La scheda guasta del sistema E è tornata al mining dopo un riavvio e il rafforzamento del collegamento PCIe, ma è rimasta esclusa dal pool AI. Il ripristino a fine finestra è diverso dal passaggio automatico dopo una singola richiesta.

Caricare un modello non lo qualifica

Escluderei DeepSeek Coder V2 16B dalle scelte Hermes 65K testate. L’esecuzione con cache f16 ha conservato 50.477 token di input, ma il test 65K ha raggiunto il limite VRAM. Le cache Q4 e Q8 hanno caricato i pesi sulle GPU, poi hanno incontrato limiti di memoria host o scarso throughput dei prompt lunghi.

Profilo cache DeepSeek Coder V2Contesto runtimeRisultato osservatoValutazione
f1681,920recupero di 50.477 token riuscito, richiesta sovradimensionata rifiutataRisultato utile con contesto più breve
f1673,728prefill mirato a 65K interrotto a 15.802 MiB di uso GPUNon qualificato per 65K
Q4_098,304Il prefill lungo è sceso a 96.72 token/s prima dell’arresto controllatoPoco adatto a questo carico
Q8_077,824Il prefill lungo è sceso a 120.12 token/s prima dell’arresto controllatoPoco adatto a questo carico
Q4_0 / Q8_0, profili più grandi163,840 / 98,304Le protezioni della memoria host hanno arrestato le proveLa capacità di memoria dipende dall’intero sistema

La lezione pratica è testare la richiesta che si intende inviare. Residenza GPU, risposta breve e contesto configurato ampio non dimostrano la conservazione di input lungo a latenza utile.

Granite 4.2 8B e GPT-OSS 20B sono migliorati dopo lavori di follow-up specifici per route sul sistema A. La route Granite Q6_K ha conservato 66.082 token in 88,636 secondi senza input in cache. GPT-OSS ha completato il ciclo dello strumento dopo la correzione del broker: 9,854 secondi per la chiamata e 9,849 per il seguito. Terrei questi controlli riusciti separati dai tentativi incompleti precedenti.

Risultati completi del benchmark

La tabella contiene 295 controlli su 59 combinazioni di modelli e sistemi. Registra 273 prove riuscite, una prova di richiamo fallita e sette risultati incompleti, incoerenti o incompatibili. Quattordici controlli sono fuori dall’ambito 65K. Ogni riga mostra l’esito misurato.

Le raccomandazioni riguardano le route e i carichi riusciti. Una riga fallita o incompleta non qualifica il comportamento corrispondente.

I risultati con contesto breve ed embedding valgono per i rispettivi carichi. Superare un contesto 16K o 32K non qualifica una route per il carico Hermes da 65.536 token. I nomi dei modelli qui sono etichette di route. flash-iq2 serviva il backend compatibile IQ4.

La riga di contesto Qwen3.5 35B del sistema A è l’ultima fase con prefisso condiviso descritta sopra. Le durate degli strumenti con un segno più mostrano chiamata e seguito separatamente.

La riga di concorrenza riporta i tempi delle due richieste in coda. Quella di annullamento indica il tempo di rilascio dopo la chiusura dello stream da parte del client. Progressioni di contesto supplementari e confronti Qwen3.5 0.8B sono nelle rispettive tabelle.

Sistema A

Etichetta route modelloControlloEsitoToken di inputDurata richiesta
bonsai-2-27bcontextSuperato65,62188.746 s
bonsai-2-27bquickSuperato576.429 s
bonsai-2-27bstreamSuperato9.371 s
bonsai-2-27btoolsSuperato10.478 s
deepseek-coder-v2:16bcontextIncompatibile50,477
deepseek-coder-v2:16bquickSuperato7743.239 s
flash-iq2contextSuperato66,007213.25 s
flash-iq2quickSuperato56.03 s
flash-iq2streamSuperato1.35 s
flash-iq2toolsSuperato16.55 s
gemma-4-12b-itcontextSuperato65,59051.225 s
gemma-4-12b-itquickSuperato215.166 s
gemma-4-12b-itstreamSuperato4.653 s
gemma-4-12b-ittoolsSuperato18.72 s
gemma-4-12b-itvisionSuperato1157.222 s
gemma-4-12b-itvision_contextSuperato65,68556.06 s
gemma-4-12b-itvision_reverseSuperato1157.467 s
gemma-4-e4b-itcontextSuperato65,59021.889 s
gemma-4-e4b-itquickSuperato2117.919 s
gemma-4-e4b-itstreamSuperato4.25 s
gemma-4-e4b-ittoolsSuperato8.734 s
gpt-oss-20bcontextSuperato65,637159.155 s
gpt-oss-20bquickSuperato7310.548 s
gpt-oss-20bstreamSuperato20.594 s
gpt-oss-20btoolsSuperato9.854 + 9.849 s
granite-4.2-3bcontextSuperato65,58970.968 s
granite-4.2-3bquickSuperato204.009 s
granite-4.2-3bstreamSuperato5.365 s
granite-4.2-3btoolsSuperato6.086 s
granite-4.2-8bcontextSuperato66,08288.636 s
granite-4.2-8bquickSuperato205.857 s
granite-4.2-8bstreamSuperato11.826 s
granite-4.2-8btoolsSuperato11.852 s
qwen27bcontextSuperato66,00754.64 s
qwen27bquickSuperato5731.5 s
qwen27bstreamSuperato0.92 s
qwen27btoolsSuperato4.25 s
qwen3-embedding-0.6bcontextSuperato32,7677.736 s
qwen3-embedding-0.6bquickSuperato142.125 s
qwen3.5-0.8bcontextSuperato16,42910.5 s
qwen3.5-0.8bquickSuperato1714.316 s
qwen3.5-0.8bstreamSuperato2.125 s
qwen3.5-0.8btoolsSuperato4.416 s
qwen3.5-2bcontextSuperato65,58111.175 s
qwen3.5-2bquickSuperato174.519 s
qwen3.5-2bstreamSuperato3.736 s
qwen3.5-2btoolsSuperato5.046 s
qwen3.5-4bcontextSuperato65,57936.451 s
qwen3.5-4bquickSuperato1519.935 s
qwen3.5-4bstreamSuperato17.496 s
qwen3.5-4btoolsSuperato7.308 s
qwen3.5-4bvisionSuperato707.848 s
qwen3.5-4bvision_contextSuperato65,63528.24 s
qwen3.5-4bvision_reverseSuperato704.386 s
qwen3.5-9bcontextSuperato65,58134.139 s
qwen3.5-9bquickSuperato173.88 s
qwen3.5-9bstreamSuperato3.378 s
qwen3.5-9btoolsSuperato10.204 s
qwen3.5-9bvisionSuperato724.441 s
qwen3.5-9bvision_contextSuperato65,63733.745 s
qwen3.5-9bvision_reverseSuperato723.97 s
qwen3.5:35b-a3b-q4_K_McancellationSuperato60.31 s
qwen3.5:35b-a3b-q4_K_MconcurrencySuperato26.23 / 25.33 s
qwen3.5:35b-a3b-q4_K_McontextSuperato248,27954.215 s
qwen3.5:35b-a3b-q4_K_MgatewaySuperato239,153148.12 s
qwen3.5:35b-a3b-q4_K_MquickSuperato7910.08 s
qwen3.5:35b-a3b-q4_K_MstreamSuperato69,42938.783 s
qwen3.5:35b-a3b-q4_K_MtoolsSuperato15.22 + 14.83 s
qwen3.5:35b-a3b-q4_K_MvisionSuperato18.39 s
Qwen3.6-35B-A3B UD-Q4_K_XLcontextSuperato65,845139.57 s
Qwen3.6-35B-A3B UD-Q4_K_XLquickSuperato153.97 s
Qwen3.6-35B-A3B UD-Q4_K_XLstreamSuperato0.45 s
Qwen3.6-35B-A3B UD-Q4_K_XLtoolsSuperato2935.48 s
Qwen3.6-35B-A3B UD-Q4_K_XLvisionSuperato380.59 s
Qwen3.8-Flash-Next UD-IQ4_XScontextSuperato65,847201.41 s
Qwen3.8-Flash-Next UD-IQ4_XSquickSuperato1754.62 s
Qwen3.8-Flash-Next UD-IQ4_XSstreamSuperato1.2 s
Qwen3.8-Flash-Next UD-IQ4_XStoolsSuperato22.18 s
Qwen3.8-Flash-Next UD-IQ4_XSvisionSuperato3.86 s

Sistema B

Etichetta route modelloControlloEsitoToken di inputDurata richiesta
gemma-4-12b-itcontextSuperato65,590299.163 s
gemma-4-12b-itquickSuperato2115.261 s
gemma-4-12b-itstreamSuperato148.792 s
gemma-4-12b-ittoolsSuperato34.124 s
gemma-4-12b-itvisionSuperato12061.455 s
gemma-4-12b-itvision_contextSuperato65,690295.581 s
gemma-4-12b-itvision_reverseSuperato12032.511 s
gemma3-4bcontextSuperato65,58467.382 s
gemma3-4bquickSuperato156.329 s
gemma3-4bstreamSuperato24.138 s
gemma3-4bvisionSuperato3067.018 s
gemma3-4bvision_contextSuperato65,87670.912 s
gemma3-4bvision_reverseSuperato3065.762 s
gpt-oss-20bcontextSuperato65,637206.767 s
gpt-oss-20bquickSuperato7216.583 s
gpt-oss-20bstreamSuperato32.075 s
gpt-oss-20btoolsSuperato28.102 s
nomic-embed-textcontextIncompleto2,048
nomic-embed-textquickSuperato7.117 s
qwen3-14bcontextIncompleto1800.09 s
qwen3-14bquickSuperato1537.199 s
qwen3-14bstreamSuperato35.471 s
qwen3-14btoolsSuperato87.554 s
qwen3-8bcontextEscluso dall’ambito 65K
qwen3-8bquickSuperato, fuori ambito 65K1521.059 s
qwen3-8bstreamEscluso dall’ambito 65K
qwen3-8btoolsEscluso dall’ambito 65K
qwen3.5-9bcontextSuperato65,579282.796 s
qwen3.5-9blitellm_long_routeSuperato72,265263 s
qwen3.5-9bpost_external_stop_miningSuperato
qwen3.5-9bquickSuperato1525.881 s
qwen3.5-9bstreamSuperato143.44 s
qwen3.5-9btoolsSuperato31.812 s
qwen3.5-9bvisionSuperato7532.015 s
qwen3.5-9bvision_contextSuperato65,640396.288 s
qwen3.5-9bvision_reverseSuperato7528.626 s

Sistema C

Etichetta route modelloControlloEsitoToken di inputDurata richiesta
gemma-4-12b-itaperture_contextSuperato67,255274.24 s
gemma-4-12b-itaperture_shortSuperato3539.32 s
gemma-4-12b-itaperture_stream_contextSuperato67,255282.16 s
gemma-4-12b-itcontextSuperato65,670313.661 s
gemma-4-12b-itgateway_contextSuperato67,254263.07 s
gemma-4-12b-itgateway_shortSuperato2720.98 s
gemma-4-12b-itquickSuperato2116.447 s
gemma-4-12b-itstreamSuperato15.175 s
gemma-4-12b-ittoolsSuperato37.821 s
gemma-4-12b-itvisionSuperato12058.52 s
gemma-4-12b-itvision_contextSuperato65,690308.759 s
gemma-4-12b-itvision_reverseSuperato12031.25 s
gemma3-4baperture_contextSuperato84,04587.68 s
gemma3-4baperture_after_system_d_route_changeSuperato245.42 s
gemma3-4baperture_shortSuperato225.45 s
gemma3-4baperture_streamSuperato3.72 s
gemma3-4bcontextSuperato65,66467.543 s
gemma3-4bgateway_contextSuperato84,04488.05 s
gemma3-4bgateway_short_via_system_aSuperato3.16 s
gemma3-4bgateway_short_via_system_eSuperato
gemma3-4bgateway_short_via_system_fSuperato4.15 s
gemma3-4bgateway_short_via_system_gSuperato6.06 s
gemma3-4bquickSuperato155.163 s
gemma3-4bstreamSuperato24.691 s
gemma3-4bvisionSuperato3067.318 s
gemma3-4bvision_contextSuperato65,87672.476 s
gemma3-4bvision_reverseSuperato3065.831 s
gpt-oss-20bcontextSuperato65,716216.594 s
gpt-oss-20bgateway_contextSuperato84,099315.83 s
gpt-oss-20bgateway_shortIncoerente
gpt-oss-20bquickSuperato7221.603 s
gpt-oss-20bstreamSuperato31.957 s
gpt-oss-20btoolsSuperato26.096 s
nomic-embed-textcontextIncompleto, fuori ambito 65K2,048
nomic-embed-textquickSuperato, fuori ambito 65K4.178 s
qwen3-14bcontextIncompleto, fuori ambito 65K1800.06 s
qwen3-14bquickSuperato, fuori ambito 65K1535.809 s
qwen3-14bstreamSuperato, fuori ambito 65K35.43 s
qwen3-14btoolsSuperato, fuori ambito 65K87.723 s
qwen3-8bcontextEscluso dall’ambito 65K
qwen3-8bquickSuperato, fuori ambito 65K1521.293 s
qwen3-8bstreamIncompleto, fuori ambito 65K900.01 s
qwen3-8btoolsEscluso dall’ambito 65K
qwen3.5-9bcontextSuperato65,662287.984 s
qwen3.5-9bgateway_contextSuperato75,648319.36 s
qwen3.5-9bgateway_shortSuperato2172.14 s
qwen3.5-9bquickSuperato1524.635 s
qwen3.5-9bstreamSuperato143.157 s
qwen3.5-9btoolsSuperato30.395 s
qwen3.5-9bvisionSuperato7527.756 s
qwen3.5-9bvision_contextSuperato65,640398.797 s
qwen3.5-9bvision_reverseSuperato7528.645 s

Sistema D

Etichetta route modelloControlloEsitoToken di inputDurata richiesta
gemma-4-12b-itcontextSuperato65,590275.395 s
gemma-4-12b-itexact_digest_aperture_65kSuperato72,057300.67 s
gemma-4-12b-itexact_digest_broker_shortSuperato3430.74 s
gemma-4-12b-itquickSuperato2115.05 s
gemma-4-12b-itstreamSuperato14.722 s
gemma-4-12b-ittoolsSuperato33.869 s
gemma-4-12b-itvisionSuperato12056.315 s
gemma-4-12b-itvision_contextSuperato65,690282.174 s
gemma-4-12b-itvision_reverseSuperato12029.978 s
gemma3-4bcontextSuperato65,58463.564 s
gemma3-4bexact_digest_65k_recallFallito67,25262.07 s
gemma3-4bquickSuperato155.151 s
gemma3-4bstreamSuperato22.552 s
gemma3-4bvisionSuperato3068.276 s
gemma3-4bvision_contextSuperato65,87667.575 s
gemma3-4bvision_reverseSuperato3065.651 s
gpt-oss-20bcontextSuperato65,637189.07 s
gpt-oss-20bexact_digest_aperture_65kSuperato72,104245.94 s
gpt-oss-20bexact_digest_broker_shortSuperato8415.96 s
gpt-oss-20bquickSuperato7215.431 s
gpt-oss-20bstreamSuperato31.052 s
gpt-oss-20btoolsSuperato23.65 s
nomic-embed-textcontextIncompleto2,048
nomic-embed-textquickSuperato2.798 s
qwen3-14bcontextIncompleto40,939872.209 s
qwen3-14bquickSuperato1536.021 s
qwen3-14bstreamSuperato33.491 s
qwen3-14btoolsSuperato82.471 s
qwen3-8bcontextIncompleto1800.07 s
qwen3-8bquickSuperato1519.283 s
qwen3-8bstreamSuperato19.401 s
qwen3-8btoolsSuperato65.054 s
qwen3.5-9bcontextSuperato65,579258.048 s
qwen3.5-9bexact_digest_aperture_65kSuperato81,051324.07 s
qwen3.5-9bexact_digest_broker_shortSuperato2994.48 s
qwen3.5-9bquickSuperato1527.16 s
qwen3.5-9bstreamSuperato28.62 s
qwen3.5-9btoolsSuperato28.129 s
qwen3.5-9bvisionSuperato7525.047 s
qwen3.5-9bvision_contextSuperato65,640369.477 s
qwen3.5-9bvision_reverseSuperato7527.602 s

Sistema E

Etichetta route modelloControlloEsitoToken di inputDurata richiesta
gemma-4-e4b-itcontextSuperato65,59049.086 s
gemma-4-e4b-itquickSuperato2123.911 s
gemma-4-e4b-itstreamSuperato28.136 s
gemma-4-e4b-ittoolsSuperato56.756 s
granite-4.0-h-tinycontextSuperato65,566
granite-4.0-h-tinyquickSuperato3510.408 s
granite-4.0-h-tinystreamSuperato27.798 s
granite-4.0-h-tinytoolsSuperato43.304 s
granite-4.2-3bcontextSuperato65,5891014.03 s
granite-4.2-3bquickSuperato2014.569 s
granite-4.2-3bstreamSuperato6.948 s
granite-4.2-3btoolsSuperato56.376 s
qwen3-embedding-0.6bcontextSuperato32,76720.387 s
qwen3-embedding-0.6bquickSuperato149.592 s
qwen3.5-0.8bcontextSuperato16,4299.128 s
qwen3.5-0.8bquickSuperato17452.417 s
qwen3.5-0.8bstreamSuperato11.163 s
qwen3.5-0.8btoolsSuperato39.214 s
qwen3.5-2bcontextSuperato65,57930.343 s
qwen3.5-2bquickSuperato1512.509 s
qwen3.5-2bstreamSuperato26.165 s
qwen3.5-2btoolsSuperato42.056 s
qwen3.5-4bcontextSuperato65,57953.787 s
qwen3.5-4bquickSuperato1526.736 s
qwen3.5-4bstreamSuperato26.02 s
qwen3.5-4btoolsSuperato57.293 s
qwen3.5-4bvisionSuperato7210.09 s
qwen3.5-4bvision_contextSuperato65,63744.88 s
qwen3.5-4bvision_reverseSuperato729.96 s

Sistema F

Etichetta route modelloControlloEsitoToken di inputDurata richiesta
gemma-4-e4b-itcontextSuperato65,59098.443 s
gemma-4-e4b-itquickSuperato2127.51 s
gemma-4-e4b-itstreamSuperato28.042 s
gemma-4-e4b-ittoolsSuperato73.891 s
granite-4.0-h-tinycontextSuperato65,59919.692 s
granite-4.0-h-tinyquickSuperato3543.818 s
granite-4.0-h-tinystreamSuperato27.296 s
granite-4.0-h-tinytoolsSuperato75.377 s
granite-4.2-3bcontextSuperato65,589145.179 s
granite-4.2-3bquickSuperato2015.703 s
granite-4.2-3bstreamSuperato35.482 s
granite-4.2-3btoolsSuperato52.539 s
qwen3-embedding-0.6bcontextSuperato32,76720.656 s
qwen3-embedding-0.6bquickSuperato148.122 s
qwen3.5-0.8bcontextSuperato16,42913.326 s
qwen3.5-0.8bquickSuperato17445.22 s
qwen3.5-0.8bstreamSuperato13.266 s
qwen3.5-0.8btoolsSuperato40.825 s
qwen3.5-2bcontextSuperato65,57961.282 s
qwen3.5-2bquickSuperato1516.738 s
qwen3.5-2bstreamSuperato25.29 s
qwen3.5-2btoolsSuperato47.444 s
qwen3.5-4bcontextSuperato65,57993.753 s
qwen3.5-4bquickSuperato1533.039 s
qwen3.5-4bstreamSuperato25.658 s
qwen3.5-4btoolsSuperato71.731 s
qwen3.5-4bvisionSuperato7043.053 s
qwen3.5-4bvision_contextSuperato65,63584.749 s
qwen3.5-4bvision_reverseSuperato7027.518 s

Sistema G

Etichetta route modelloControlloEsitoToken di inputDurata richiesta
gemma-4-e4b-itcontextSuperato65,59092.696 s
gemma-4-e4b-itquickSuperato2138.329 s
gemma-4-e4b-itstreamSuperato43.549 s
gemma-4-e4b-ittoolsSuperato66.616 s
granite-4.0-h-tinycontextSuperato65,59969.777 s
granite-4.0-h-tinyquickSuperato3533.17 s
granite-4.0-h-tinystreamSuperato31.751 s
granite-4.0-h-tinytoolsSuperato63.338 s
granite-4.2-3bcontextSuperato65,589100.849 s
granite-4.2-3bquickSuperato2023.355 s
granite-4.2-3bstreamSuperato28.75 s
granite-4.2-3btoolsSuperato44.226 s
qwen3-embedding-0.6bcontextSuperato32,76723.055 s
qwen3-embedding-0.6bquickSuperato148.924 s
qwen3.5-0.8bcontextSuperato16,42916.74 s
qwen3.5-0.8bquickSuperato17504.813 s
qwen3.5-0.8bstreamSuperato15.095 s
qwen3.5-0.8btoolsSuperato36.672 s
qwen3.5-2bcontextSuperato65,57976.731 s
qwen3.5-2bquickSuperato1520.949 s
qwen3.5-2bstreamSuperato25.194 s
qwen3.5-2btoolsSuperato37.552 s
qwen3.5-4bcontextSuperato65,57990.807 s
qwen3.5-4bquickSuperato1541.84 s
qwen3.5-4bstreamSuperato40.812 s
qwen3.5-4btoolsSuperato54.999 s
qwen3.5-4bvisionSuperato7029.619 s
qwen3.5-4bvision_contextSuperato65,63587.496 s
qwen3.5-4bvision_reverseSuperato7026.283 s

Come ho verificato la praticabilità di Hermes

Ho usato un marcatore sintetico vicino all’inizio di un prompt lungo e ho chiesto di restituirlo dopo il testo riempitivo. La risposta doveva contenere il valore atteso. La dimensione dipendeva dai token di input riportati dal server. Un modello che rispondeva normalmente dopo un input ampio falliva comunque se sbagliava il marcatore iniziale.

La progressione Qwen3.5 35B usava record riempitivi numerati, temperatura 0 e lunghezze crescenti di 3.800, 6.800, 10.000 e 13.600 record. Le fasi hanno restituito 69.429, 124.179, 182.579 e 248.279 token. Il modello è rimasto caricato tra le fasi, consentendo il riuso del prefisso. I controlli Qwen3.6 vicini al limite hanno riportato zero token in cache.

Il prompt lungo 0.8B ripeteva river stone lantern orchard circuit velvet compass marble 8.400 volte tra una chiave iniziale e la domanda finale. La prova nativa usava think:false, num_ctx:131072, stream:false e keep_alive:0. La route compatibile OpenAI usava reasoning_effort:"none". Il broker imponeva la modalità senza pensiero.

Controlli di strumenti, visione e rilascio

I test degli strumenti controllavano richiesta e risposta dopo il risultato. Un test semplice usava add_numbers(7, 11) e si aspettava 18. Il test Qwen3.5 35B usava lookup_square e si aspettava 49. GPT-OSS interrogava l’inventario e doveva usare il risultato restituito.

I controlli visivi usavano domande su immagini rosse e blu, ordine invertito e prompt lunghi con colori e marcatori iniziali e finali. Il test Qwen3.5 35B usava un PNG rosso 256 × 256. Il broker ha richiesto una correzione della conversione immagini. Il test visivo lungo 4B sul sistema E richiedeva entrambi i marcatori e l’ordine dei colori.

Durante le prove ho controllato memoria GPU, residenza del modello, temperature, pressione della memoria host, eventi OOM e guasti GPU. Il controllo Qwen3.5 35B verificava anche il rilascio dopo un’interruzione controllata. I controlli successivi di annullamento client e richieste in coda hanno esercitato il broker. Due richieste in coda provano la gestione del carico testato, non due backend GPU indipendenti simultanei.

Interpretare i risultati di prestazione

Le durate includono prefill dell’input lungo e risposta. Non sono token generati al secondo. Per lo streaming conta il ritardo al primo contenuto; le progressioni con prefisso in cache vanno interpretate separatamente.

I test di follow-up riusciti sui sistemi A e C hanno usato finestre di inferenza dedicate con mining inattivo. I modelli sono stati scaricati dopo le richieste. Il mining è stato ripristinato su tutti e sette i sistemi a fine finestra. I risultati descrivono il servizio durante l’inferenza, non mining e inferenza simultanei.

Profili backend usati nei test

Scegli il profilo del carico che vuoi riprodurre. Quantizzazione, contesto runtime, tipo di cache, modalità di ragionamento e collocazione GPU influenzano il risultato.

Sistema e modelloProfilo backend testato
A, Qwen3.5 35B-A3B Q4_K_MOllama 0.34.2, cache KV f16, entrambe le RTX 5060 Ti da 16GB, 64 GiB di RAM host e contesto runtime 262.144 per la progressione lunga. Le richieste native usavano think:false, temperatura 0, streaming e cinque minuti di keep-alive tra le fasi. Le richieste gateway passavano tramite broker e LiteLLM. Nessun limite di output.
A, Qwen3.8 27Bllama.cpp su richiesta tramite broker e LiteLLM, contesto runtime 262.144, uno slot di inferenza, cache K/V Q4 ed entrambe le RTX 5060 Ti. La richiesta da 66.007 token non aveva un limite di output.
A, Qwen3.6-35B-A3B UD-Q4_K_XLStrata 0.1.48, contesto 131.072, cache KV INT8, una GPU selezionata, limite di memoria del gruppo di processi 55 GiB, limite runtime di 30 minuti, caricamento differito e scaricamento dopo 60 secondi di inattività. Risposta lunga pilota: 217 token di output. Risposta gateway vicina al limite: 11 token, nessun limite di output.
A, Qwen3.8-Flash-Next UD-IQ4_XSStrata 0.1.48, contesto 98.304, cache KV Q4, cache esperti residente 8 GiB ed entrambe le RTX 5060 Ti. Limite memoria pilota 52 GiB, percorso successivo 54 GiB. Risposta lunga pilota: 10 token. Le precedenti combinazioni con contesto/cache maggiori si sono fermate ai limiti di memoria.
A, Granite 4.2 8BPesi GGUF Q6_K, processo di lavoro condiviso di llama.cpp, contesto 131.072, cache K/V Q4_0 e --n-predict -1. La richiesta lunga usava temperatura 0 e misurazione dell’uso in streaming, senza limite di output.
A, DeepSeek Coder V2 16BPesi GGUF Q4_0, Ollama 0.34.2, due RTX 5060 Ti e 64 GiB di RAM host. Le prove separate delle cache f16, Q4_0 e Q8_0 usavano i contesti runtime mostrati nella tabella di confronto. Nessun limite di output.
B, C, D, servizio Ollama verificatoOllama 0.34.2, contesto 131.072, parallelismo 1, un modello caricato, coda di dimensione 128, keep-alive 0, Flash Attention e cache KV Q4_0.
B, prova gateway pilota Qwen3.5 9BTimeout di percorso LiteLLM di 1.800 secondi, zero tentativi aggiuntivi e nessun limite di contesto o token di output. Entrambi i marcatori sono rimasti con 72.265 token di input. La verifica separata del ripristino del mining è passata.
C, Qwen3.5 0.8BPesi Q8_0 su una RTX 2000E Ada con profilo di potenza da 30 W. Contesto runtime 131.072. think:false nativo, reasoning_effort:"none" compatibile con OpenAI, nessun limite di output. L’alias del broker fissava il contesto e imponeva la modalità senza ragionamento.
C, Gemma 4 12B-ITProfilo Ollama a GPU singola, contesto runtime 131.072 e richieste Aperture in streaming e non, senza limite di output. L’esecuzione Aperture diretta ha raggiunto 75 C e 30,64 W con il profilo configurato a 30 W, quindi ha scaricato il modello.
D, Qwen3.5 9B, Gemma 4 12B-IT, GPT-OSS 20BArtefatti esatti installati e testati tramite Aperture, contesto runtime 131.072, piena residenza su una GPU e completamento naturale senza limite di output.
E, F, G, processi di chat llama.cppBuild 11669, 99 livelli GPU, parallelismo 1, Flash Attention, cache K/V Q4_0 e --n-predict -1. Il contesto runtime variava in base alla famiglia del modello.

I profili registrati descrivono le proprie configurazioni runtime. Il profilo Qwen3.5 35B con cache f16 del sistema A non eredita le impostazioni Q4_0 dei sistemi Ollama più piccoli.

Impronte dei modelli nei nuovi test di input conservato

Questi identificatori distinguono gli artefatti testati da altri download o alias con nomi simili.

ArtefattoQuantizzazioneDigest registrato o SHA-256 file
Qwen3.5 35B-A3B Ollama tagQ4_K_M72aac7c28be8ff9b81c2a270eb489c88e6d822a76ec0cb7bf34d965768848567
Qwen3.5 0.8B base Ollama tagQ8_0de63045f29755d4721c09d54c9b45c2dadb644f4fd7d604d4cac90d96049971c
Granite 4.2 8B GGUF fileQ6_K5ad3d67f6fe09a448031029bead7f6a088697ca2787c0c5640bf964c59df1a21

I digest dei manifest Ollama e i valori SHA-256 dei file di pesi identificano oggetti diversi. Abbina l’identificatore al tipo di artefatto nella tabella.

Cosa userei con Hermes

Userei Qwen3.5 35B come route principale ad alto contesto sul sistema con due RTX 5060 Ti. La conservazione di 239.153 token via gateway, i controlli separati di strumenti e visione e il rilascio verificato rendono la scelta più solida di un modello che pubblicizza solo un contesto grande. Terrei Qwen3.8 27B per la risposta più rapida a 66K e Qwen3.6 quando conta una sola scheda.

Sui sistemi RTX 2000E Ada sceglierei la route Gemma 3 4B verificata del sistema C per il carico testato di risposta con input lungo. Proverei Qwen3.5 0.8B senza pensiero per richiami ed estrazione limitati. Le route più grandi Gemma, Qwen e GPT-OSS vanno bene se una risposta iniziale di quattro o cinque minuti è accettabile. Escluderei la route Gemma 3 fallita sul sistema D.

Per le RTX 3060 Ti e RTX 3070 da 8 GB partirei da Qwen3.5 2B o 4B. I risultati testuali 65K e i controlli immagini 4B sostengono una configurazione iniziale utile senza dedicare sempre le due schede da 16 GB. La pressione di memoria di Flash Next e il comportamento incompleto di DeepSeek Coder V2 a 65K li rendono impostazioni predefinite più deboli nei profili provati.

I test supportano queste scelte per flussi specifici. Conservazione dell’input, ciclo corretto di uno strumento, riconoscimento immagini e rilascio pulito coprono aspetti distinti della praticabilità di Hermes. Una configurazione affidabile deve fornire i comportamenti usati dall’agente e lasciare contesto per risposta e traffico degli strumenti.

Fonti e letture correlate