Table of Contents

ਲੰਮੇ ਸੰਦਰਭ ਵਾਲੇ Hermes ਕੰਮ ਲਈ ਮੈਂ ਦੋ 16GB RTX 5060 Ti ਕਾਰਡਾਂ ਉੱਤੇ Qwen3.5 35B ਨਾਲ ਸ਼ੁਰੂ ਕਰਾਂਗਾ। ਟੈਸਟ ਕੀਤੇ ਰੂਟ ਨੇ LiteLLM ਰਾਹੀਂ 239,153 ਇਨਪੁੱਟ ਟੋਕਨ ਸੰਭਾਲੇ ਅਤੇ ਟੂਲਾਂ, ਸਟ੍ਰੀਮਿੰਗ, ਵਿਜ਼ਨ, ਕਤਾਰ ਵਿੱਚ ਪਏ ਬੇਨਤੀਆਂ ਅਤੇ ਰੱਦ ਕਰਨ ਦੀਆਂ ਵੱਖਰੀਆਂ ਜਾਂਚਾਂ ਪਾਸ ਕੀਤੀਆਂ। ਇੱਕ ਕਾਰਡ ਵਾਲਾ ਮੇਰਾ ਬਦਲ Qwen3.6 ਹੈ। RTX 3060 Ti ਅਤੇ RTX 3070 ਸਿਸਟਮਾਂ ਉੱਤੇ ਮੈਂ Qwen3.5 2B ਜਾਂ 4B ਨਾਲ ਸ਼ੁਰੂ ਕਰਾਂਗਾ।

ਇਹ ਚੋਣਾਂ ਏਜੰਟ ਵੱਲੋਂ ਵਰਤੇ ਇਨਫ਼ਰੈਂਸ ਰਸਤੇ ਰਾਹੀਂ ਮਾਡਲ ਚਲਾ ਕੇ ਆਈਆਂ ਹਨ। ਮੈਂ ਲੰਮੇ ਇਨਪੁੱਟ ਨੂੰ ਸੰਭਾਲਣਾ, ਟੂਲ ਨਾਲ ਰਾਊਂਡ-ਟ੍ਰਿਪ, ਸਟ੍ਰੀਮ ਕੀਤੇ ਜਵਾਬ, ਤਸਵੀਰਾਂ ਬਾਰੇ ਸਵਾਲ ਅਤੇ ਮਾਡਲ ਨੂੰ ਛੱਡਣਾ ਟੈਸਟ ਕੀਤਾ। ਰਸਤਿਆਂ ਦੇ ਪਿੱਛੇ ਵਾਲੇ ਮੋਡ ਅਤੇ ਮੈਮਰੀ ਸੈਟਿੰਗਾਂ ਵੀ ਪਰਖੀਆਂ, ਕਿਉਂਕਿ ਮਾਡਲ ਦਾ ਲੋਡ ਹੋ ਜਾਣਾ ਲੰਮੀ ਏਜੰਟ ਬੇਨਤੀ ਵਿੱਚ ਉਸਦੀ ਵਰਤੋਂ ਬਾਰੇ ਘੱਟ ਦੱਸਦਾ ਹੈ।

ਟੂਲਾਂ ਨਾਲ ਏਜੰਟ ਕੰਮ ਵਾਸਤੇ Hermes ਨੂੰ ਘੱਟੋ-ਘੱਟ 64,000 ਟੋਕਨਾਂ ਦਾ ਸੰਦਰਭ ਚਾਹੀਦਾ ਹੈ। ਲੰਮੇ ਸੰਦਰਭ ਦੀ ਯੋਗਤਾ ਲਈ ਮੈਂ 65,536 ਅਸਲ ਇਨਪੁੱਟ ਟੋਕਨਾਂ ਨੂੰ ਹੱਦ ਬਣਾਇਆ। ਸਰਵਰ ਵੱਲੋਂ ਦੱਸੇ ਸੰਦਰਭ ਆਕਾਰ ਨਾਲੋਂ ਇਨਪੁੱਟ ਟੋਕਨਾਂ ਦੀ ਗਿਣਤੀ ਵਧੇਰੇ ਮਾਇਨੇ ਰੱਖਦੀ ਹੈ। ( Hermes Agent ਪ੍ਰਦਾਤਾ ਦਸਤਾਵੇਜ਼ )

ਹਰ ਸਿਸਟਮ ਵਿੱਚ ਕਿਹੜੇ GPU ਸਨ

ਨਤੀਜਿਆਂ ਵਿੱਚ ਸਿਸਟਮ ਦੇ ਅੱਖਰ ਹਾਰਡਵੇਅਰ ਜੋੜ ਦੱਸਦੇ ਹਨ।

ਸਿਸਟਮਇਸ ਬੈਂਚਮਾਰਕ ਲਈ ਵਰਤੇ GPUਮੇਰੀ ਸ਼ੁਰੂਆਤੀ ਮਾਡਲ ਚੋਣ
A2 × GeForce RTX 5060 Ti, ਹਰੇਕ 16GBਦੋਹਾਂ ਕਾਰਡਾਂ ਉੱਤੇ Qwen3.5 35B, ਜਾਂ ਇੱਕ ਕਾਰਡ ਉੱਤੇ Qwen3.6
B1 × RTX 2000E Ada, 16GBਜੇ ਲੰਮੇ ਇਨਪੁੱਟ ਦੀ ਕਈ ਮਿੰਟਾਂ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕੰਮ ਨਾਲ ਢੁੱਕਦੀ ਹੋਵੇ ਤਾਂ Qwen3.5 9B
C1 × RTX 2000E Ada, 16GBਟੈਸਟ ਕੀਤੇ ਲੰਮੇ-ਇਨਪੁੱਟ ਰਸਤੇ ਲਈ Gemma 3 4B, ਸੀਮਤ ਯਾਦ ਕੰਮਾਂ ਲਈ ਬਿਨਾਂ ਸੋਚਣ ਦੇ ਮੋਡ ਵਿੱਚ Qwen3.5 0.8B
D1 × RTX 2000E Ada, 16GBਟੈਸਟ ਕੀਤੇ ਵੱਡੇ-ਮਾਡਲ ਕੰਮਾਂ ਲਈ Qwen3.5 9B, Gemma 4 12B-IT ਜਾਂ GPT-OSS 20B
E9 × GeForce RTX 3060 Ti, ਹਰੇਕ 8GBQwen3.5 2B ਜਾਂ 4B
F8 × GeForce RTX 3060 Ti, ਹਰੇਕ 8GBQwen3.5 2B ਜਾਂ 4B
G3 × GeForce RTX 3070Qwen3.5 2B ਜਾਂ 4B

ਲੱਗੇ ਹੋਏ ਕਾਰਡਾਂ ਦੀ ਗਿਣਤੀ ਦਾ ਮਤਲਬ ਇਹ ਨਹੀਂ ਕਿ ਹਰ ਬੇਨਤੀ ਨੇ ਹਰ GPU ਵਰਤਿਆ। ਸਿਸਟਮ A ਵਿੱਚ Qwen3.5 35B ਅਤੇ Flash Next ਟ੍ਰਾਇਲਾਂ ਨੇ ਦੋਵੇਂ ਕਾਰਡ ਵਰਤੇ। Qwen3.6 ਨੇ ਇੱਕ ਕਾਰਡ ਵਰਤਿਆ। ਸਿਸਟਮ E ਦੀ ਕਾਮਯਾਬ Qwen3.5 4B ਵਿਜ਼ਨ ਮੁੜ-ਜਾਂਚ ਨੇ ਅੱਠਾਂ ਦੇ ਗਰੁੱਪ ਵਿਚੋਂ ਇੱਕ ਚੁਣਿਆ ਕਾਰਡ ਵਰਤਿਆ ਅਤੇ ਨੌਵਾਂ ਕਾਰਡ AI ਕੰਮ ਤੋਂ ਬਾਹਰ ਰਿਹਾ।

ਹੇਠਲੇ ਸਮਿਆਂ ਨੂੰ ਟੈਸਟ ਕੀਤੇ ਮਾਡਲ, ਰਨਟਾਈਮ ਅਤੇ ਸਿਸਟਮ ਦੇ ਸਾਂਝੇ ਨਤੀਜੇ ਸਮਝੋ। ਇਹ ਰਨ ਵਰਤੋਂਯੋਗ ਕੌਂਫ਼ਿਗਰੇਸ਼ਨਾਂ ਦੀ ਤੁਲਨਾ ਕਰਦੇ ਹਨ। ਇਹ ਗਤੀ ਦੇ ਫ਼ਰਕ ਦਾ ਕਾਰਨ GPU ਆਰਕੀਟੈਕਚਰ ਨੂੰ ਵੱਖਰਾ ਕਰਕੇ ਨਹੀਂ ਦਿਖਾਉਂਦੇ।

ਦੋ RTX 5060 Ti ਲੰਮੇ ਸੰਦਰਭ ਲਈ Qwen3.5 35B ਨੂੰ ਮੇਰੀ ਚੋਣ ਬਣਾਉਂਦੇ ਹਨ

ਇਨ੍ਹਾਂ ਟੈਸਟਾਂ ਵਿੱਚ Qwen3.5 35B ਨੇ ਸਭ ਤੋਂ ਵੱਡਾ ਸੰਭਾਲਿਆ-ਇਨਪੁੱਟ ਨਤੀਜਾ ਦਿੱਤਾ। ਸਿੱਧੀ Ollama ਲੜੀ ਨੇ 262,144-ਟੋਕਨ ਰਨਟਾਈਮ ਸੰਦਰਭ ਅੰਦਰ 248,279 ਇਨਪੁੱਟ ਟੋਕਨ ਸੰਭਾਲੇ। ਇੱਕ ਹੋਰ ਸਟ੍ਰੀਮ ਕੀਤੀ ਗੇਟਵੇ ਬੇਨਤੀ ਨੇ 239,153 ਇਨਪੁੱਟ ਟੋਕਨ ਰੱਖੇ, ਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਵਾਪਸ ਦਿੱਤਾ ਅਤੇ 31 ਆਉਟਪੁੱਟ ਟੋਕਨਾਂ ਮਗਰੋਂ 148.12 ਸਕਿੰਟਾਂ ਵਿੱਚ ਕੁਦਰਤੀ ਤੌਰ ਉੱਤੇ ਮੁੱਕੀ।

ਗੇਟਵੇ ਨਤੀਜਾ Hermes ਲਈ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ, ਕਿਉਂਕਿ ਬੇਨਤੀ ਬ੍ਰੋਕਰ ਅਤੇ LiteLLM ਵਿਚੋਂ ਲੰਘੀ। ਵੱਖਰੀਆਂ ਬੇਨਤੀਆਂ ਨੇ ਟੂਲ ਰਾਊਂਡ-ਟ੍ਰਿਪ ਪੂਰਾ ਕੀਤਾ, ਲਾਲ ਤਸਵੀਰ ਪਛਾਣੀ ਅਤੇ ਇਕੱਠੀਆਂ ਭੇਜਣ ਉੱਤੇ ਦੋ ਸਹੀ ਜਵਾਬ ਦਿੱਤੇ। ਬ੍ਰੋਕਰ ਨੇ ਇਹ ਦੋਵੇਂ ਬੇਨਤੀਆਂ ਕਤਾਰ ਵਿੱਚ ਰੱਖੀਆਂ। ਸਟ੍ਰੀਮ ਕੀਤੀ ਬੇਨਤੀ ਬੰਦ ਕਰਨ ਨਾਲ ਬ੍ਰੋਕਰ ਖਾਲੀ ਹੋਇਆ ਅਤੇ 60.31 ਸਕਿੰਟਾਂ ਅੰਦਰ ਮਾਡਲ ਅਨਲੋਡ ਹੋ ਗਿਆ।

Qwen3.5 35B ਬੇਨਤੀਇਨਪੁੱਟ ਟੋਕਨਆਉਟਪੁੱਟ ਟੋਕਨਸਮਾਂਨਤੀਜਾ
ਸਿੱਧੀ Ollama, ਪਹਿਲਾ ਕ੍ਰਮਵਾਰ ਪੜਾਅ69,4293138.783 sਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਬਿਲਕੁਲ ਸਹੀ
ਸਿੱਧੀ Ollama, ਸਾਂਝੇ ਪ੍ਰੀਫ਼ਿਕਸ ਨਾਲ ਅਗਲਾ ਪੜਾਅ124,1793128.472 sਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਬਿਲਕੁਲ ਸਹੀ
ਸਿੱਧੀ Ollama, ਸਾਂਝੇ ਪ੍ਰੀਫ਼ਿਕਸ ਨਾਲ ਅਗਲਾ ਪੜਾਅ182,5793138.974 sਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਬਿਲਕੁਲ ਸਹੀ
ਸਿੱਧੀ Ollama, ਸਾਂਝੇ ਪ੍ਰੀਫ਼ਿਕਸ ਨਾਲ ਅਗਲਾ ਪੜਾਅ248,2793154.215 sਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਬਿਲਕੁਲ ਸਹੀ
ਬ੍ਰੋਕਰ ਦੀ ਸਟ੍ਰੀਮ ਕੀਤੀ ਬੇਨਤੀ69,4272938.872 sਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਬਿਲਕੁਲ ਸਹੀ
LiteLLM ਦੀ ਸਟ੍ਰੀਮ ਕੀਤੀ ਬੇਨਤੀ239,15331148.12 sਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਬਿਲਕੁਲ ਸਹੀ, ਸਹੀ ਅਨਲੋਡ

ਸਿੱਧੀਆਂ ਕ੍ਰਮਵਾਰ ਬੇਨਤੀਆਂ ਨੇ ਵਧਦਾ ਹੋਇਆ ਪ੍ਰੀਫ਼ਿਕਸ ਮੁੜ ਵਰਤਿਆ। ਉਨ੍ਹਾਂ ਦੇ ਸਮੇਂ ਗਰਮ-ਜਾਰੀ ਰਹਿਣ ਦਾ ਵਰਤਾਅ ਦੱਸਦੇ ਹਨ। 54.215 ਸਕਿੰਟਾਂ ਦਾ ਨਤੀਜਾ ਨਵੇਂ 248K ਪ੍ਰੌਮਪਟ ਦੀ ਸੁਤੰਤਰ ਠੰਢੀ ਪ੍ਰਕਿਰਿਆ ਦਾ ਮਾਪ ਨਹੀਂ।

ਸਭ ਤੋਂ ਵੱਡੇ ਸਿੱਧੇ ਪੜਾਅ ਉੱਤੇ ਮਾਡਲ ਨੇ ਦੋਵੇਂ GPUਆਂ ਉੱਤੇ ਲਗਭਗ 27.3 ਅਰਬ ਬਾਈਟ ਮੈਮਰੀ ਵਿੱਚ ਹੋਣ ਦੀ ਜਾਣਕਾਰੀ ਦਿੱਤੀ। ਹਰੇਕ ਕਾਰਡ ਦੀ ਮੈਮਰੀ ਸਿਖਰ 14,964 ਅਤੇ 12,386 MiB ਤੱਕ ਸੀ।

ਵੱਧ ਤੋਂ ਵੱਧ ਤਾਪਮਾਨ 62 ਅਤੇ 63 C ਤੱਕ ਗਿਆ ਅਤੇ ਰਨ ਵਿੱਚ ਕੋਈ OOM ਜਾਂ Xid ਗੜਬੜ ਦਰਜ ਨਹੀਂ ਹੋਈ। ਇਨਪੁੱਟ ਨੇ ਕੌਂਫ਼ਿਗਰ ਸੰਦਰਭ ਵਿੱਚ ਅੱਗੇ ਲਈ 13,865 ਟੋਕਨ ਛੱਡੇ। ਛੋਟੇ ਮਾਰਕਰ ਜਵਾਬ ਨੇ ਉਨ੍ਹਾਂ ਵਿਚੋਂ 31 ਵਰਤੇ।

ਜਦੋਂ ਛੋਟੀ ਸ਼ੁਰੂਆਤੀ ਉਡੀਕ ਨਾਲੋਂ ਵੱਡਾ ਕੰਮ-ਸੈੱਟ ਸੰਭਾਲਣਾ ਵਧੇਰੇ ਮਾਇਨੇ ਰੱਖੇ, ਮੈਂ ਇਹ ਰੂਟ ਵਰਤਾਂਗਾ। ਟੂਲ ਅਤੇ ਵਿਜ਼ਨ ਜਾਂਚਾਂ ਏਜੰਟ ਦੇ ਲਾਭਦਾਇਕ ਵਰਤਾਅ ਦਿਖਾਉਂਦੀਆਂ ਹਨ, ਜਦਕਿ ਲੰਮੇ-ਇਨਪੁੱਟ ਟੈਸਟ ਸੰਭਾਲਣ ਦੀ ਸਮਰੱਥਾ ਦਿਖਾਉਂਦਾ ਹੈ। ਇਹ ਵੱਖਰੇ ਕੰਮ ਹਨ।

Qwen3.6 ਇੱਕ ਕਾਰਡ ਵਾਲਾ ਵਿਕਲਪ ਹੈ

Qwen3.6-35B-A3B UD-Q4_K_XL ਨੇ ਇੱਕ RTX 5060 Ti ਉੱਤੇ 131,000 ਇਨਪੁੱਟ ਟੋਕਨ ਸੰਭਾਲੇ। ਟੈਸਟ ਦੌਰਾਨ ਦੂਜਾ ਕਾਰਡ ਵਿਹਲਾ ਰਿਹਾ। ਇਸ ਨਾਲ ਸਿਸਟਮ ਨੂੰ ਉਦੋਂ ਲਾਭਦਾਇਕ ਵਿਕਲਪ ਮਿਲਦਾ ਹੈ ਜਦੋਂ ਇੱਕ ਮਾਡਲ ਨੂੰ ਦੋਵੇਂ ਕਾਰਡ ਦੇਣਾ ਠੀਕ ਨਾ ਹੋਵੇ।

Qwen3.6 ਗੇਟਵੇ ਬੇਨਤੀਇਨਪੁੱਟ ਟੋਕਨਆਉਟਪੁੱਟ ਟੋਕਨਸਮਾਂਨਤੀਜਾ
ਸ਼ੁਰੂਆਤੀ ਲੰਮੀ ਬੇਨਤੀ66,007167.82 sਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸੰਭਾਲਿਆ
ਹੋਰ ਲੰਮੀ ਬੇਨਤੀ90,00011159.92 sਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸੰਭਾਲਿਆ, ਕੈਸ਼ ਕੀਤਾ ਇਨਪੁੱਟ ਸਿਫ਼ਰ
ਹੋਰ ਲੰਮੀ ਬੇਨਤੀ119,99911250.61 sਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸੰਭਾਲਿਆ, ਕੈਸ਼ ਕੀਤਾ ਇਨਪੁੱਟ ਸਿਫ਼ਰ
ਰਨਟਾਈਮ ਹੱਦ ਦੇ ਨੇੜੇ131,00011287.09 sਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸੰਭਾਲਿਆ, ਕੈਸ਼ ਕੀਤਾ ਇਨਪੁੱਟ ਸਿਫ਼ਰ

131,000-ਟੋਕਨ ਬੇਨਤੀ 131,072-ਟੋਕਨ ਰਨਟਾਈਮ ਹੱਦ ਨੇੜੇ ਸੀ। ਏਜੰਟ ਲਈ ਮੈਂ ਜਵਾਬ ਅਤੇ ਅੱਗੇ ਆਉਣ ਵਾਲੇ ਟੂਲ ਸੁਨੇਹਿਆਂ ਵਾਸਤੇ ਵੱਧ ਥਾਂ ਛੱਡਾਂਗਾ। ਹੱਦ ਨੇੜੇ ਸੰਭਾਲਣ ਦਾ ਨਤੀਜਾ ਇਨਪੁੱਟ ਸੰਭਾਲਣ ਦਾ ਸਬੂਤ ਹੈ, ਸਮਝਦਾਰ ਮੂਲ ਇਨਪੁੱਟ ਬਜਟ ਨਹੀਂ।

ਸੋਚ ਬੰਦ ਹੋਣ ਉੱਤੇ ਟੂਲ ਵਰਤੋਂ ਪਾਸ ਹੋਈ। ਮੂਲ ਸੋਚਣ ਦੇ ਮੋਡ ਨੇ ਟੂਲ ਕਾਲ ਜਾਰੀ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ 512-ਟੋਕਨ ਟ੍ਰਾਇਲ ਭੱਤਾ ਵਰਤ ਲਿਆ। ਕਾਮਯਾਬ ਪਾਇਲਟ ਨੇ ਤੇਜ਼, ਸਟ੍ਰੀਮ ਅਤੇ ਵਿਜ਼ਨ ਬੇਨਤੀਆਂ ਵੀ ਪਾਸ ਕੀਤੀਆਂ। ਇਸਦੀ ਪਹਿਲੀ 65,845-ਟੋਕਨ ਸੰਦਰਭ ਜਾਂਚ ਨੂੰ 139.57 ਸਕਿੰਟ ਲੱਗੇ।

ਇੱਕੋ 66K ਜਵਾਬ ਤੁਲਨਾ ਵਿੱਚ Qwen3.8 27B ਅੱਗੇ ਹੈ

ਸਿਸਟਮ A ਉੱਤੇ ਉਸੇ 66,007-ਟੋਕਨ ਮਾਰਕਰ ਕੰਮ ਲਈ Qwen3.8 27B ਨੇ ਸਭ ਤੋਂ ਤੇਜ਼ ਜਵਾਬ ਦਿੱਤਾ। ਮੈਂ ਟੈਸਟ ਕੀਤੇ ਇਨਪੁੱਟ ਦੇ ਨੇੜੇ ਦੀਆਂ ਬੇਨਤੀਆਂ ਲਈ ਇਹ ਰੂਟ ਅਤੇ ਵੱਡੇ ਕੰਮ-ਸੈੱਟ ਲਈ Qwen3.5 35B ਰੱਖਾਂਗਾ।

ਸਿਸਟਮ A ਰੂਟਇਨਪੁੱਟ ਟੋਕਨਸਮਾਂਨਤੀਜਾ
Qwen3.8 27B66,00754.64 sਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸੰਭਾਲਿਆ
Qwen3.6-35B-A3B UD-Q4_K_XL66,007167.82 sਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸੰਭਾਲਿਆ
Qwen3.8-Flash-Next UD-IQ4_XS66,007164.58 sਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸੰਭਾਲਿਆ
Flash Next IQ4 ਅਨੁਕੂਲਤਾ ਨਾਮ66,007213.25 sਮਾਰਕਰ ਸੰਭਾਲਿਆ

Qwen3.8 27B ਨੇ ਬਰਾਬਰ Qwen3.6 ਅਤੇ Flash Next ਬੇਨਤੀਆਂ ਦਾ ਲਗਭਗ ਤੀਜਾ ਸਮਾਂ ਲਿਆ। ਇਹ ਟੈਸਟ ਕੀਤੇ ਰਨਟਾਈਮਾਂ ਨਾਲ ਪੂਰੀਆਂ ਬੇਨਤੀਆਂ ਦੇ ਨਿਰੀਖਣ ਹਨ, ਸਿਰਫ਼ ਹਾਰਡਵੇਅਰ ਦੀ ਤੁਲਨਾ ਨਹੀਂ।

ਤੇਜ਼ ਜਵਾਬ, ਸਟ੍ਰੀਮਿੰਗ ਅਤੇ ਟੂਲ ਵਰਤੋਂ ਵੀ ਪਾਸ ਹੋਏ। ਸੋਚ ਬੰਦ ਮੋਡ ਨੇ ਰੰਗਾਂ ਦੀ ਪੂਰੀ ਲੜੀ ਅਤੇ ਟੂਲ ਰਾਊਂਡ-ਟ੍ਰਿਪ ਮੁਕੰਮਲ ਕੀਤਾ, ਜਦਕਿ ਸੋਚ ਵਾਲੇ ਟੈਸਟ ਨੇ 512-ਟੋਕਨ ਹੱਦ ਅੰਦਰ ਰੰਗਾਂ ਦੀ ਲੜੀ ਦਾ ਕੁਝ ਹਿੱਸਾ ਹੀ ਦਿੱਤਾ।

ਮੈਮਰੀ ਦਬਾਅ ਕਰਕੇ ਇਸ ਸਿਸਟਮ ਉੱਤੇ Flash Next ਘੱਟ ਪਸੰਦੀਦਾ ਮੂਲ ਚੋਣ ਹੈ। ਉਸਦਾ 65,847-ਟੋਕਨ ਪਾਇਲਟ 98,304 ਰਨਟਾਈਮ ਸੰਦਰਭ ਉੱਤੇ 201.41 ਸਕਿੰਟਾਂ ਵਿੱਚ ਪਾਸ ਹੋਇਆ। 131,072 ਸੰਦਰਭ ਵਾਲੇ ਪਹਿਲਾਂ ਦੇ ਦੋ ਪ੍ਰੋਫ਼ਾਈਲ ਤਿਆਰ ਹੋਣ ਤੋਂ ਪਹਿਲਾਂ ਮੈਮਰੀ ਹੱਦ ਤੱਕ ਪਹੁੰਚੇ।

ਅਗਲਾ ਰੂਟ ਆਪਣੀ 54 GiB cgroup ਹੱਦ ਤੱਕ ਪਹੁੰਚਿਆ। ਬਿਨਾਂ ਨਿਗਰਾਨੀ ਦੇ ਕੰਮ ਲਈ ਮੈਂ ਵੱਧ ਮੈਮਰੀ ਗੁੰਜਾਇਸ਼ ਵਾਲਾ ਰੂਟ ਚੁਣਾਂਗਾ।

flash-iq2 ਨਾਂ ਵਾਲੇ ਰੂਟ ਨੇ Flash Next IQ4 ਅਨੁਕੂਲਤਾ ਬੈਕਐਂਡ ਚਲਾਇਆ। ਇਸਦਾ ਨਾਂ IQ2 ਨਤੀਜਾ ਨਹੀਂ ਦੱਸਦਾ।

RTX 2000E Ada ਲੰਮਾ ਇਨਪੁੱਟ ਸੰਭਾਲਦਾ ਹੈ, ਪਰ ਮਾਡਲ ਚੋਣ ਉਡੀਕ ਬਦਲਦੀ ਹੈ

ਸਿਸਟਮ C ਉੱਤੇ Gemma 3 4B ਮੇਰਾ ਟੈਸਟ ਕੀਤਾ ਮਨਪਸੰਦ ਲੰਮੇ-ਇਨਪੁੱਟ ਰੂਟ ਹੈ। ਦੋ ਰਸਤਿਆਂ ਨੇ ਤਕਰੀਬਨ 88 ਸਕਿੰਟਾਂ ਵਿੱਚ 84K ਤੋਂ ਵੱਧ ਇਨਪੁੱਟ ਟੋਕਨ ਸੰਭਾਲੇ। ਵੱਡੇ ਮਾਡਲ ਰਸਤਿਆਂ ਨੇ ਵੀ ਲਾਹੇਵੰਦ ਸੰਭਾਲ ਜਾਂਚਾਂ ਪਾਸ ਕੀਤੀਆਂ, ਪਰ ਉਨ੍ਹਾਂ ਦੀਆਂ ਬੇਨਤੀਆਂ ਨੂੰ ਕਈ ਮਿੰਟ ਲੱਗੇ।

ਸਿਸਟਮਮਾਡਲ ਅਤੇ ਰਸਤਾਇਨਪੁੱਟ ਟੋਕਨਸਮਾਂਨਤੀਜਾ
BQwen3.5 9B, ਗੇਟਵੇ72,265263 sਦੋਵੇਂ ਸੈਂਟੀਨਲ ਸੰਭਾਲੇ, ਬਾਅਦਲੀ ਮਾਈਨਿੰਗ-ਵਾਪਸੀ ਜਾਂਚ ਪਾਸ ਕੀਤੀ
CGemma 3 4B, ਗੇਟਵੇ84,04488.05 sਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸੰਭਾਲਿਆ
CGemma 3 4B, Aperture84,04587.68 sਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸੰਭਾਲਿਆ
CGemma 4 12B-IT, ਗੇਟਵੇ67,254263.07 sਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸੰਭਾਲਿਆ
CGemma 4 12B-IT, Aperture ਬਿਨਾਂ ਸਟ੍ਰੀਮ67,255274.24 sਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸੰਭਾਲਿਆ
CGemma 4 12B-IT, Aperture ਸਟ੍ਰੀਮ67,255282.16 sਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸੰਭਾਲਿਆ
CQwen3.5 9B, ਗੇਟਵੇ75,648319.36 sਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸੰਭਾਲਿਆ, ਮਾਡਲ ਅਨਲੋਡ ਹੋਇਆ
CGPT-OSS 20B, ਗੇਟਵੇ84,099315.83 sਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸੰਭਾਲਿਆ, ਮਾਡਲ ਅਨਲੋਡ ਹੋਇਆ
DQwen3.5 9B, Aperture81,051324.07 sਲੱਗੇ ਹੋਏ ਆਰਟੀਫ਼ੈਕਟ ਉੱਤੇ ਸੰਭਾਲ ਜਾਂਚ ਪਾਸ
DGemma 4 12B-IT, Aperture72,057300.67 sਲੱਗੇ ਹੋਏ ਆਰਟੀਫ਼ੈਕਟ ਉੱਤੇ ਸੰਭਾਲ ਜਾਂਚ ਪਾਸ
DGPT-OSS 20B, Aperture72,104245.94 sਲੱਗੇ ਹੋਏ ਆਰਟੀਫ਼ੈਕਟ ਉੱਤੇ ਸੰਭਾਲ ਜਾਂਚ ਪਾਸ

ਸਟ੍ਰੀਮਿੰਗ ਨੇ ਸਿਸਟਮ C ਉੱਤੇ Gemma 4 ਦੀ ਲੰਮੀ ਪ੍ਰੀਫ਼ਿਲ ਉਡੀਕ ਨਹੀਂ ਹਟਾਈ। ਪਹਿਲੀ ਸਟ੍ਰੀਮ ਕੀਤੀ ਸਮੱਗਰੀ 277.49 ਸਕਿੰਟਾਂ ਪਿੱਛੋਂ ਆਈ, ਜੋ ਬਿਨਾਂ ਸਟ੍ਰੀਮ ਵਾਲੇ 274.24 ਸਕਿੰਟ ਦੇ ਪੂਰੇ ਜਵਾਬ ਤੋਂ ਵੀ ਦੇਰ ਨਾਲ ਸੀ। ਪਹਿਲੀ ਬਿਨਾਂ-ਸਟ੍ਰੀਮ ਕੋਸ਼ਿਸ਼ ਦਾ ਸਮਾਂ ਮੁੱਕ ਗਿਆ, ਫਿਰ ਮੁੜ ਕੋਸ਼ਿਸ਼ ਸਫ਼ਲ ਹੋਈ। ਮੈਂ ਇਹ ਰਸਤਾ ਉਹਨਾਂ ਕੰਮਾਂ ਲਈ ਰੱਖਾਂਗਾ ਜਿਨ੍ਹਾਂ ਵਿੱਚ ਪਹਿਲੀ ਪ੍ਰਕਿਰਿਆ ਦੇ ਕਈ ਮਿੰਟ ਢੁੱਕਦੇ ਹੋਣ।

Gemma 3 4B ਇਹ ਵੀ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਹਰ ਟੈਸਟ ਕੀਤੇ ਸਿਸਟਮ ਲਈ ਯੋਗਤਾ ਵੱਖਰੀ ਕਿਉਂ ਹੋਣੀ ਚਾਹੀਦੀ ਹੈ। ਸਿਸਟਮ D ਦੋ 65K ਯਾਦ-ਟੈਸਟਾਂ ਵਿੱਚ ਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਲੱਭਣ ਤੋਂ ਖੁੰਝਿਆ, ਜਿਸ ਵਿੱਚ 67,252 ਇਨਪੁੱਟ ਟੋਕਨਾਂ ਨਾਲ ਤਾਪਮਾਨ-ਸਿਫ਼ਰ ਮੁੜ-ਟੈਸਟ ਵੀ ਸੀ। ਨਿਸ਼ਚਿਤ ਬੇਨਤੀ GPU ਪੂਰੀ ਤਰ੍ਹਾਂ ਰੈਜ਼ੀਡੈਂਟ ਹੋਣ ਦੇ ਬਾਵਜੂਦ 62.07 ਸਕਿੰਟਾਂ ਵਿੱਚ ਕੁਦਰਤੀ ਤੌਰ ਉੱਤੇ ਮੁੱਕੀ।

ਜਲਦੀ ਮੁੱਕਣਾ ਅਤੇ ਆਮ API ਜਵਾਬ ਸਹੀ ਉੱਤਰ ਦਾ ਸਬੂਤ ਨਹੀਂ। ਮੈਂ ਸਿਸਟਮ C ਦਾ ਕਾਮਯਾਬ ਰਸਤਾ ਵਰਤਾਂਗਾ ਅਤੇ ਸਿਸਟਮ D ਦੇ ਨਾਕਾਮ ਰਸਤੇ ਨੂੰ Hermes ਚੋਣ ਵਿੱਚੋਂ ਕੱਢਾਂਗਾ।

ਸੋਚਣ ਦਾ ਮੋਡ Qwen3.5 0.8B ਦੀ ਵਰਤੋਂ ਤੈਅ ਕਰਦਾ ਹੈ

ਸੋਚਣ ਦਾ ਮੋਡ ਬੰਦ ਕਰਨ ਮਗਰੋਂ Qwen3.5 0.8B ਸਿਸਟਮ C ਉੱਤੇ ਸੀਮਤ ਯਾਦ ਲਈ ਲਾਹੇਵੰਦ ਉਮੀਦਵਾਰ ਬਣਿਆ। ਛੋਟੇ Q8_0 ਮਾਡਲ ਨੇ ਗੇਟਵੇ ਰਾਹੀਂ 65.92 ਸਕਿੰਟਾਂ ਵਿੱਚ 75,649 ਇਨਪੁੱਟ ਟੋਕਨ ਸੰਭਾਲੇ। ਇਹ ਨਤੀਜਾ ਟੈਸਟ ਕੀਤੇ Q8_0 ਆਰਟੀਫ਼ੈਕਟ ਅਤੇ ਬਿਨਾਂ-ਸੋਚ ਰਸਤੇ ਦਾ ਹੈ, ਨਾ ਕਿ ਟੇਬਲ ਦੇ ਹੋਰ ਹਿੱਸੇ ਵਿੱਚ ਦਿੱਤੀਆਂ ਪੁਰਾਣੀਆਂ 16K-ਸੰਦਰਭ ਕੌਂਫ਼ਿਗਰੇਸ਼ਨਾਂ ਦਾ।

ਸਿਸਟਮ C ਉੱਤੇ Qwen3.5 0.8B ਬੇਨਤੀਇਨਪੁੱਟ ਟੋਕਨਆਉਟਪੁੱਟ ਟੋਕਨਸਮਾਂਨਤੀਜਾ
ਮੂਲ ਸੋਚ, ਛੋਟੀ ਜਾਂਚ9,0503,39166.56 sਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸਹੀ
ਸੋਚ ਬੰਦ, ਮਿਲਦੀ-ਜੁਲਦੀ ਜਾਂਚ9,055217.65 sਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸਹੀ, ਕੋਈ ਤਰਕ ਪਾਠ ਨਹੀਂ
ਮੂਲ ਸੋਚ, ਲੰਮੀ ਕੋਸ਼ਿਸ਼600 s ਉੱਤੇ ਸਮਾਂ ਮੁੱਕਿਆਜਵਾਬ ਪੂਰਾ ਨਹੀਂ ਹੋਇਆ
ਸੋਚ ਬੰਦ, ਨੈਟਿਵ Ollama75,6562269.80 sਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸਹੀ
ਬਿਨਾਂ ਸੋਚ ਵਾਲਾ OpenAI-ਅਨੁਕੂਲ ਅੰਤ-ਬਿੰਦੂ75,6461269.09 sਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸਹੀ
ਬਿਨਾਂ-ਸੋਚ ਮੋਡ ਲਾਗੂ ਕਰਨ ਵਾਲਾ ਬ੍ਰੋਕਰ75,6471366.83 sਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸਹੀ
ਸਿਸਟਮ A ਤੋਂ ਸਿਸਟਮ C ਤੱਕ LiteLLM75,6491565.92 sਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸਹੀ

ਮਿਲਦੀ-ਜੁਲਦੀ ਜਾਂਚ 66.56 ਤੋਂ ਘਟ ਕੇ 7.65 ਸਕਿੰਟਾਂ ਵਿੱਚ ਹੋਈ, ਤਕਰੀਬਨ 8.7 ਗੁਣਾ ਤੇਜ਼, ਜਦਕਿ ਤਿਆਰ ਆਉਟਪੁੱਟ 3,391 ਤੋਂ 21 ਟੋਕਨਾਂ ਤੱਕ ਘਟੀ। ਇਸੇ ਕਰਕੇ ਸਧਾਰਨ ਕੱਢਣ ਅਤੇ ਰੂਟਿੰਗ ਕੰਮਾਂ ਲਈ ਮੈਂ ਤਰਕ ਦਾ ਮੋਡ ਸਾਫ਼ ਤੌਰ ਉੱਤੇ ਸੈੱਟ ਕਰਾਂਗਾ। ਮੂਲ ਤਰਕ ਨੇ ਵੱਧਤਰ ਮਿਹਨਤ ਉਸ ਆਉਟਪੁੱਟ ਉੱਤੇ ਕੀਤੀ ਜਿਸਦੀ ਕੰਮ ਨੂੰ ਲੋੜ ਨਹੀਂ ਸੀ।

ਇੱਕ ਛੋਟੀ OpenAI-ਅਨੁਕੂਲ ਜਾਂਚ ਪਹਿਲਾਂ ਮਾਰਕਰ ਚੁੱਕ ਗਈ, ਪਰ ਤਾਪਮਾਨ-ਸਿਫ਼ਰ ਮੁੜ-ਕੋਸ਼ਿਸ਼ ਪਾਸ ਹੋਈ। ਕਾਮਯਾਬ ਰਸਤਾ ਜਾਂਚਾਂ ਨੇ ਆਉਟਪੁੱਟ ਹੱਦ ਤੋਂ ਬਿਨਾਂ ਬਿਨਾਂ-ਸੋਚ ਮੋਡ ਅਤੇ ਕੁਦਰਤੀ ਸਮਾਪਤੀ ਵਰਤੀ। ਤਿੰਨ ਹੋਰ ਗੇਟਵੇ ਛੋਟੇ ਮਾਰਕਰ ਵਾਲੀਆਂ ਬੇਨਤੀਆਂ 4.22, 4.37 ਅਤੇ 3.85 ਸਕਿੰਟਾਂ ਵਿੱਚ ਪਾਸ ਕਰ ਗਏ। ਉਹ ਜਾਂਚਾਂ ਰੂਟਿੰਗ ਸਾਬਤ ਕਰਦੀਆਂ ਹਨ, ਜਦਕਿ 75,649-ਟੋਕਨ ਬੇਨਤੀ ਗੇਟਵੇ ਰਾਹੀਂ ਲੰਮਾ ਇਨਪੁੱਟ ਸੰਭਾਲਣਾ ਸਾਬਤ ਕਰਦੀ ਹੈ।

ਸੀਮਤ ਯਾਦ ਅਤੇ ਜਾਣਕਾਰੀ ਕੱਢਣ ਲਈ ਮੈਂ ਇਸ ਰਸਤੇ ਨੂੰ ਅਜ਼ਮਾਵਾਂਗਾ। ਖੁੱਲ੍ਹੇ ਕਿਸਮ ਦੇ ਏਜੰਟ ਤਰਕ ਲਈ ਵੱਡਾ ਮਾਡਲ ਲਵਾਂਗਾ। ਇੱਕ ਬਣਾਵਟੀ ਮਾਰਕਰ ਲੱਭਣਾ ਯੋਜਨਾ, ਕੋਡਿੰਗ ਜਾਂ ਕਈ ਟੂਲਾਂ ਦਾ ਤਾਲਮੇਲ ਕਰਨ ਨਾਲੋਂ ਸੀਮਤ ਕੰਮ ਹੈ।

RTX 3060 Ti ਅਤੇ RTX 3070 ਸਿਸਟਮ Qwen3.5 2B ਅਤੇ 4B ਲਈ ਢੁੱਕਵੇਂ ਹਨ

8GB ਕਾਰਡਾਂ ਲਈ Qwen3.5 2B ਅਤੇ 4B ਮੇਰੀ ਵਰਤੋਂਯੋਗ ਸ਼ੁਰੂਆਤੀ ਚੋਣ ਹਨ। ਸਿਸਟਮ E, F ਅਤੇ G ਦੀਆਂ ਟੈਕਸਟ-ਸੰਦਰਭ ਬੇਨਤੀਆਂ 65,579 ਇਨਪੁੱਟ ਟੋਕਨਾਂ ਨਾਲ 30.343 ਤੋਂ 93.753 ਸਕਿੰਟਾਂ ਵਿੱਚ ਪਾਸ ਹੋਈਆਂ। ਟੈਸਟ ਕੀਤੇ 4B ਰਸਤਿਆਂ ਨੇ ਟੂਲ, ਸਟ੍ਰੀਮਿੰਗ ਅਤੇ ਤਸਵੀਰ ਜਾਂਚਾਂ ਵੀ ਪਾਸ ਕੀਤੀਆਂ।

ਸਿਸਟਮ E ਦੀ 4B ਵਿਜ਼ਨ-ਸੰਦਰਭ ਮੁੜ-ਜਾਂਚ ਨੇ 65,637 ਇਨਪੁੱਟ ਟੋਕਨਾਂ ਉੱਤੇ 44.88 ਸਕਿੰਟਾਂ ਵਿੱਚ ਦੋਵੇਂ ਮਾਰਕਰ ਅਤੇ ਤਸਵੀਰਾਂ ਦੇ ਰੰਗਾਂ ਦਾ ਕ੍ਰਮ ਸੰਭਾਲਿਆ। ਅੱਗੇ ਅਤੇ ਉਲਟੇ ਰੰਗ-ਕ੍ਰਮ ਵਾਲੀਆਂ ਬੇਨਤੀਆਂ ਵੀ ਪਾਸ ਹੋਈਆਂ। ਦੂਜੇ ਕਾਰਡ ਵਿੱਚ Xid 79 ਲਿੰਕ ਨੁਕਸ ਆਉਣ ਅਤੇ ਸਿਸਟਮ ਰੀਬੂਟ ਹੋਣ ਮਗਰੋਂ ਮੁੜ-ਜਾਂਚ ਇੱਕ ਠੀਕ ਕਾਰਡ ਉੱਤੇ ਹੋਈ।

ਸਿਸਟਮQwen3.5 2B ਟੈਕਸਟ ਸੰਦਰਭQwen3.5 4B ਟੈਕਸਟ ਸੰਦਰਭQwen3.5 4B ਵਿਜ਼ਨ ਸੰਦਰਭ
E, RTX 3060 Ti ਗਰੁੱਪ65,579 ਟੋਕਨ, 30.343 s65,579 ਟੋਕਨ, 53.787 s65,637 ਟੋਕਨ, 44.88 s
F, RTX 3060 Ti ਗਰੁੱਪ65,579 ਟੋਕਨ, 61.282 s65,579 ਟੋਕਨ, 93.753 s65,635 ਟੋਕਨ, 84.749 s
G, RTX 3070 ਗਰੁੱਪ65,579 ਟੋਕਨ, 76.731 s65,579 ਟੋਕਨ, 90.807 s65,635 ਟੋਕਨ, 87.496 s

ਇਨ੍ਹਾਂ ਹਰ ਸਿਸਟਮ ਨੇ 29 ਕਾਮਯਾਬ ਜਾਂਚਾਂ ਦਰਜ ਕੀਤੀਆਂ। ਦੋ RTX 3060 Ti ਸਿਸਟਮਾਂ ਦੇ ਸਮੇਂ ਦਾ ਫ਼ਰਕ ਵੀ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਬੇਨਤੀ ਸਮਿਆਂ ਤੋਂ ਕਾਰਡਾਂ ਦੀ ਦਰਜਾਬੰਦੀ ਕਰਨ ਦੀ ਥਾਂ ਟੈਸਟ ਕੀਤਾ ਸਿਸਟਮ ਪ੍ਰੋਫ਼ਾਈਲ ਕਿਉਂ ਚੁਣਨਾ ਚਾਹੀਦਾ ਹੈ।

ਇਨਫ਼ਰੈਂਸ ਵਿੰਡੋ ਮਗਰੋਂ ਸਾਰੇ ਸੱਤ ਸਿਸਟਮ ਮਾਈਨਿੰਗ ਵੱਲ ਮੁੜੇ। ਸਿਸਟਮ B ਦੀ ਵੱਖਰੀ ਬੰਦ-ਮਗਰੋਂ ਮੁੜ-ਪ੍ਰਾਪਤੀ ਜਾਂਚ ਨਵੇਂ ਸਵੀਕਾਰ ਕੀਤੇ ਸ਼ੇਅਰਾਂ ਨਾਲ ਪਾਸ ਹੋਈ। ਸਿਸਟਮ E ਦਾ ਨੁਕਸਦਾਰ ਕਾਰਡ ਰੀਬੂਟ ਅਤੇ PCIe ਲਿੰਕ ਮਜ਼ਬੂਤ ਕਰਨ ਮਗਰੋਂ ਮੁੜ ਮਾਈਨਿੰਗ ਕਰਨ ਲੱਗਾ, ਪਰ AI ਗਰੁੱਪ ਤੋਂ ਬਾਹਰ ਰਿਹਾ। ਵਿੰਡੋ ਦੇ ਅੰਤ ਵਿੱਚ ਮਾਈਨਿੰਗ ਬਹਾਲ ਕਰਨਾ ਹਰ ਇਨਫ਼ਰੈਂਸ ਬੇਨਤੀ ਮਗਰੋਂ ਆਪਣੇ-ਆਪ ਵਾਪਸ ਜਾਣ ਨਾਲੋਂ ਵੱਖਰਾ ਨਤੀਜਾ ਹੈ।

ਮਾਡਲ ਲੋਡ ਹੋਣਾ ਉਸਨੂੰ ਯੋਗ ਨਹੀਂ ਬਣਾਉਂਦਾ

ਟੈਸਟ ਕੀਤੇ 65K Hermes ਵਿਕਲਪਾਂ ਵਿੱਚੋਂ ਮੈਂ DeepSeek Coder V2 16B ਕੱਢ ਦਿਆਂਗਾ। ਇਸਦੇ f16-ਕੈਸ਼ ਰਨ ਨੇ 50,477 ਇਨਪੁੱਟ ਟੋਕਨ ਸੰਭਾਲੇ, ਪਰ 65K-ਟੀਚਾ ਰਨ VRAM ਗਾਰਡ ਤੱਕ ਪਹੁੰਚਿਆ। Q4 ਅਤੇ Q8 ਕੈਸ਼ ਬਦਲਾਂ ਨੇ GPU ਉੱਤੇ ਵਜ਼ਨ ਲੋਡ ਕੀਤੇ, ਪਰ ਫਿਰ ਹੋਸਟ ਮੈਮਰੀ ਦੀਆਂ ਹੱਦਾਂ ਜਾਂ ਲੰਮੇ ਪ੍ਰੌਮਪਟ ਦੀ ਮਾੜੀ ਗਤੀ ਨੇ ਰੋਕਿਆ।

DeepSeek Coder V2 ਕੈਸ਼ ਪ੍ਰੋਫ਼ਾਈਲਰਨਟਾਈਮ ਸੰਦਰਭਦੇਖਿਆ ਨਤੀਜਾਮੇਰਾ ਮੁਲਾਂਕਣ
f1681,92050,477-ਟੋਕਨ ਯਾਦ ਪਾਸ, ਵੱਧ ਆਕਾਰ ਦੀ ਬੇਨਤੀ ਰੱਦਛੋਟੇ ਸੰਦਰਭ ਦਾ ਲਾਹੇਵੰਦ ਨਤੀਜਾ
f1673,72865K-ਟੀਚਾ ਪ੍ਰੀਫ਼ਿਲ 15,802 MiB GPU ਵਰਤੋਂ ਉੱਤੇ ਰੁਕਿਆ65K ਲਈ ਯੋਗ ਨਹੀਂ
Q4_098,304ਕਾਬੂਵੀਂ ਰੋਕ ਤੋਂ ਪਹਿਲਾਂ ਲੰਮਾ ਪ੍ਰੀਫ਼ਿਲ 96.72 ਟੋਕਨ/ਸਕਿੰਟ ਤੱਕ ਡਿੱਗਿਆਇਸ ਕੰਮ ਲਈ ਢੁੱਕਵਾਂ ਨਹੀਂ
Q8_077,824ਕਾਬੂਵੀਂ ਰੋਕ ਤੋਂ ਪਹਿਲਾਂ ਲੰਮਾ ਪ੍ਰੀਫ਼ਿਲ 120.12 ਟੋਕਨ/ਸਕਿੰਟ ਤੱਕ ਡਿੱਗਿਆਇਸ ਕੰਮ ਲਈ ਢੁੱਕਵਾਂ ਨਹੀਂ
Q4_0 / Q8_0, ਵੱਡੇ ਪ੍ਰੋਫ਼ਾਈਲ163,840 / 98,304ਹੋਸਟ-ਮੈਮਰੀ ਗਾਰਡਾਂ ਨੇ ਟ੍ਰਾਇਲ ਰੋਕੇਪੂਰੇ ਸਿਸਟਮ ਵਿੱਚ ਮੈਮਰੀ ਫਿੱਟ ਹੋਣੀ ਚਾਹੀਦੀ ਹੈ

ਵਰਤੋਂਯੋਗ ਸਿੱਖਿਆ ਇਹ ਹੈ ਕਿ ਜਿਸ ਬੇਨਤੀ ਨੂੰ ਭੇਜਣਾ ਹੈ, ਉਸੇ ਦਾ ਬੈਂਚਮਾਰਕ ਕਰੋ। GPU ਰੈਜ਼ੀਡੈਂਸੀ, ਛੋਟਾ ਜਵਾਬ ਅਤੇ ਵੱਡਾ ਕੌਂਫ਼ਿਗਰ ਕੀਤਾ ਸੰਦਰਭ ਲਾਭਦਾਇਕ ਲੈਟੈਂਸੀ ਉੱਤੇ ਲੰਮਾ ਇਨਪੁੱਟ ਸੰਭਾਲਣ ਦਾ ਸਬੂਤ ਨਹੀਂ।

ਸਿਸਟਮ A ਉੱਤੇ ਰਸਤਾ-ਖ਼ਾਸ ਅਗਲੇ ਕੰਮ ਮਗਰੋਂ Granite 4.2 8B ਅਤੇ GPT-OSS 20B ਸੁਧਰੇ। Granite ਦੇ Q6_K ਰਸਤੇ ਨੇ ਸਿਫ਼ਰ ਕੈਸ਼ ਇਨਪੁੱਟ ਨਾਲ 88.636 ਸਕਿੰਟਾਂ ਵਿੱਚ 66,082 ਇਨਪੁੱਟ ਟੋਕਨ ਸੰਭਾਲੇ। ਬ੍ਰੋਕਰ ਠੀਕ ਕਰਨ ਮਗਰੋਂ GPT-OSS ਨੇ ਟੂਲ ਰਾਊਂਡ-ਟ੍ਰਿਪ ਪੂਰਾ ਕੀਤਾ, ਕਾਲ ਨੂੰ 9.854 ਸਕਿੰਟ ਅਤੇ ਅਗਲੇ ਜਵਾਬ ਨੂੰ 9.849 ਸਕਿੰਟ ਲੱਗੇ। ਮੈਂ ਇਹ ਕਾਮਯਾਬ ਰੂਟ ਜਾਂਚਾਂ ਪਹਿਲਾਂ ਦੀਆਂ ਅਧੂਰੀਆਂ ਕੋਸ਼ਿਸ਼ਾਂ ਤੋਂ ਵੱਖ ਰੱਖਾਂਗਾ।

ਪੂਰੇ ਬੈਂਚਮਾਰਕ ਨਤੀਜੇ

ਟੇਬਲ ਵਿੱਚ 59 ਮਾਡਲ ਅਤੇ ਸਿਸਟਮ ਜੋੜਾਂ ਉੱਤੇ 295 ਜਾਂਚਾਂ ਹਨ। ਮੈਟ੍ਰਿਕਸ 273 ਪਾਸ, ਯਾਦ ਦੀ ਇੱਕ ਨਾਕਾਮ ਜਾਂਚ ਅਤੇ ਸੱਤ ਅਧੂਰੇ, ਅਸੰਗਤ ਜਾਂ ਅਣਮਿਲਦੇ ਨਤੀਜੇ ਦਰਜ ਕਰਦਾ ਹੈ। ਚੌਦਾਂ ਜਾਂਚਾਂ 65K ਯੋਗਤਾ ਦੇ ਦਾਇਰੇ ਤੋਂ ਬਾਹਰ ਹਨ। ਹਰ ਕਤਾਰ ਮਾਪਿਆ ਨਤੀਜਾ ਦਿਖਾਉਂਦੀ ਹੈ।

ਮੇਰੀਆਂ ਸਿਫ਼ਾਰਸ਼ਾਂ ਪਾਸ ਹੋਏ ਰਸਤਿਆਂ ਅਤੇ ਕੰਮਾਂ ਲਈ ਹਨ। ਨਾਕਾਮ ਜਾਂ ਅਧੂਰੀ ਕਤਾਰ ਸੰਬੰਧਿਤ ਵਰਤਾਅ ਨੂੰ ਯੋਗ ਨਹੀਂ ਬਣਾਉਂਦੀ।

ਛੋਟੇ-ਸੰਦਰਭ ਅਤੇ ਐਮਬੈਡਿੰਗ ਪਾਸ ਆਪਣੇ ਕੰਮ ਲਈ ਹਨ। 16K ਜਾਂ 32K ਸੰਦਰਭ ਦਾ ਪਾਸ 65,536 ਇਨਪੁੱਟ-ਟੋਕਨ Hermes ਕੰਮ ਲਈ ਰਸਤੇ ਨੂੰ ਯੋਗ ਨਹੀਂ ਕਰਦਾ। ਇੱਥੇ ਮਾਡਲਾਂ ਦੇ ਨਾਂ ਰੂਟ ਲੇਬਲ ਹਨ। flash-iq2 ਲੇਬਲ IQ4 ਅਨੁਕੂਲਤਾ ਬੈਕਐਂਡ ਉੱਤੇ ਚੱਲਿਆ।

ਸਿਸਟਮ A ਦੀ Qwen3.5 35B ਸੰਦਰਭ ਕਤਾਰ ਉੱਪਰਲੀ ਲੜੀ ਦਾ ਆਖ਼ਰੀ ਸਾਂਝੇ-ਪ੍ਰੀਫ਼ਿਕਸ ਪੜਾਅ ਹੈ। ਪਲੱਸ ਨਿਸ਼ਾਨ ਵਾਲੇ ਟੂਲ ਸਮੇਂ ਕਾਲ ਅਤੇ ਅਗਲਾ ਜਵਾਬ ਵੱਖਰੇ ਦਿਖਾਉਂਦੇ ਹਨ।

ਕਨਕਰੰਸੀ ਕਤਾਰ ਵਿੱਚ ਕਤਾਰਬੱਧ ਦੋ ਬੇਨਤੀਆਂ ਦੇ ਸਮੇਂ ਹਨ। ਰੱਦਕਰਨ ਕਤਾਰ ਕਲਾਇੰਟ ਵੱਲੋਂ ਸਟ੍ਰੀਮ ਬੰਦ ਕਰਨ ਮਗਰੋਂ ਛੁੱਟਣ ਦਾ ਸਮਾਂ ਦਿਖਾਉਂਦੀ ਹੈ। ਹੋਰ ਸੰਦਰਭ ਲੜੀਆਂ ਅਤੇ Qwen3.5 0.8B ਰੂਟ ਤੁਲਨਾਵਾਂ ਉੱਪਰ ਆਪਣੇ ਟੇਬਲਾਂ ਵਿੱਚ ਹਨ।

ਸਿਸਟਮ A

ਮਾਡਲ ਰੂਟ ਲੇਬਲਜਾਂਚਨਤੀਜਾਇਨਪੁੱਟ ਟੋਕਨਬੇਨਤੀ ਦਾ ਸਮਾਂ
bonsai-2-27bcontextਪਾਸ65,62188.746 s
bonsai-2-27bquickਪਾਸ576.429 s
bonsai-2-27bstreamਪਾਸ9.371 s
bonsai-2-27btoolsਪਾਸ10.478 s
deepseek-coder-v2:16bcontextਅਣਮਿਲਦਾ50,477
deepseek-coder-v2:16bquickਪਾਸ7743.239 s
flash-iq2contextਪਾਸ66,007213.25 s
flash-iq2quickਪਾਸ56.03 s
flash-iq2streamਪਾਸ1.35 s
flash-iq2toolsਪਾਸ16.55 s
gemma-4-12b-itcontextਪਾਸ65,59051.225 s
gemma-4-12b-itquickਪਾਸ215.166 s
gemma-4-12b-itstreamਪਾਸ4.653 s
gemma-4-12b-ittoolsਪਾਸ18.72 s
gemma-4-12b-itvisionਪਾਸ1157.222 s
gemma-4-12b-itvision_contextਪਾਸ65,68556.06 s
gemma-4-12b-itvision_reverseਪਾਸ1157.467 s
gemma-4-e4b-itcontextਪਾਸ65,59021.889 s
gemma-4-e4b-itquickਪਾਸ2117.919 s
gemma-4-e4b-itstreamਪਾਸ4.25 s
gemma-4-e4b-ittoolsਪਾਸ8.734 s
gpt-oss-20bcontextਪਾਸ65,637159.155 s
gpt-oss-20bquickਪਾਸ7310.548 s
gpt-oss-20bstreamਪਾਸ20.594 s
gpt-oss-20btoolsਪਾਸ9.854 + 9.849 s
granite-4.2-3bcontextਪਾਸ65,58970.968 s
granite-4.2-3bquickਪਾਸ204.009 s
granite-4.2-3bstreamਪਾਸ5.365 s
granite-4.2-3btoolsਪਾਸ6.086 s
granite-4.2-8bcontextਪਾਸ66,08288.636 s
granite-4.2-8bquickਪਾਸ205.857 s
granite-4.2-8bstreamਪਾਸ11.826 s
granite-4.2-8btoolsਪਾਸ11.852 s
qwen27bcontextਪਾਸ66,00754.64 s
qwen27bquickਪਾਸ5731.5 s
qwen27bstreamਪਾਸ0.92 s
qwen27btoolsਪਾਸ4.25 s
qwen3-embedding-0.6bcontextਪਾਸ32,7677.736 s
qwen3-embedding-0.6bquickਪਾਸ142.125 s
qwen3.5-0.8bcontextਪਾਸ16,42910.5 s
qwen3.5-0.8bquickਪਾਸ1714.316 s
qwen3.5-0.8bstreamਪਾਸ2.125 s
qwen3.5-0.8btoolsਪਾਸ4.416 s
qwen3.5-2bcontextਪਾਸ65,58111.175 s
qwen3.5-2bquickਪਾਸ174.519 s
qwen3.5-2bstreamਪਾਸ3.736 s
qwen3.5-2btoolsਪਾਸ5.046 s
qwen3.5-4bcontextਪਾਸ65,57936.451 s
qwen3.5-4bquickਪਾਸ1519.935 s
qwen3.5-4bstreamਪਾਸ17.496 s
qwen3.5-4btoolsਪਾਸ7.308 s
qwen3.5-4bvisionਪਾਸ707.848 s
qwen3.5-4bvision_contextਪਾਸ65,63528.24 s
qwen3.5-4bvision_reverseਪਾਸ704.386 s
qwen3.5-9bcontextਪਾਸ65,58134.139 s
qwen3.5-9bquickਪਾਸ173.88 s
qwen3.5-9bstreamਪਾਸ3.378 s
qwen3.5-9btoolsਪਾਸ10.204 s
qwen3.5-9bvisionਪਾਸ724.441 s
qwen3.5-9bvision_contextਪਾਸ65,63733.745 s
qwen3.5-9bvision_reverseਪਾਸ723.97 s
qwen3.5:35b-a3b-q4_K_Mcancellationਪਾਸ60.31 s
qwen3.5:35b-a3b-q4_K_Mconcurrencyਪਾਸ26.23 / 25.33 s
qwen3.5:35b-a3b-q4_K_Mcontextਪਾਸ248,27954.215 s
qwen3.5:35b-a3b-q4_K_Mgatewayਪਾਸ239,153148.12 s
qwen3.5:35b-a3b-q4_K_Mquickਪਾਸ7910.08 s
qwen3.5:35b-a3b-q4_K_Mstreamਪਾਸ69,42938.783 s
qwen3.5:35b-a3b-q4_K_Mtoolsਪਾਸ15.22 + 14.83 s
qwen3.5:35b-a3b-q4_K_Mvisionਪਾਸ18.39 s
Qwen3.6-35B-A3B UD-Q4_K_XLcontextਪਾਸ65,845139.57 s
Qwen3.6-35B-A3B UD-Q4_K_XLquickਪਾਸ153.97 s
Qwen3.6-35B-A3B UD-Q4_K_XLstreamਪਾਸ0.45 s
Qwen3.6-35B-A3B UD-Q4_K_XLtoolsਪਾਸ2935.48 s
Qwen3.6-35B-A3B UD-Q4_K_XLvisionਪਾਸ380.59 s
Qwen3.8-Flash-Next UD-IQ4_XScontextਪਾਸ65,847201.41 s
Qwen3.8-Flash-Next UD-IQ4_XSquickਪਾਸ1754.62 s
Qwen3.8-Flash-Next UD-IQ4_XSstreamਪਾਸ1.2 s
Qwen3.8-Flash-Next UD-IQ4_XStoolsਪਾਸ22.18 s
Qwen3.8-Flash-Next UD-IQ4_XSvisionਪਾਸ3.86 s

ਸਿਸਟਮ B

ਮਾਡਲ ਰੂਟ ਲੇਬਲਜਾਂਚਨਤੀਜਾਇਨਪੁੱਟ ਟੋਕਨਬੇਨਤੀ ਦਾ ਸਮਾਂ
gemma-4-12b-itcontextਪਾਸ65,590299.163 s
gemma-4-12b-itquickਪਾਸ2115.261 s
gemma-4-12b-itstreamਪਾਸ148.792 s
gemma-4-12b-ittoolsਪਾਸ34.124 s
gemma-4-12b-itvisionਪਾਸ12061.455 s
gemma-4-12b-itvision_contextਪਾਸ65,690295.581 s
gemma-4-12b-itvision_reverseਪਾਸ12032.511 s
gemma3-4bcontextਪਾਸ65,58467.382 s
gemma3-4bquickਪਾਸ156.329 s
gemma3-4bstreamਪਾਸ24.138 s
gemma3-4bvisionਪਾਸ3067.018 s
gemma3-4bvision_contextਪਾਸ65,87670.912 s
gemma3-4bvision_reverseਪਾਸ3065.762 s
gpt-oss-20bcontextਪਾਸ65,637206.767 s
gpt-oss-20bquickਪਾਸ7216.583 s
gpt-oss-20bstreamਪਾਸ32.075 s
gpt-oss-20btoolsਪਾਸ28.102 s
nomic-embed-textcontextਅਧੂਰਾ2,048
nomic-embed-textquickਪਾਸ7.117 s
qwen3-14bcontextਅਧੂਰਾ1800.09 s
qwen3-14bquickਪਾਸ1537.199 s
qwen3-14bstreamਪਾਸ35.471 s
qwen3-14btoolsਪਾਸ87.554 s
qwen3-8bcontext65K ਤੋਂ ਹੇਠਾਂ, ਬਾਹਰ
qwen3-8bquick65K ਤੋਂ ਹੇਠਾਂ, ਪਾਸ1521.059 s
qwen3-8bstream65K ਤੋਂ ਹੇਠਾਂ, ਬਾਹਰ
qwen3-8btools65K ਤੋਂ ਹੇਠਾਂ, ਬਾਹਰ
qwen3.5-9bcontextਪਾਸ65,579282.796 s
qwen3.5-9blitellm_long_routeਪਾਸ72,265263 s
qwen3.5-9bpost_external_stop_miningਪਾਸ
qwen3.5-9bquickਪਾਸ1525.881 s
qwen3.5-9bstreamਪਾਸ143.44 s
qwen3.5-9btoolsਪਾਸ31.812 s
qwen3.5-9bvisionਪਾਸ7532.015 s
qwen3.5-9bvision_contextਪਾਸ65,640396.288 s
qwen3.5-9bvision_reverseਪਾਸ7528.626 s

ਸਿਸਟਮ C

ਮਾਡਲ ਰੂਟ ਲੇਬਲਜਾਂਚਨਤੀਜਾਇਨਪੁੱਟ ਟੋਕਨਬੇਨਤੀ ਦਾ ਸਮਾਂ
gemma-4-12b-itaperture_contextਪਾਸ67,255274.24 s
gemma-4-12b-itaperture_shortਪਾਸ3539.32 s
gemma-4-12b-itaperture_stream_contextਪਾਸ67,255282.16 s
gemma-4-12b-itcontextਪਾਸ65,670313.661 s
gemma-4-12b-itgateway_contextਪਾਸ67,254263.07 s
gemma-4-12b-itgateway_shortਪਾਸ2720.98 s
gemma-4-12b-itquickਪਾਸ2116.447 s
gemma-4-12b-itstreamਪਾਸ15.175 s
gemma-4-12b-ittoolsਪਾਸ37.821 s
gemma-4-12b-itvisionਪਾਸ12058.52 s
gemma-4-12b-itvision_contextਪਾਸ65,690308.759 s
gemma-4-12b-itvision_reverseਪਾਸ12031.25 s
gemma3-4baperture_contextਪਾਸ84,04587.68 s
gemma3-4baperture_after_system_d_route_changeਪਾਸ245.42 s
gemma3-4baperture_shortਪਾਸ225.45 s
gemma3-4baperture_streamਪਾਸ3.72 s
gemma3-4bcontextਪਾਸ65,66467.543 s
gemma3-4bgateway_contextਪਾਸ84,04488.05 s
gemma3-4bgateway_short_via_system_aਪਾਸ3.16 s
gemma3-4bgateway_short_via_system_eਪਾਸ
gemma3-4bgateway_short_via_system_fਪਾਸ4.15 s
gemma3-4bgateway_short_via_system_gਪਾਸ6.06 s
gemma3-4bquickਪਾਸ155.163 s
gemma3-4bstreamਪਾਸ24.691 s
gemma3-4bvisionਪਾਸ3067.318 s
gemma3-4bvision_contextਪਾਸ65,87672.476 s
gemma3-4bvision_reverseਪਾਸ3065.831 s
gpt-oss-20bcontextਪਾਸ65,716216.594 s
gpt-oss-20bgateway_contextਪਾਸ84,099315.83 s
gpt-oss-20bgateway_shortਅਸੰਗਤ
gpt-oss-20bquickਪਾਸ7221.603 s
gpt-oss-20bstreamਪਾਸ31.957 s
gpt-oss-20btoolsਪਾਸ26.096 s
nomic-embed-textcontext65K ਤੋਂ ਹੇਠਾਂ, ਅਧੂਰਾ2,048
nomic-embed-textquick65K ਤੋਂ ਹੇਠਾਂ, ਪਾਸ4.178 s
qwen3-14bcontext65K ਤੋਂ ਹੇਠਾਂ, ਅਧੂਰਾ1800.06 s
qwen3-14bquick65K ਤੋਂ ਹੇਠਾਂ, ਪਾਸ1535.809 s
qwen3-14bstream65K ਤੋਂ ਹੇਠਾਂ, ਪਾਸ35.43 s
qwen3-14btools65K ਤੋਂ ਹੇਠਾਂ, ਪਾਸ87.723 s
qwen3-8bcontext65K ਤੋਂ ਹੇਠਾਂ, ਬਾਹਰ
qwen3-8bquick65K ਤੋਂ ਹੇਠਾਂ, ਪਾਸ1521.293 s
qwen3-8bstream65K ਤੋਂ ਹੇਠਾਂ, ਅਧੂਰਾ900.01 s
qwen3-8btools65K ਤੋਂ ਹੇਠਾਂ, ਬਾਹਰ
qwen3.5-9bcontextਪਾਸ65,662287.984 s
qwen3.5-9bgateway_contextਪਾਸ75,648319.36 s
qwen3.5-9bgateway_shortਪਾਸ2172.14 s
qwen3.5-9bquickਪਾਸ1524.635 s
qwen3.5-9bstreamਪਾਸ143.157 s
qwen3.5-9btoolsਪਾਸ30.395 s
qwen3.5-9bvisionਪਾਸ7527.756 s
qwen3.5-9bvision_contextਪਾਸ65,640398.797 s
qwen3.5-9bvision_reverseਪਾਸ7528.645 s

ਸਿਸਟਮ D

ਮਾਡਲ ਰੂਟ ਲੇਬਲਜਾਂਚਨਤੀਜਾਇਨਪੁੱਟ ਟੋਕਨਬੇਨਤੀ ਦਾ ਸਮਾਂ
gemma-4-12b-itcontextਪਾਸ65,590275.395 s
gemma-4-12b-itexact_digest_aperture_65kਪਾਸ72,057300.67 s
gemma-4-12b-itexact_digest_broker_shortਪਾਸ3430.74 s
gemma-4-12b-itquickਪਾਸ2115.05 s
gemma-4-12b-itstreamਪਾਸ14.722 s
gemma-4-12b-ittoolsਪਾਸ33.869 s
gemma-4-12b-itvisionਪਾਸ12056.315 s
gemma-4-12b-itvision_contextਪਾਸ65,690282.174 s
gemma-4-12b-itvision_reverseਪਾਸ12029.978 s
gemma3-4bcontextਪਾਸ65,58463.564 s
gemma3-4bexact_digest_65k_recallਨਾਕਾਮ67,25262.07 s
gemma3-4bquickਪਾਸ155.151 s
gemma3-4bstreamਪਾਸ22.552 s
gemma3-4bvisionਪਾਸ3068.276 s
gemma3-4bvision_contextਪਾਸ65,87667.575 s
gemma3-4bvision_reverseਪਾਸ3065.651 s
gpt-oss-20bcontextਪਾਸ65,637189.07 s
gpt-oss-20bexact_digest_aperture_65kਪਾਸ72,104245.94 s
gpt-oss-20bexact_digest_broker_shortਪਾਸ8415.96 s
gpt-oss-20bquickਪਾਸ7215.431 s
gpt-oss-20bstreamਪਾਸ31.052 s
gpt-oss-20btoolsਪਾਸ23.65 s
nomic-embed-textcontextਅਧੂਰਾ2,048
nomic-embed-textquickਪਾਸ2.798 s
qwen3-14bcontextਅਧੂਰਾ40,939872.209 s
qwen3-14bquickਪਾਸ1536.021 s
qwen3-14bstreamਪਾਸ33.491 s
qwen3-14btoolsਪਾਸ82.471 s
qwen3-8bcontextਅਧੂਰਾ1800.07 s
qwen3-8bquickਪਾਸ1519.283 s
qwen3-8bstreamਪਾਸ19.401 s
qwen3-8btoolsਪਾਸ65.054 s
qwen3.5-9bcontextਪਾਸ65,579258.048 s
qwen3.5-9bexact_digest_aperture_65kਪਾਸ81,051324.07 s
qwen3.5-9bexact_digest_broker_shortਪਾਸ2994.48 s
qwen3.5-9bquickਪਾਸ1527.16 s
qwen3.5-9bstreamਪਾਸ28.62 s
qwen3.5-9btoolsਪਾਸ28.129 s
qwen3.5-9bvisionਪਾਸ7525.047 s
qwen3.5-9bvision_contextਪਾਸ65,640369.477 s
qwen3.5-9bvision_reverseਪਾਸ7527.602 s

ਸਿਸਟਮ E

ਮਾਡਲ ਰੂਟ ਲੇਬਲਜਾਂਚਨਤੀਜਾਇਨਪੁੱਟ ਟੋਕਨਬੇਨਤੀ ਦਾ ਸਮਾਂ
gemma-4-e4b-itcontextਪਾਸ65,59049.086 s
gemma-4-e4b-itquickਪਾਸ2123.911 s
gemma-4-e4b-itstreamਪਾਸ28.136 s
gemma-4-e4b-ittoolsਪਾਸ56.756 s
granite-4.0-h-tinycontextਪਾਸ65,566
granite-4.0-h-tinyquickਪਾਸ3510.408 s
granite-4.0-h-tinystreamਪਾਸ27.798 s
granite-4.0-h-tinytoolsਪਾਸ43.304 s
granite-4.2-3bcontextਪਾਸ65,5891014.03 s
granite-4.2-3bquickਪਾਸ2014.569 s
granite-4.2-3bstreamਪਾਸ6.948 s
granite-4.2-3btoolsਪਾਸ56.376 s
qwen3-embedding-0.6bcontextਪਾਸ32,76720.387 s
qwen3-embedding-0.6bquickਪਾਸ149.592 s
qwen3.5-0.8bcontextਪਾਸ16,4299.128 s
qwen3.5-0.8bquickਪਾਸ17452.417 s
qwen3.5-0.8bstreamਪਾਸ11.163 s
qwen3.5-0.8btoolsਪਾਸ39.214 s
qwen3.5-2bcontextਪਾਸ65,57930.343 s
qwen3.5-2bquickਪਾਸ1512.509 s
qwen3.5-2bstreamਪਾਸ26.165 s
qwen3.5-2btoolsਪਾਸ42.056 s
qwen3.5-4bcontextਪਾਸ65,57953.787 s
qwen3.5-4bquickਪਾਸ1526.736 s
qwen3.5-4bstreamਪਾਸ26.02 s
qwen3.5-4btoolsਪਾਸ57.293 s
qwen3.5-4bvisionਪਾਸ7210.09 s
qwen3.5-4bvision_contextਪਾਸ65,63744.88 s
qwen3.5-4bvision_reverseਪਾਸ729.96 s

ਸਿਸਟਮ F

ਮਾਡਲ ਰੂਟ ਲੇਬਲਜਾਂਚਨਤੀਜਾਇਨਪੁੱਟ ਟੋਕਨਬੇਨਤੀ ਦਾ ਸਮਾਂ
gemma-4-e4b-itcontextਪਾਸ65,59098.443 s
gemma-4-e4b-itquickਪਾਸ2127.51 s
gemma-4-e4b-itstreamਪਾਸ28.042 s
gemma-4-e4b-ittoolsਪਾਸ73.891 s
granite-4.0-h-tinycontextਪਾਸ65,59919.692 s
granite-4.0-h-tinyquickਪਾਸ3543.818 s
granite-4.0-h-tinystreamਪਾਸ27.296 s
granite-4.0-h-tinytoolsਪਾਸ75.377 s
granite-4.2-3bcontextਪਾਸ65,589145.179 s
granite-4.2-3bquickਪਾਸ2015.703 s
granite-4.2-3bstreamਪਾਸ35.482 s
granite-4.2-3btoolsਪਾਸ52.539 s
qwen3-embedding-0.6bcontextਪਾਸ32,76720.656 s
qwen3-embedding-0.6bquickਪਾਸ148.122 s
qwen3.5-0.8bcontextਪਾਸ16,42913.326 s
qwen3.5-0.8bquickਪਾਸ17445.22 s
qwen3.5-0.8bstreamਪਾਸ13.266 s
qwen3.5-0.8btoolsਪਾਸ40.825 s
qwen3.5-2bcontextਪਾਸ65,57961.282 s
qwen3.5-2bquickਪਾਸ1516.738 s
qwen3.5-2bstreamਪਾਸ25.29 s
qwen3.5-2btoolsਪਾਸ47.444 s
qwen3.5-4bcontextਪਾਸ65,57993.753 s
qwen3.5-4bquickਪਾਸ1533.039 s
qwen3.5-4bstreamਪਾਸ25.658 s
qwen3.5-4btoolsਪਾਸ71.731 s
qwen3.5-4bvisionਪਾਸ7043.053 s
qwen3.5-4bvision_contextਪਾਸ65,63584.749 s
qwen3.5-4bvision_reverseਪਾਸ7027.518 s

ਸਿਸਟਮ G

ਮਾਡਲ ਰੂਟ ਲੇਬਲਜਾਂਚਨਤੀਜਾਇਨਪੁੱਟ ਟੋਕਨਬੇਨਤੀ ਦਾ ਸਮਾਂ
gemma-4-e4b-itcontextਪਾਸ65,59092.696 s
gemma-4-e4b-itquickਪਾਸ2138.329 s
gemma-4-e4b-itstreamਪਾਸ43.549 s
gemma-4-e4b-ittoolsਪਾਸ66.616 s
granite-4.0-h-tinycontextਪਾਸ65,59969.777 s
granite-4.0-h-tinyquickਪਾਸ3533.17 s
granite-4.0-h-tinystreamਪਾਸ31.751 s
granite-4.0-h-tinytoolsਪਾਸ63.338 s
granite-4.2-3bcontextਪਾਸ65,589100.849 s
granite-4.2-3bquickਪਾਸ2023.355 s
granite-4.2-3bstreamਪਾਸ28.75 s
granite-4.2-3btoolsਪਾਸ44.226 s
qwen3-embedding-0.6bcontextਪਾਸ32,76723.055 s
qwen3-embedding-0.6bquickਪਾਸ148.924 s
qwen3.5-0.8bcontextਪਾਸ16,42916.74 s
qwen3.5-0.8bquickਪਾਸ17504.813 s
qwen3.5-0.8bstreamਪਾਸ15.095 s
qwen3.5-0.8btoolsਪਾਸ36.672 s
qwen3.5-2bcontextਪਾਸ65,57976.731 s
qwen3.5-2bquickਪਾਸ1520.949 s
qwen3.5-2bstreamਪਾਸ25.194 s
qwen3.5-2btoolsਪਾਸ37.552 s
qwen3.5-4bcontextਪਾਸ65,57990.807 s
qwen3.5-4bquickਪਾਸ1541.84 s
qwen3.5-4bstreamਪਾਸ40.812 s
qwen3.5-4btoolsਪਾਸ54.999 s
qwen3.5-4bvisionਪਾਸ7029.619 s
qwen3.5-4bvision_contextਪਾਸ65,63587.496 s
qwen3.5-4bvision_reverseਪਾਸ7026.283 s

ਮੈਂ Hermes ਦੀ ਯੋਗਤਾ ਕਿਵੇਂ ਟੈਸਟ ਕੀਤੀ

ਮੈਂ ਲੰਮੇ ਪ੍ਰੌਮਪਟ ਦੇ ਸ਼ੁਰੂ ਨੇੜੇ ਬਣਾਵਟੀ ਮਾਰਕਰ ਰੱਖਿਆ ਅਤੇ ਫ਼ਿਲਰ ਪਾਠ ਮਗਰੋਂ ਉਹੀ ਮਾਰਕਰ ਮੰਗਿਆ। ਜਵਾਬ ਵਿੱਚ ਉਮੀਦ ਵਾਲੀ ਕੀਮਤ ਆਉਣੀ ਲਾਜ਼ਮੀ ਸੀ। ਸਰਵਰ ਵੱਲੋਂ ਦੱਸੇ ਇਨਪੁੱਟ ਟੋਕਨਾਂ ਨੇ ਬੇਨਤੀ ਦਾ ਆਕਾਰ ਤੈਅ ਕੀਤਾ। ਵੱਡੇ ਪ੍ਰੌਮਪਟ ਮਗਰੋਂ ਆਮ ਜਵਾਬ ਦੇਣ ਵਾਲਾ ਮਾਡਲ ਵੀ ਫੇਲ੍ਹ ਸੀ ਜੇ ਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਗਲਤ ਸੀ।

Qwen3.5 35B ਲੜੀ ਨੇ ਨੰਬਰ ਵਾਲੇ ਫ਼ਿਲਰ ਰਿਕਾਰਡ, ਤਾਪਮਾਨ 0 ਅਤੇ 3,800, 6,800, 10,000 ਤੇ 13,600 ਰਿਕਾਰਡਾਂ ਦੀਆਂ ਵਧਦੀਆਂ ਲੰਬਾਈਆਂ ਵਰਤੀਆਂ। ਉਨ੍ਹਾਂ ਪੜਾਵਾਂ ਨੇ 69,429, 124,179, 182,579 ਅਤੇ 248,279 ਪ੍ਰੌਮਪਟ ਟੋਕਨ ਵਾਪਸ ਕੀਤੇ। ਪੜਾਵਾਂ ਦੇ ਵਿਚਕਾਰ ਮਾਡਲ ਲੋਡ ਰਿਹਾ, ਜਿਸ ਨਾਲ ਪ੍ਰੀਫ਼ਿਕਸ ਮੁੜ ਵਰਤਿਆ ਗਿਆ। ਵੱਖਰੀਆਂ Qwen3.6 ਹੱਦ-ਨੇੜੇ ਜਾਂਚਾਂ ਨੇ ਕੈਸ਼ ਕੀਤੇ ਟੋਕਨ ਸਿਫ਼ਰ ਦੱਸੇ।

0.8B ਦੇ ਲੰਮੇ ਪ੍ਰੌਮਪਟ ਨੇ ਸ਼ੁਰੂਆਤੀ ਜਵਾਬ-ਕੁੰਜੀ ਅਤੇ ਆਖ਼ਰੀ ਯਾਦ-ਸਵਾਲ ਵਿਚਕਾਰ river stone lantern orchard circuit velvet compass marble 8,400 ਵਾਰ ਦੁਹਰਾਇਆ। ਨੈਟਿਵ ਰਨ ਨੇ think:false, num_ctx:131072, stream:false ਅਤੇ keep_alive:0 ਭੇਜੇ। OpenAI-ਅਨੁਕੂਲ ਰਸਤੇ ਨੇ reasoning_effort:"none" ਵਰਤਿਆ। ਬ੍ਰੋਕਰ ਨੇ ਆਪਣੇ ਰੂਟ ਲਈ ਬਿਨਾਂ-ਸੋਚ ਮੋਡ ਲਾਗੂ ਕੀਤਾ, ਇਸ ਲਈ ਗੇਟਵੇ ਵਰਤਣ ਵਾਲੇ ਨੂੰ ਕਲਾਇੰਟ ਪਾਸੇ ਬਦਲਾਅ ਦੀ ਲੋੜ ਨਹੀਂ ਸੀ।

ਟੂਲ, ਵਿਜ਼ਨ ਅਤੇ ਛੱਡਣ ਦੀਆਂ ਜਾਂਚਾਂ

ਟੂਲ ਟੈਸਟਾਂ ਨੇ ਬੇਨਤੀ ਅਤੇ ਟੂਲ ਦਾ ਨਤੀਜਾ ਵਾਪਸ ਆਉਣ ਮਗਰੋਂ ਜਵਾਬ ਜਾਂਚਿਆ। ਇੱਕ ਸੌਖੇ ਟੈਸਟ ਨੇ add_numbers(7, 11) ਵਰਤਿਆ ਅਤੇ 18 ਦੀ ਉਮੀਦ ਰੱਖੀ। Qwen3.5 35B ਟੈਸਟ ਨੇ lookup_square ਵਰਤਿਆ ਅਤੇ 49 ਦੀ ਉਮੀਦ ਕੀਤੀ। GPT-OSS ਨੇ ਸਟਾਕ ਦੀ ਖੋਜ ਕੀਤੀ ਅਤੇ ਵਾਪਸ ਆਏ ਸਟਾਕ ਨਤੀਜੇ ਨੂੰ ਜਵਾਬ ਵਿੱਚ ਸ਼ਾਮਲ ਕਰਨਾ ਸੀ।

ਵਿਜ਼ਨ ਜਾਂਚਾਂ ਨੇ ਲਾਲ ਅਤੇ ਨੀਲੀਆਂ ਤਸਵੀਰਾਂ ਬਾਰੇ ਸਵਾਲ, ਤਸਵੀਰਾਂ ਦਾ ਉਲਟ ਕ੍ਰਮ ਅਤੇ ਲੰਮੇ ਪ੍ਰੌਮਪਟ ਵਿੱਚ ਤਸਵੀਰਾਂ ਦੇ ਰੰਗਾਂ ਨਾਲ ਸ਼ੁਰੂਆਤੀ ਤੇ ਆਖ਼ਰੀ ਮਾਰਕਰ ਵਰਤੇ। Qwen3.5 35B ਟੈਸਟ ਨੇ 256 × 256 ਲਾਲ PNG ਵਰਤੀ। ਬੇਨਤੀ ਪਾਸ ਹੋਣ ਤੋਂ ਪਹਿਲਾਂ ਬ੍ਰੋਕਰ ਵਿੱਚ ਤਸਵੀਰ-ਸਮੱਗਰੀ ਬਦਲਣ ਦੀ ਗੜਬੜ ਠੀਕ ਕਰਨੀ ਪਈ। ਸਿਸਟਮ E ਦੇ ਲੰਮੇ 4B ਵਿਜ਼ਨ ਟੈਸਟ ਵਿੱਚ ਇਨਪੁੱਟ ਵਿੱਚ ਦੋਵੇਂ ਮਾਰਕਰ ਅਤੇ ਰੰਗਾਂ ਦਾ ਕ੍ਰਮ ਕਾਇਮ ਰਹਿਣਾ ਲਾਜ਼ਮੀ ਸੀ।

ਲੰਮੇ ਰਨਾਂ ਦੇ ਦੌਰਾਨ ਅਤੇ ਆਲੇ-ਦੁਆਲੇ ਮੈਂ GPU ਮੈਮਰੀ, ਮਾਡਲ ਰੈਜ਼ੀਡੈਂਸੀ, ਤਾਪਮਾਨ, ਹੋਸਟ-ਮੈਮਰੀ ਦਬਾਅ, OOM ਘਟਨਾਵਾਂ ਅਤੇ GPU ਨੁਕਸ ਜਾਂਚੇ। Qwen3.5 35B ਗਾਰਡ ਨੇ ਕਾਬੂਵੀਂ ਰੁਕਾਵਟ ਮਗਰੋਂ ਛੱਡਣਾ ਵੀ ਵੇਖਿਆ। ਬਾਅਦ ਦੀਆਂ ਕਲਾਇੰਟ-ਰੱਦਕਰਨ ਅਤੇ ਕਤਾਰਬੱਧ ਬੇਨਤੀਆਂ ਨੇ ਬ੍ਰੋਕਰ ਰਸਤਾ ਪਰਖਿਆ। ਕਤਾਰ ਵਿੱਚ ਦੋ ਬੇਨਤੀਆਂ ਟੈਸਟ ਕੀਤੇ ਭਾਰ ਹੇਠ ਬੇਨਤੀ ਸੰਭਾਲਣ ਦਾ ਸਬੂਤ ਹਨ, ਦੋ ਵੱਖਰੇ ਇਕੱਠੇ GPU ਬੈਕਐਂਡਾਂ ਦਾ ਨਹੀਂ।

ਕਾਰਗੁਜ਼ਾਰੀ ਨਤੀਜੇ ਪੜ੍ਹਨਾ

ਬੇਨਤੀ ਸਮੇਂ ਵਿੱਚ ਲੰਮੇ-ਇਨਪੁੱਟ ਪ੍ਰੀਫ਼ਿਲ ਅਤੇ ਵਾਪਸ ਆਇਆ ਜਵਾਬ ਸ਼ਾਮਲ ਹੈ। ਇਹ ਪ੍ਰਤੀ ਸਕਿੰਟ ਬਣੇ ਟੋਕਨਾਂ ਦੀ ਗਿਣਤੀ ਨਹੀਂ। ਸਟ੍ਰੀਮਿੰਗ ਵਿੱਚ ਪਹਿਲੀ ਸਮੱਗਰੀ ਦੇ ਆਉਣ ਤੱਕ ਦਾ ਸਮਾਂ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ, ਅਤੇ ਕੈਸ਼ ਕੀਤੇ ਪ੍ਰੀਫ਼ਿਕਸ ਦੀ ਤਰੱਕੀ ਨੂੰ ਵੱਖਰੇ ਤੌਰ ਉੱਤੇ ਸਮਝਣਾ ਚਾਹੀਦਾ ਹੈ।

ਸਿਸਟਮ A ਅਤੇ C ਉੱਤੇ ਵੱਡੇ ਮਾਡਲਾਂ ਦੇ ਕਾਮਯਾਬ ਅਗਲੇ ਰਨ ਸਮਰਪਿਤ ਇਨਫ਼ਰੈਂਸ ਵਿੰਡੋ ਵਿੱਚ ਹੋਏ, ਜਦੋਂ ਮਾਈਨਿੰਗ ਬੰਦ ਸੀ। ਬੇਨਤੀਆਂ ਮਗਰੋਂ ਮਾਡਲ ਅਨਲੋਡ ਹੋਏ। ਟੈਸਟ ਵਿੰਡੋ ਦੇ ਅੰਤ ਉੱਤੇ ਸਾਰੇ ਸੱਤ ਸਿਸਟਮਾਂ ਵਿੱਚ ਮਾਈਨਿੰਗ ਮੁੜ ਸ਼ੁਰੂ ਹੋਈ। ਇਹ ਨਤੀਜੇ ਇਨਫ਼ਰੈਂਸ ਵਿੰਡੋ ਦੌਰਾਨ ਮਾਡਲ ਸੇਵਾ ਬਾਰੇ ਹਨ, ਮਾਈਨਿੰਗ ਅਤੇ ਇਨਫ਼ਰੈਂਸ ਇਕੱਠੇ ਹੋਣ ਬਾਰੇ ਨਹੀਂ।

ਟੈਸਟਾਂ ਵਿੱਚ ਵਰਤੇ ਬੈਕਐਂਡ ਪ੍ਰੋਫ਼ਾਈਲ

ਜਿਹੜਾ ਕੰਮ ਮੁੜ ਕਰਨਾ ਹੈ, ਉਸ ਨਾਲ ਜੁੜਿਆ ਪ੍ਰੋਫ਼ਾਈਲ ਚੁਣੋ। ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ, ਰਨਟਾਈਮ ਸੰਦਰਭ, ਕੈਸ਼ ਦੀ ਕਿਸਮ, ਤਰਕ ਮੋਡ ਅਤੇ GPU ਥਾਂ ਸਾਰੇ ਨਤੀਜੇ ਉੱਤੇ ਅਸਰ ਕਰਦੇ ਹਨ।

ਸਿਸਟਮ ਅਤੇ ਮਾਡਲਟੈਸਟ ਕੀਤਾ ਬੈਕਐਂਡ ਪ੍ਰੋਫ਼ਾਈਲ
A, Qwen3.5 35B-A3B Q4_K_MOllama 0.34.2, f16 KV ਕੈਸ਼, ਦੋਵੇਂ 16GB RTX 5060 Ti ਕਾਰਡ, 64 GiB ਹੋਸਟ RAM ਅਤੇ ਵੱਡੀ ਲੜੀ ਲਈ 262,144 ਰਨਟਾਈਮ ਸੰਦਰਭ। ਨੈਟਿਵ ਬੇਨਤੀਆਂ ਨੇ think:false, ਤਾਪਮਾਨ 0, ਸਟ੍ਰੀਮਿੰਗ ਅਤੇ ਪੜਾਵਾਂ ਵਿਚਕਾਰ ਪੰਜ ਮਿੰਟ keep-alive ਵਰਤਿਆ। ਗੇਟਵੇ ਬੇਨਤੀਆਂ ਬ੍ਰੋਕਰ ਅਤੇ LiteLLM ਰਾਹੀਂ ਗਈਆਂ। ਕੋਈ ਬੇਨਤੀ ਆਉਟਪੁੱਟ ਹੱਦ ਨਹੀਂ।
A, Qwen3.8 27Bਬ੍ਰੋਕਰ ਅਤੇ LiteLLM ਰਾਹੀਂ ਮੰਗ ਉੱਤੇ llama.cpp, 262,144 ਰਨਟਾਈਮ ਸੰਦਰਭ, ਇੱਕ ਇਨਫ਼ਰੈਂਸ ਸਲਾਟ, Q4 K/V ਕੈਸ਼ ਅਤੇ ਦੋਵੇਂ RTX 5060 Ti ਕਾਰਡ। 66,007-ਟੋਕਨ ਬੇਨਤੀ ਉੱਤੇ ਆਉਟਪੁੱਟ ਹੱਦ ਨਹੀਂ ਸੀ।
A, Qwen3.6-35B-A3B UD-Q4_K_XLStrata 0.1.48, 131,072 ਸੰਦਰਭ, INT8 KV ਕੈਸ਼, ਇੱਕ ਚੁਣਿਆ GPU, 55 GiB ਪ੍ਰੋਸੈਸ-ਗਰੁੱਪ ਮੈਮਰੀ ਹੱਦ, 30-ਮਿੰਟ ਰਨਟਾਈਮ ਹੱਦ, ਲੇਜ਼ੀ ਲੋਡ ਅਤੇ 60 ਸਕਿੰਟ ਵਿਹਲੇ ਰਹਿਣ ਮਗਰੋਂ ਅਨਲੋਡ। ਪਾਇਲਟ ਲੰਮੇ ਜਵਾਬ ਵਿੱਚ 217 ਆਉਟਪੁੱਟ ਟੋਕਨ। ਹੱਦ-ਨੇੜੇ ਗੇਟਵੇ ਜਵਾਬ ਵਿੱਚ 11 ਆਉਟਪੁੱਟ ਟੋਕਨ, ਬੇਨਤੀ ਆਉਟਪੁੱਟ ਹੱਦ ਨਹੀਂ।
A, Qwen3.8-Flash-Next UD-IQ4_XSStrata 0.1.48, 98,304 ਸੰਦਰਭ, Q4 KV ਕੈਸ਼, 8 GiB ਰੈਜ਼ੀਡੈਂਟ ਐਕਸਪਰਟ ਕੈਸ਼ ਅਤੇ ਦੋਵੇਂ RTX 5060 Ti ਕਾਰਡ। ਪਾਇਲਟ ਮੈਮਰੀ ਹੱਦ 52 GiB, ਬਾਅਦਲੇ ਰੂਟ ਦੀ ਹੱਦ 54 GiB। ਪਾਇਲਟ ਲੰਮੇ ਜਵਾਬ ਵਿੱਚ 10 ਆਉਟਪੁੱਟ ਟੋਕਨ। ਪਹਿਲਾਂ ਦੇ ਵੱਡੇ ਸੰਦਰਭ/ਕੈਸ਼ ਜੋੜ ਮੈਮਰੀ ਹੱਦ ਉੱਤੇ ਰੁਕ ਗਏ।
A, Granite 4.2 8BQ6_K GGUF ਵਜ਼ਨ, llama.cpp ਦੀ ਸਾਂਝੀ ਕਾਰਜ-ਪ੍ਰਕਿਰਿਆ, 131,072 ਸੰਦਰਭ, Q4_0 K/V ਕੈਸ਼, --n-predict -1। ਲੰਮੀ ਬੇਨਤੀ ਨੇ ਤਾਪਮਾਨ 0, ਸਟ੍ਰੀਮਿੰਗ ਵਰਤੋਂ ਅਤੇ ਕੋਈ ਆਉਟਪੁੱਟ ਹੱਦ ਨਹੀਂ ਵਰਤੀ।
A, DeepSeek Coder V2 16BQ4_0 GGUF ਵਜ਼ਨ, Ollama 0.34.2, ਦੋ RTX 5060 Ti ਕਾਰਡ ਅਤੇ 64 GiB ਹੋਸਟ RAM। ਵੱਖਰੇ f16, Q4_0 ਅਤੇ Q8_0 ਕੈਸ਼ ਟ੍ਰਾਇਲਾਂ ਨੇ ਤੁਲਨਾ ਟੇਬਲ ਵਿੱਚ ਦਿੱਤੇ ਰਨਟਾਈਮ ਸੰਦਰਭ ਵਰਤੇ। ਬੇਨਤੀ ਆਉਟਪੁੱਟ ਹੱਦ ਨਹੀਂ।
B, C, D, ਜਾਂਚੀ Ollama ਸੇਵਾOllama 0.34.2, 131,072 ਸੰਦਰਭ, ਸਮਾਂਤਰਤਾ 1, ਇੱਕ ਲੋਡ ਕੀਤਾ ਮਾਡਲ, ਕਤਾਰ ਆਕਾਰ 128, keep-alive 0, Flash Attention, Q4_0 KV ਕੈਸ਼।
B, Qwen3.5 9B ਗੇਟਵੇ ਪਾਇਲਟLiteLLM ਰੂਟ ਟਾਈਮਆਉਟ 1,800 ਸਕਿੰਟ, ਮੁੜ ਕੋਸ਼ਿਸ਼ ਸਿਫ਼ਰ, ਸੰਦਰਭ ਜਾਂ ਆਉਟਪੁੱਟ-ਟੋਕਨ ਹੱਦ ਨਹੀਂ। 72,265 ਇਨਪੁੱਟ ਟੋਕਨਾਂ ਉੱਤੇ ਦੋਵੇਂ ਸੈਂਟੀਨਲ ਰਹੇ। ਵੱਖਰੀ ਮਾਈਨਿੰਗ-ਮੁੜ-ਪ੍ਰਾਪਤੀ ਜਾਂਚ ਪਾਸ ਹੋਈ।
C, Qwen3.5 0.8Bਇੱਕ RTX 2000E Ada ਉੱਤੇ 30 W ਪਾਵਰ ਪ੍ਰੋਫ਼ਾਈਲ ਨਾਲ Q8_0 ਵਜ਼ਨ। ਰਨਟਾਈਮ ਸੰਦਰਭ 131,072। ਨੈਟਿਵ think:false, OpenAI-ਅਨੁਕੂਲ reasoning_effort:"none", ਆਉਟਪੁੱਟ ਹੱਦ ਨਹੀਂ। ਬ੍ਰੋਕਰ ਅਲਿਆਸ ਨੇ ਰਨਟਾਈਮ ਸੰਦਰਭ ਪੱਕਾ ਕੀਤਾ ਅਤੇ ਬਿਨਾਂ-ਸੋਚ ਮੋਡ ਲਾਗੂ ਕੀਤਾ।
C, Gemma 4 12B-ITਇਕ-GPU Ollama ਪ੍ਰੋਫ਼ਾਈਲ, 131,072 ਰਨਟਾਈਮ ਸੰਦਰਭ, ਆਉਟਪੁੱਟ ਹੱਦ ਤੋਂ ਬਿਨਾਂ Aperture ਸਟ੍ਰੀਮ ਅਤੇ ਨਾਨ-ਸਟ੍ਰੀਮ ਬੇਨਤੀਆਂ। ਸਿੱਧਾ Aperture ਰਨ 30 W ਉੱਤੇ ਕੌਂਫ਼ਿਗਰ ਪ੍ਰੋਫ਼ਾਈਲ ਹੇਠ 75 C ਅਤੇ 30.64 W ਤੱਕ ਗਿਆ, ਫਿਰ ਅਨਲੋਡ ਹੋਇਆ।
D, Qwen3.5 9B, Gemma 4 12B-IT, GPT-OSS 20BAperture ਰਾਹੀਂ ਠੀਕ ਲੱਗੇ ਆਰਟੀਫ਼ੈਕਟ ਟੈਸਟ, 131,072 ਰਨਟਾਈਮ ਸੰਦਰਭ, ਇੱਕ GPU ਉੱਤੇ ਪੂਰੀ ਰੈਜ਼ੀਡੈਂਸੀ, ਬੇਨਤੀ ਆਉਟਪੁੱਟ ਹੱਦ ਬਿਨਾਂ ਕੁਦਰਤੀ ਸਮਾਪਤੀ।
E, F, G, llama.cpp ਦੀਆਂ ਚੈਟ ਪ੍ਰਕਿਰਿਆਵਾਂBuild 11669, 99 GPU ਲੇਅਰ, ਸਮਾਂਤਰਤਾ 1, Flash Attention, Q4_0 K/V ਕੈਸ਼, --n-predict -1। ਮਾਡਲ ਪਰਿਵਾਰ ਨਾਲ ਰਨਟਾਈਮ ਸੰਦਰਭ ਬਦਲਿਆ।

ਦਰਜ ਸੇਵਾ ਪ੍ਰੋਫ਼ਾਈਲ ਆਪਣੇ ਰਨਟਾਈਮ ਜੋੜ ਦੱਸਦੇ ਹਨ। ਸਿਸਟਮ A ਉੱਤੇ ਵੱਖਰੇ ਟੈਸਟ ਕੀਤੇ f16-ਕੈਸ਼ Qwen3.5 35B ਪ੍ਰੋਫ਼ਾਈਲ ਨੂੰ ਛੋਟੇ Ollama ਸਿਸਟਮਾਂ ਵਾਲੀਆਂ Q4_0 ਕੈਸ਼ ਸੈਟਿੰਗਾਂ ਨਹੀਂ ਮਿਲਦੀਆਂ।

ਨਵੀਆਂ ਸੰਭਾਲੇ-ਇਨਪੁੱਟ ਜਾਂਚਾਂ ਦੇ ਮਾਡਲ ਫ਼ਿੰਗਰਪ੍ਰਿੰਟ

ਇਹ ਮਾਡਲ ਪਛਾਣਾਂ ਟੈਸਟ ਕੀਤੇ ਆਰਟੀਫ਼ੈਕਟ ਨੂੰ ਮਿਲਦੇ-ਜੁਲਦੇ ਨਾਂ ਵਾਲੇ ਹੋਰ ਡਾਊਨਲੋਡਾਂ ਜਾਂ ਅਲਿਆਸਾਂ ਤੋਂ ਵੱਖ ਕਰਦੀਆਂ ਹਨ।

ਆਰਟੀਫ਼ੈਕਟਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨਦਰਜ ਡਾਈਜੈਸਟ ਜਾਂ ਫ਼ਾਈਲ SHA-256
Qwen3.5 35B-A3B Ollama ਟੈਗQ4_K_M72aac7c28be8ff9b81c2a270eb489c88e6d822a76ec0cb7bf34d965768848567
Qwen3.5 0.8B ਬੇਸ Ollama ਟੈਗQ8_0de63045f29755d4721c09d54c9b45c2dadb644f4fd7d604d4cac90d96049971c
Granite 4.2 8B GGUF ਫ਼ਾਈਲQ6_K5ad3d67f6fe09a448031029bead7f6a088697ca2787c0c5640bf964c59df1a21

Ollama ਮੈਨੀਫ਼ੈਸਟ ਡਾਈਜੈਸਟ ਅਤੇ ਵਜ਼ਨ-ਫ਼ਾਈਲ SHA-256 ਵੱਖਰੇ ਆਬਜੈਕਟ ਪਛਾਣਦੇ ਹਨ। ਟੇਬਲ ਵਿੱਚ ਆਰਟੀਫ਼ੈਕਟ ਦੀ ਕਿਸਮ ਨਾਲ ਪਛਾਣ ਮਿਲਾਓ।

ਮੈਂ Hermes ਨਾਲ ਕੀ ਚਲਾਵਾਂਗਾ

ਦੋ RTX 5060 Ti ਕਾਰਡਾਂ ਵਾਲੇ ਸਿਸਟਮ ਉੱਤੇ Qwen3.5 35B ਮੁੱਖ ਉੱਚ-ਸੰਦਰਭ ਰੂਟ ਹੋਵੇਗਾ। ਇਸਦਾ 239,153-ਟੋਕਨ ਗੇਟਵੇ ਰਿਟੇਨਸ਼ਨ, ਟੂਲ ਅਤੇ ਵਿਜ਼ਨ ਦੇ ਵੱਖਰੇ ਪਾਸ ਅਤੇ ਜਾਂਚੀ ਬੇਨਤੀ-ਮੁਕਤੀ ਇਸ ਚੋਣ ਨੂੰ ਵੱਡੀ ਸੰਦਰਭ ਵਿੰਡੋ ਦੇ ਇਸ਼ਤਿਹਾਰ ਨਾਲੋਂ ਵਧੇਰੇ ਮਜ਼ਬੂਤ ਕਰਦੇ ਹਨ। ਇਕੋ ਜਿਹੀ 66K ਬੇਨਤੀ ਲਈ ਤੇਜ਼ ਜਵਾਬ ਵਾਸਤੇ Qwen3.8 27B ਅਤੇ ਇੱਕ ਕਾਰਡ ਵਰਤਣ ਵੇਲੇ Qwen3.6 ਰੱਖਾਂਗਾ।

RTX 2000E Ada ਸਿਸਟਮਾਂ ਉੱਤੇ ਟੈਸਟ ਕੀਤੇ ਲੰਮੇ-ਇਨਪੁੱਟ ਜਵਾਬ ਕੰਮ ਲਈ ਸਿਸਟਮ C ਦਾ ਜਾਂਚਿਆ Gemma 3 4B ਰੂਟ ਚੁਣਾਂਗਾ। ਸੀਮਤ ਯਾਦ ਅਤੇ ਜਾਣਕਾਰੀ ਕੱਢਣ ਲਈ ਬਿਨਾਂ-ਸੋਚ ਵਾਲਾ Qwen3.5 0.8B ਅਜ਼ਮਾਵਾਂਗਾ। ਵੱਡੇ Gemma, Qwen ਅਤੇ GPT-OSS ਰੂਟ ਉਹਨਾਂ ਕੰਮਾਂ ਲਈ ਢੁੱਕਦੇ ਹਨ ਜਿੱਥੇ ਜਾਂਚਿਆ ਚਾਰ-ਤੋਂ-ਪੰਜ ਮਿੰਟ ਦਾ ਪਹਿਲਾ ਜਵਾਬ ਮਨਜ਼ੂਰ ਹੋਵੇ। ਸਿਸਟਮ D ਦਾ ਨਾਕਾਮ Gemma 3 ਰੂਟ ਬਾਹਰ ਰੱਖਾਂਗਾ।

8GB RTX 3060 Ti ਅਤੇ RTX 3070 ਕਾਰਡਾਂ ਲਈ Qwen3.5 2B ਜਾਂ 4B ਨਾਲ ਸ਼ੁਰੂ ਕਰਾਂਗਾ। ਉਨ੍ਹਾਂ ਦੇ 65K ਟੈਕਸਟ ਨਤੀਜੇ ਅਤੇ 4B ਤਸਵੀਰ ਜਾਂਚਾਂ ਦੋ 16GB ਕਾਰਡ ਹਰ ਬੇਨਤੀ ਲਈ ਲਗਾਏ ਬਿਨਾਂ ਲਾਹੇਵੰਦ ਸ਼ੁਰੂਆਤੀ ਸੈੱਟਅਪ ਦਿੰਦੀਆਂ ਹਨ। ਟੈਸਟ ਪ੍ਰੋਫ਼ਾਈਲਾਂ ਵਿੱਚ Flash Next ਦਾ ਮੈਮਰੀ ਦਬਾਅ ਅਤੇ DeepSeek Coder V2 ਦਾ ਅਧੂਰਾ 65K ਵਰਤਾਅ ਉਨ੍ਹਾਂ ਨੂੰ ਕਮਜ਼ੋਰ ਮੂਲ ਚੋਣ ਬਣਾਉਂਦੇ ਹਨ।

ਟੈਸਟ ਖ਼ਾਸ ਕੰਮਾਂ ਲਈ ਇਹ ਮਾਡਲ ਅਤੇ ਸਿਸਟਮ ਚੋਣਾਂ ਸਮਰਥਿਤ ਕਰਦੇ ਹਨ। ਇਨਪੁੱਟ ਸੰਭਾਲਣਾ, ਸਹੀ ਟੂਲ ਰਾਊਂਡ-ਟ੍ਰਿਪ, ਤਸਵੀਰ ਪਛਾਣ ਅਤੇ ਸਹੀ ਤਰੀਕੇ ਨਾਲ ਛੱਡਣਾ Hermes ਦੀ ਯੋਗਤਾ ਦੇ ਵੱਖਰੇ ਹਿੱਸਿਆਂ ਦਾ ਜਵਾਬ ਦਿੰਦੇ ਹਨ। ਭਰੋਸੇਯੋਗ ਸੈੱਟਅਪ ਵਿੱਚ ਏਜੰਟ ਵੱਲੋਂ ਵਰਤੇ ਵਰਤਾਅ ਅਤੇ ਜਵਾਬ ਤੇ ਟੂਲ ਟ੍ਰੈਫ਼ਿਕ ਲਈ ਕਾਫ਼ੀ ਸੰਦਰਭ ਚਾਹੀਦਾ ਹੈ।

ਸਰੋਤ ਅਤੇ ਸੰਬੰਧਿਤ ਪੜ੍ਹਤ