Hermes ਲੋਕਲ ਮਾਡਲ ਬੈਂਚਮਾਰਕ: ਮੈਂ ਕਿਹੜੇ GPU ਅਤੇ ਮਾਡਲ ਜੋੜ ਚੁਣਾਂਗਾ

Table of Contents
ਲੰਮੇ ਸੰਦਰਭ ਵਾਲੇ Hermes ਕੰਮ ਲਈ ਮੈਂ ਦੋ 16GB RTX 5060 Ti ਕਾਰਡਾਂ ਉੱਤੇ Qwen3.5 35B ਨਾਲ ਸ਼ੁਰੂ ਕਰਾਂਗਾ। ਟੈਸਟ ਕੀਤੇ ਰੂਟ ਨੇ LiteLLM ਰਾਹੀਂ 239,153 ਇਨਪੁੱਟ ਟੋਕਨ ਸੰਭਾਲੇ ਅਤੇ ਟੂਲਾਂ, ਸਟ੍ਰੀਮਿੰਗ, ਵਿਜ਼ਨ, ਕਤਾਰ ਵਿੱਚ ਪਏ ਬੇਨਤੀਆਂ ਅਤੇ ਰੱਦ ਕਰਨ ਦੀਆਂ ਵੱਖਰੀਆਂ ਜਾਂਚਾਂ ਪਾਸ ਕੀਤੀਆਂ। ਇੱਕ ਕਾਰਡ ਵਾਲਾ ਮੇਰਾ ਬਦਲ Qwen3.6 ਹੈ। RTX 3060 Ti ਅਤੇ RTX 3070 ਸਿਸਟਮਾਂ ਉੱਤੇ ਮੈਂ Qwen3.5 2B ਜਾਂ 4B ਨਾਲ ਸ਼ੁਰੂ ਕਰਾਂਗਾ।
ਇਹ ਚੋਣਾਂ ਏਜੰਟ ਵੱਲੋਂ ਵਰਤੇ ਇਨਫ਼ਰੈਂਸ ਰਸਤੇ ਰਾਹੀਂ ਮਾਡਲ ਚਲਾ ਕੇ ਆਈਆਂ ਹਨ। ਮੈਂ ਲੰਮੇ ਇਨਪੁੱਟ ਨੂੰ ਸੰਭਾਲਣਾ, ਟੂਲ ਨਾਲ ਰਾਊਂਡ-ਟ੍ਰਿਪ, ਸਟ੍ਰੀਮ ਕੀਤੇ ਜਵਾਬ, ਤਸਵੀਰਾਂ ਬਾਰੇ ਸਵਾਲ ਅਤੇ ਮਾਡਲ ਨੂੰ ਛੱਡਣਾ ਟੈਸਟ ਕੀਤਾ। ਰਸਤਿਆਂ ਦੇ ਪਿੱਛੇ ਵਾਲੇ ਮੋਡ ਅਤੇ ਮੈਮਰੀ ਸੈਟਿੰਗਾਂ ਵੀ ਪਰਖੀਆਂ, ਕਿਉਂਕਿ ਮਾਡਲ ਦਾ ਲੋਡ ਹੋ ਜਾਣਾ ਲੰਮੀ ਏਜੰਟ ਬੇਨਤੀ ਵਿੱਚ ਉਸਦੀ ਵਰਤੋਂ ਬਾਰੇ ਘੱਟ ਦੱਸਦਾ ਹੈ।
ਟੂਲਾਂ ਨਾਲ ਏਜੰਟ ਕੰਮ ਵਾਸਤੇ Hermes ਨੂੰ ਘੱਟੋ-ਘੱਟ 64,000 ਟੋਕਨਾਂ ਦਾ ਸੰਦਰਭ ਚਾਹੀਦਾ ਹੈ। ਲੰਮੇ ਸੰਦਰਭ ਦੀ ਯੋਗਤਾ ਲਈ ਮੈਂ 65,536 ਅਸਲ ਇਨਪੁੱਟ ਟੋਕਨਾਂ ਨੂੰ ਹੱਦ ਬਣਾਇਆ। ਸਰਵਰ ਵੱਲੋਂ ਦੱਸੇ ਸੰਦਰਭ ਆਕਾਰ ਨਾਲੋਂ ਇਨਪੁੱਟ ਟੋਕਨਾਂ ਦੀ ਗਿਣਤੀ ਵਧੇਰੇ ਮਾਇਨੇ ਰੱਖਦੀ ਹੈ। ( Hermes Agent ਪ੍ਰਦਾਤਾ ਦਸਤਾਵੇਜ਼ )
ਹਰ ਸਿਸਟਮ ਵਿੱਚ ਕਿਹੜੇ GPU ਸਨ
ਨਤੀਜਿਆਂ ਵਿੱਚ ਸਿਸਟਮ ਦੇ ਅੱਖਰ ਹਾਰਡਵੇਅਰ ਜੋੜ ਦੱਸਦੇ ਹਨ।
| ਸਿਸਟਮ | ਇਸ ਬੈਂਚਮਾਰਕ ਲਈ ਵਰਤੇ GPU | ਮੇਰੀ ਸ਼ੁਰੂਆਤੀ ਮਾਡਲ ਚੋਣ |
|---|---|---|
| A | 2 × GeForce RTX 5060 Ti, ਹਰੇਕ 16GB | ਦੋਹਾਂ ਕਾਰਡਾਂ ਉੱਤੇ Qwen3.5 35B, ਜਾਂ ਇੱਕ ਕਾਰਡ ਉੱਤੇ Qwen3.6 |
| B | 1 × RTX 2000E Ada, 16GB | ਜੇ ਲੰਮੇ ਇਨਪੁੱਟ ਦੀ ਕਈ ਮਿੰਟਾਂ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕੰਮ ਨਾਲ ਢੁੱਕਦੀ ਹੋਵੇ ਤਾਂ Qwen3.5 9B |
| C | 1 × RTX 2000E Ada, 16GB | ਟੈਸਟ ਕੀਤੇ ਲੰਮੇ-ਇਨਪੁੱਟ ਰਸਤੇ ਲਈ Gemma 3 4B, ਸੀਮਤ ਯਾਦ ਕੰਮਾਂ ਲਈ ਬਿਨਾਂ ਸੋਚਣ ਦੇ ਮੋਡ ਵਿੱਚ Qwen3.5 0.8B |
| D | 1 × RTX 2000E Ada, 16GB | ਟੈਸਟ ਕੀਤੇ ਵੱਡੇ-ਮਾਡਲ ਕੰਮਾਂ ਲਈ Qwen3.5 9B, Gemma 4 12B-IT ਜਾਂ GPT-OSS 20B |
| E | 9 × GeForce RTX 3060 Ti, ਹਰੇਕ 8GB | Qwen3.5 2B ਜਾਂ 4B |
| F | 8 × GeForce RTX 3060 Ti, ਹਰੇਕ 8GB | Qwen3.5 2B ਜਾਂ 4B |
| G | 3 × GeForce RTX 3070 | Qwen3.5 2B ਜਾਂ 4B |
ਲੱਗੇ ਹੋਏ ਕਾਰਡਾਂ ਦੀ ਗਿਣਤੀ ਦਾ ਮਤਲਬ ਇਹ ਨਹੀਂ ਕਿ ਹਰ ਬੇਨਤੀ ਨੇ ਹਰ GPU ਵਰਤਿਆ। ਸਿਸਟਮ A ਵਿੱਚ Qwen3.5 35B ਅਤੇ Flash Next ਟ੍ਰਾਇਲਾਂ ਨੇ ਦੋਵੇਂ ਕਾਰਡ ਵਰਤੇ। Qwen3.6 ਨੇ ਇੱਕ ਕਾਰਡ ਵਰਤਿਆ। ਸਿਸਟਮ E ਦੀ ਕਾਮਯਾਬ Qwen3.5 4B ਵਿਜ਼ਨ ਮੁੜ-ਜਾਂਚ ਨੇ ਅੱਠਾਂ ਦੇ ਗਰੁੱਪ ਵਿਚੋਂ ਇੱਕ ਚੁਣਿਆ ਕਾਰਡ ਵਰਤਿਆ ਅਤੇ ਨੌਵਾਂ ਕਾਰਡ AI ਕੰਮ ਤੋਂ ਬਾਹਰ ਰਿਹਾ।
ਹੇਠਲੇ ਸਮਿਆਂ ਨੂੰ ਟੈਸਟ ਕੀਤੇ ਮਾਡਲ, ਰਨਟਾਈਮ ਅਤੇ ਸਿਸਟਮ ਦੇ ਸਾਂਝੇ ਨਤੀਜੇ ਸਮਝੋ। ਇਹ ਰਨ ਵਰਤੋਂਯੋਗ ਕੌਂਫ਼ਿਗਰੇਸ਼ਨਾਂ ਦੀ ਤੁਲਨਾ ਕਰਦੇ ਹਨ। ਇਹ ਗਤੀ ਦੇ ਫ਼ਰਕ ਦਾ ਕਾਰਨ GPU ਆਰਕੀਟੈਕਚਰ ਨੂੰ ਵੱਖਰਾ ਕਰਕੇ ਨਹੀਂ ਦਿਖਾਉਂਦੇ।
ਦੋ RTX 5060 Ti ਲੰਮੇ ਸੰਦਰਭ ਲਈ Qwen3.5 35B ਨੂੰ ਮੇਰੀ ਚੋਣ ਬਣਾਉਂਦੇ ਹਨ
ਇਨ੍ਹਾਂ ਟੈਸਟਾਂ ਵਿੱਚ Qwen3.5 35B ਨੇ ਸਭ ਤੋਂ ਵੱਡਾ ਸੰਭਾਲਿਆ-ਇਨਪੁੱਟ ਨਤੀਜਾ ਦਿੱਤਾ। ਸਿੱਧੀ Ollama ਲੜੀ ਨੇ 262,144-ਟੋਕਨ ਰਨਟਾਈਮ ਸੰਦਰਭ ਅੰਦਰ 248,279 ਇਨਪੁੱਟ ਟੋਕਨ ਸੰਭਾਲੇ। ਇੱਕ ਹੋਰ ਸਟ੍ਰੀਮ ਕੀਤੀ ਗੇਟਵੇ ਬੇਨਤੀ ਨੇ 239,153 ਇਨਪੁੱਟ ਟੋਕਨ ਰੱਖੇ, ਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਵਾਪਸ ਦਿੱਤਾ ਅਤੇ 31 ਆਉਟਪੁੱਟ ਟੋਕਨਾਂ ਮਗਰੋਂ 148.12 ਸਕਿੰਟਾਂ ਵਿੱਚ ਕੁਦਰਤੀ ਤੌਰ ਉੱਤੇ ਮੁੱਕੀ।
ਗੇਟਵੇ ਨਤੀਜਾ Hermes ਲਈ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ, ਕਿਉਂਕਿ ਬੇਨਤੀ ਬ੍ਰੋਕਰ ਅਤੇ LiteLLM ਵਿਚੋਂ ਲੰਘੀ। ਵੱਖਰੀਆਂ ਬੇਨਤੀਆਂ ਨੇ ਟੂਲ ਰਾਊਂਡ-ਟ੍ਰਿਪ ਪੂਰਾ ਕੀਤਾ, ਲਾਲ ਤਸਵੀਰ ਪਛਾਣੀ ਅਤੇ ਇਕੱਠੀਆਂ ਭੇਜਣ ਉੱਤੇ ਦੋ ਸਹੀ ਜਵਾਬ ਦਿੱਤੇ। ਬ੍ਰੋਕਰ ਨੇ ਇਹ ਦੋਵੇਂ ਬੇਨਤੀਆਂ ਕਤਾਰ ਵਿੱਚ ਰੱਖੀਆਂ। ਸਟ੍ਰੀਮ ਕੀਤੀ ਬੇਨਤੀ ਬੰਦ ਕਰਨ ਨਾਲ ਬ੍ਰੋਕਰ ਖਾਲੀ ਹੋਇਆ ਅਤੇ 60.31 ਸਕਿੰਟਾਂ ਅੰਦਰ ਮਾਡਲ ਅਨਲੋਡ ਹੋ ਗਿਆ।
| Qwen3.5 35B ਬੇਨਤੀ | ਇਨਪੁੱਟ ਟੋਕਨ | ਆਉਟਪੁੱਟ ਟੋਕਨ | ਸਮਾਂ | ਨਤੀਜਾ |
|---|---|---|---|---|
| ਸਿੱਧੀ Ollama, ਪਹਿਲਾ ਕ੍ਰਮਵਾਰ ਪੜਾਅ | 69,429 | 31 | 38.783 s | ਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਬਿਲਕੁਲ ਸਹੀ |
| ਸਿੱਧੀ Ollama, ਸਾਂਝੇ ਪ੍ਰੀਫ਼ਿਕਸ ਨਾਲ ਅਗਲਾ ਪੜਾਅ | 124,179 | 31 | 28.472 s | ਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਬਿਲਕੁਲ ਸਹੀ |
| ਸਿੱਧੀ Ollama, ਸਾਂਝੇ ਪ੍ਰੀਫ਼ਿਕਸ ਨਾਲ ਅਗਲਾ ਪੜਾਅ | 182,579 | 31 | 38.974 s | ਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਬਿਲਕੁਲ ਸਹੀ |
| ਸਿੱਧੀ Ollama, ਸਾਂਝੇ ਪ੍ਰੀਫ਼ਿਕਸ ਨਾਲ ਅਗਲਾ ਪੜਾਅ | 248,279 | 31 | 54.215 s | ਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਬਿਲਕੁਲ ਸਹੀ |
| ਬ੍ਰੋਕਰ ਦੀ ਸਟ੍ਰੀਮ ਕੀਤੀ ਬੇਨਤੀ | 69,427 | 29 | 38.872 s | ਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਬਿਲਕੁਲ ਸਹੀ |
| LiteLLM ਦੀ ਸਟ੍ਰੀਮ ਕੀਤੀ ਬੇਨਤੀ | 239,153 | 31 | 148.12 s | ਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਬਿਲਕੁਲ ਸਹੀ, ਸਹੀ ਅਨਲੋਡ |
ਸਿੱਧੀਆਂ ਕ੍ਰਮਵਾਰ ਬੇਨਤੀਆਂ ਨੇ ਵਧਦਾ ਹੋਇਆ ਪ੍ਰੀਫ਼ਿਕਸ ਮੁੜ ਵਰਤਿਆ। ਉਨ੍ਹਾਂ ਦੇ ਸਮੇਂ ਗਰਮ-ਜਾਰੀ ਰਹਿਣ ਦਾ ਵਰਤਾਅ ਦੱਸਦੇ ਹਨ। 54.215 ਸਕਿੰਟਾਂ ਦਾ ਨਤੀਜਾ ਨਵੇਂ 248K ਪ੍ਰੌਮਪਟ ਦੀ ਸੁਤੰਤਰ ਠੰਢੀ ਪ੍ਰਕਿਰਿਆ ਦਾ ਮਾਪ ਨਹੀਂ।
ਸਭ ਤੋਂ ਵੱਡੇ ਸਿੱਧੇ ਪੜਾਅ ਉੱਤੇ ਮਾਡਲ ਨੇ ਦੋਵੇਂ GPUਆਂ ਉੱਤੇ ਲਗਭਗ 27.3 ਅਰਬ ਬਾਈਟ ਮੈਮਰੀ ਵਿੱਚ ਹੋਣ ਦੀ ਜਾਣਕਾਰੀ ਦਿੱਤੀ। ਹਰੇਕ ਕਾਰਡ ਦੀ ਮੈਮਰੀ ਸਿਖਰ 14,964 ਅਤੇ 12,386 MiB ਤੱਕ ਸੀ।
ਵੱਧ ਤੋਂ ਵੱਧ ਤਾਪਮਾਨ 62 ਅਤੇ 63 C ਤੱਕ ਗਿਆ ਅਤੇ ਰਨ ਵਿੱਚ ਕੋਈ OOM ਜਾਂ Xid ਗੜਬੜ ਦਰਜ ਨਹੀਂ ਹੋਈ। ਇਨਪੁੱਟ ਨੇ ਕੌਂਫ਼ਿਗਰ ਸੰਦਰਭ ਵਿੱਚ ਅੱਗੇ ਲਈ 13,865 ਟੋਕਨ ਛੱਡੇ। ਛੋਟੇ ਮਾਰਕਰ ਜਵਾਬ ਨੇ ਉਨ੍ਹਾਂ ਵਿਚੋਂ 31 ਵਰਤੇ।
ਜਦੋਂ ਛੋਟੀ ਸ਼ੁਰੂਆਤੀ ਉਡੀਕ ਨਾਲੋਂ ਵੱਡਾ ਕੰਮ-ਸੈੱਟ ਸੰਭਾਲਣਾ ਵਧੇਰੇ ਮਾਇਨੇ ਰੱਖੇ, ਮੈਂ ਇਹ ਰੂਟ ਵਰਤਾਂਗਾ। ਟੂਲ ਅਤੇ ਵਿਜ਼ਨ ਜਾਂਚਾਂ ਏਜੰਟ ਦੇ ਲਾਭਦਾਇਕ ਵਰਤਾਅ ਦਿਖਾਉਂਦੀਆਂ ਹਨ, ਜਦਕਿ ਲੰਮੇ-ਇਨਪੁੱਟ ਟੈਸਟ ਸੰਭਾਲਣ ਦੀ ਸਮਰੱਥਾ ਦਿਖਾਉਂਦਾ ਹੈ। ਇਹ ਵੱਖਰੇ ਕੰਮ ਹਨ।
Qwen3.6 ਇੱਕ ਕਾਰਡ ਵਾਲਾ ਵਿਕਲਪ ਹੈ
Qwen3.6-35B-A3B UD-Q4_K_XL ਨੇ ਇੱਕ RTX 5060 Ti ਉੱਤੇ 131,000 ਇਨਪੁੱਟ ਟੋਕਨ ਸੰਭਾਲੇ। ਟੈਸਟ ਦੌਰਾਨ ਦੂਜਾ ਕਾਰਡ ਵਿਹਲਾ ਰਿਹਾ। ਇਸ ਨਾਲ ਸਿਸਟਮ ਨੂੰ ਉਦੋਂ ਲਾਭਦਾਇਕ ਵਿਕਲਪ ਮਿਲਦਾ ਹੈ ਜਦੋਂ ਇੱਕ ਮਾਡਲ ਨੂੰ ਦੋਵੇਂ ਕਾਰਡ ਦੇਣਾ ਠੀਕ ਨਾ ਹੋਵੇ।
| Qwen3.6 ਗੇਟਵੇ ਬੇਨਤੀ | ਇਨਪੁੱਟ ਟੋਕਨ | ਆਉਟਪੁੱਟ ਟੋਕਨ | ਸਮਾਂ | ਨਤੀਜਾ |
|---|---|---|---|---|
| ਸ਼ੁਰੂਆਤੀ ਲੰਮੀ ਬੇਨਤੀ | 66,007 | 167.82 s | ਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸੰਭਾਲਿਆ | |
| ਹੋਰ ਲੰਮੀ ਬੇਨਤੀ | 90,000 | 11 | 159.92 s | ਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸੰਭਾਲਿਆ, ਕੈਸ਼ ਕੀਤਾ ਇਨਪੁੱਟ ਸਿਫ਼ਰ |
| ਹੋਰ ਲੰਮੀ ਬੇਨਤੀ | 119,999 | 11 | 250.61 s | ਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸੰਭਾਲਿਆ, ਕੈਸ਼ ਕੀਤਾ ਇਨਪੁੱਟ ਸਿਫ਼ਰ |
| ਰਨਟਾਈਮ ਹੱਦ ਦੇ ਨੇੜੇ | 131,000 | 11 | 287.09 s | ਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸੰਭਾਲਿਆ, ਕੈਸ਼ ਕੀਤਾ ਇਨਪੁੱਟ ਸਿਫ਼ਰ |
131,000-ਟੋਕਨ ਬੇਨਤੀ 131,072-ਟੋਕਨ ਰਨਟਾਈਮ ਹੱਦ ਨੇੜੇ ਸੀ। ਏਜੰਟ ਲਈ ਮੈਂ ਜਵਾਬ ਅਤੇ ਅੱਗੇ ਆਉਣ ਵਾਲੇ ਟੂਲ ਸੁਨੇਹਿਆਂ ਵਾਸਤੇ ਵੱਧ ਥਾਂ ਛੱਡਾਂਗਾ। ਹੱਦ ਨੇੜੇ ਸੰਭਾਲਣ ਦਾ ਨਤੀਜਾ ਇਨਪੁੱਟ ਸੰਭਾਲਣ ਦਾ ਸਬੂਤ ਹੈ, ਸਮਝਦਾਰ ਮੂਲ ਇਨਪੁੱਟ ਬਜਟ ਨਹੀਂ।
ਸੋਚ ਬੰਦ ਹੋਣ ਉੱਤੇ ਟੂਲ ਵਰਤੋਂ ਪਾਸ ਹੋਈ। ਮੂਲ ਸੋਚਣ ਦੇ ਮੋਡ ਨੇ ਟੂਲ ਕਾਲ ਜਾਰੀ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ 512-ਟੋਕਨ ਟ੍ਰਾਇਲ ਭੱਤਾ ਵਰਤ ਲਿਆ। ਕਾਮਯਾਬ ਪਾਇਲਟ ਨੇ ਤੇਜ਼, ਸਟ੍ਰੀਮ ਅਤੇ ਵਿਜ਼ਨ ਬੇਨਤੀਆਂ ਵੀ ਪਾਸ ਕੀਤੀਆਂ। ਇਸਦੀ ਪਹਿਲੀ 65,845-ਟੋਕਨ ਸੰਦਰਭ ਜਾਂਚ ਨੂੰ 139.57 ਸਕਿੰਟ ਲੱਗੇ।
ਇੱਕੋ 66K ਜਵਾਬ ਤੁਲਨਾ ਵਿੱਚ Qwen3.8 27B ਅੱਗੇ ਹੈ
ਸਿਸਟਮ A ਉੱਤੇ ਉਸੇ 66,007-ਟੋਕਨ ਮਾਰਕਰ ਕੰਮ ਲਈ Qwen3.8 27B ਨੇ ਸਭ ਤੋਂ ਤੇਜ਼ ਜਵਾਬ ਦਿੱਤਾ। ਮੈਂ ਟੈਸਟ ਕੀਤੇ ਇਨਪੁੱਟ ਦੇ ਨੇੜੇ ਦੀਆਂ ਬੇਨਤੀਆਂ ਲਈ ਇਹ ਰੂਟ ਅਤੇ ਵੱਡੇ ਕੰਮ-ਸੈੱਟ ਲਈ Qwen3.5 35B ਰੱਖਾਂਗਾ।
| ਸਿਸਟਮ A ਰੂਟ | ਇਨਪੁੱਟ ਟੋਕਨ | ਸਮਾਂ | ਨਤੀਜਾ |
|---|---|---|---|
| Qwen3.8 27B | 66,007 | 54.64 s | ਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸੰਭਾਲਿਆ |
| Qwen3.6-35B-A3B UD-Q4_K_XL | 66,007 | 167.82 s | ਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸੰਭਾਲਿਆ |
| Qwen3.8-Flash-Next UD-IQ4_XS | 66,007 | 164.58 s | ਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸੰਭਾਲਿਆ |
| Flash Next IQ4 ਅਨੁਕੂਲਤਾ ਨਾਮ | 66,007 | 213.25 s | ਮਾਰਕਰ ਸੰਭਾਲਿਆ |
Qwen3.8 27B ਨੇ ਬਰਾਬਰ Qwen3.6 ਅਤੇ Flash Next ਬੇਨਤੀਆਂ ਦਾ ਲਗਭਗ ਤੀਜਾ ਸਮਾਂ ਲਿਆ। ਇਹ ਟੈਸਟ ਕੀਤੇ ਰਨਟਾਈਮਾਂ ਨਾਲ ਪੂਰੀਆਂ ਬੇਨਤੀਆਂ ਦੇ ਨਿਰੀਖਣ ਹਨ, ਸਿਰਫ਼ ਹਾਰਡਵੇਅਰ ਦੀ ਤੁਲਨਾ ਨਹੀਂ।
ਤੇਜ਼ ਜਵਾਬ, ਸਟ੍ਰੀਮਿੰਗ ਅਤੇ ਟੂਲ ਵਰਤੋਂ ਵੀ ਪਾਸ ਹੋਏ। ਸੋਚ ਬੰਦ ਮੋਡ ਨੇ ਰੰਗਾਂ ਦੀ ਪੂਰੀ ਲੜੀ ਅਤੇ ਟੂਲ ਰਾਊਂਡ-ਟ੍ਰਿਪ ਮੁਕੰਮਲ ਕੀਤਾ, ਜਦਕਿ ਸੋਚ ਵਾਲੇ ਟੈਸਟ ਨੇ 512-ਟੋਕਨ ਹੱਦ ਅੰਦਰ ਰੰਗਾਂ ਦੀ ਲੜੀ ਦਾ ਕੁਝ ਹਿੱਸਾ ਹੀ ਦਿੱਤਾ।
ਮੈਮਰੀ ਦਬਾਅ ਕਰਕੇ ਇਸ ਸਿਸਟਮ ਉੱਤੇ Flash Next ਘੱਟ ਪਸੰਦੀਦਾ ਮੂਲ ਚੋਣ ਹੈ। ਉਸਦਾ 65,847-ਟੋਕਨ ਪਾਇਲਟ 98,304 ਰਨਟਾਈਮ ਸੰਦਰਭ ਉੱਤੇ 201.41 ਸਕਿੰਟਾਂ ਵਿੱਚ ਪਾਸ ਹੋਇਆ। 131,072 ਸੰਦਰਭ ਵਾਲੇ ਪਹਿਲਾਂ ਦੇ ਦੋ ਪ੍ਰੋਫ਼ਾਈਲ ਤਿਆਰ ਹੋਣ ਤੋਂ ਪਹਿਲਾਂ ਮੈਮਰੀ ਹੱਦ ਤੱਕ ਪਹੁੰਚੇ।
ਅਗਲਾ ਰੂਟ ਆਪਣੀ 54 GiB cgroup ਹੱਦ ਤੱਕ ਪਹੁੰਚਿਆ। ਬਿਨਾਂ ਨਿਗਰਾਨੀ ਦੇ ਕੰਮ ਲਈ ਮੈਂ ਵੱਧ ਮੈਮਰੀ ਗੁੰਜਾਇਸ਼ ਵਾਲਾ ਰੂਟ ਚੁਣਾਂਗਾ।
flash-iq2 ਨਾਂ ਵਾਲੇ ਰੂਟ ਨੇ Flash Next IQ4 ਅਨੁਕੂਲਤਾ ਬੈਕਐਂਡ ਚਲਾਇਆ। ਇਸਦਾ ਨਾਂ IQ2 ਨਤੀਜਾ ਨਹੀਂ ਦੱਸਦਾ।
RTX 2000E Ada ਲੰਮਾ ਇਨਪੁੱਟ ਸੰਭਾਲਦਾ ਹੈ, ਪਰ ਮਾਡਲ ਚੋਣ ਉਡੀਕ ਬਦਲਦੀ ਹੈ
ਸਿਸਟਮ C ਉੱਤੇ Gemma 3 4B ਮੇਰਾ ਟੈਸਟ ਕੀਤਾ ਮਨਪਸੰਦ ਲੰਮੇ-ਇਨਪੁੱਟ ਰੂਟ ਹੈ। ਦੋ ਰਸਤਿਆਂ ਨੇ ਤਕਰੀਬਨ 88 ਸਕਿੰਟਾਂ ਵਿੱਚ 84K ਤੋਂ ਵੱਧ ਇਨਪੁੱਟ ਟੋਕਨ ਸੰਭਾਲੇ। ਵੱਡੇ ਮਾਡਲ ਰਸਤਿਆਂ ਨੇ ਵੀ ਲਾਹੇਵੰਦ ਸੰਭਾਲ ਜਾਂਚਾਂ ਪਾਸ ਕੀਤੀਆਂ, ਪਰ ਉਨ੍ਹਾਂ ਦੀਆਂ ਬੇਨਤੀਆਂ ਨੂੰ ਕਈ ਮਿੰਟ ਲੱਗੇ।
| ਸਿਸਟਮ | ਮਾਡਲ ਅਤੇ ਰਸਤਾ | ਇਨਪੁੱਟ ਟੋਕਨ | ਸਮਾਂ | ਨਤੀਜਾ |
|---|---|---|---|---|
| B | Qwen3.5 9B, ਗੇਟਵੇ | 72,265 | 263 s | ਦੋਵੇਂ ਸੈਂਟੀਨਲ ਸੰਭਾਲੇ, ਬਾਅਦਲੀ ਮਾਈਨਿੰਗ-ਵਾਪਸੀ ਜਾਂਚ ਪਾਸ ਕੀਤੀ |
| C | Gemma 3 4B, ਗੇਟਵੇ | 84,044 | 88.05 s | ਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸੰਭਾਲਿਆ |
| C | Gemma 3 4B, Aperture | 84,045 | 87.68 s | ਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸੰਭਾਲਿਆ |
| C | Gemma 4 12B-IT, ਗੇਟਵੇ | 67,254 | 263.07 s | ਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸੰਭਾਲਿਆ |
| C | Gemma 4 12B-IT, Aperture ਬਿਨਾਂ ਸਟ੍ਰੀਮ | 67,255 | 274.24 s | ਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸੰਭਾਲਿਆ |
| C | Gemma 4 12B-IT, Aperture ਸਟ੍ਰੀਮ | 67,255 | 282.16 s | ਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸੰਭਾਲਿਆ |
| C | Qwen3.5 9B, ਗੇਟਵੇ | 75,648 | 319.36 s | ਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸੰਭਾਲਿਆ, ਮਾਡਲ ਅਨਲੋਡ ਹੋਇਆ |
| C | GPT-OSS 20B, ਗੇਟਵੇ | 84,099 | 315.83 s | ਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸੰਭਾਲਿਆ, ਮਾਡਲ ਅਨਲੋਡ ਹੋਇਆ |
| D | Qwen3.5 9B, Aperture | 81,051 | 324.07 s | ਲੱਗੇ ਹੋਏ ਆਰਟੀਫ਼ੈਕਟ ਉੱਤੇ ਸੰਭਾਲ ਜਾਂਚ ਪਾਸ |
| D | Gemma 4 12B-IT, Aperture | 72,057 | 300.67 s | ਲੱਗੇ ਹੋਏ ਆਰਟੀਫ਼ੈਕਟ ਉੱਤੇ ਸੰਭਾਲ ਜਾਂਚ ਪਾਸ |
| D | GPT-OSS 20B, Aperture | 72,104 | 245.94 s | ਲੱਗੇ ਹੋਏ ਆਰਟੀਫ਼ੈਕਟ ਉੱਤੇ ਸੰਭਾਲ ਜਾਂਚ ਪਾਸ |
ਸਟ੍ਰੀਮਿੰਗ ਨੇ ਸਿਸਟਮ C ਉੱਤੇ Gemma 4 ਦੀ ਲੰਮੀ ਪ੍ਰੀਫ਼ਿਲ ਉਡੀਕ ਨਹੀਂ ਹਟਾਈ। ਪਹਿਲੀ ਸਟ੍ਰੀਮ ਕੀਤੀ ਸਮੱਗਰੀ 277.49 ਸਕਿੰਟਾਂ ਪਿੱਛੋਂ ਆਈ, ਜੋ ਬਿਨਾਂ ਸਟ੍ਰੀਮ ਵਾਲੇ 274.24 ਸਕਿੰਟ ਦੇ ਪੂਰੇ ਜਵਾਬ ਤੋਂ ਵੀ ਦੇਰ ਨਾਲ ਸੀ। ਪਹਿਲੀ ਬਿਨਾਂ-ਸਟ੍ਰੀਮ ਕੋਸ਼ਿਸ਼ ਦਾ ਸਮਾਂ ਮੁੱਕ ਗਿਆ, ਫਿਰ ਮੁੜ ਕੋਸ਼ਿਸ਼ ਸਫ਼ਲ ਹੋਈ। ਮੈਂ ਇਹ ਰਸਤਾ ਉਹਨਾਂ ਕੰਮਾਂ ਲਈ ਰੱਖਾਂਗਾ ਜਿਨ੍ਹਾਂ ਵਿੱਚ ਪਹਿਲੀ ਪ੍ਰਕਿਰਿਆ ਦੇ ਕਈ ਮਿੰਟ ਢੁੱਕਦੇ ਹੋਣ।
Gemma 3 4B ਇਹ ਵੀ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਹਰ ਟੈਸਟ ਕੀਤੇ ਸਿਸਟਮ ਲਈ ਯੋਗਤਾ ਵੱਖਰੀ ਕਿਉਂ ਹੋਣੀ ਚਾਹੀਦੀ ਹੈ। ਸਿਸਟਮ D ਦੋ 65K ਯਾਦ-ਟੈਸਟਾਂ ਵਿੱਚ ਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਲੱਭਣ ਤੋਂ ਖੁੰਝਿਆ, ਜਿਸ ਵਿੱਚ 67,252 ਇਨਪੁੱਟ ਟੋਕਨਾਂ ਨਾਲ ਤਾਪਮਾਨ-ਸਿਫ਼ਰ ਮੁੜ-ਟੈਸਟ ਵੀ ਸੀ। ਨਿਸ਼ਚਿਤ ਬੇਨਤੀ GPU ਪੂਰੀ ਤਰ੍ਹਾਂ ਰੈਜ਼ੀਡੈਂਟ ਹੋਣ ਦੇ ਬਾਵਜੂਦ 62.07 ਸਕਿੰਟਾਂ ਵਿੱਚ ਕੁਦਰਤੀ ਤੌਰ ਉੱਤੇ ਮੁੱਕੀ।
ਜਲਦੀ ਮੁੱਕਣਾ ਅਤੇ ਆਮ API ਜਵਾਬ ਸਹੀ ਉੱਤਰ ਦਾ ਸਬੂਤ ਨਹੀਂ। ਮੈਂ ਸਿਸਟਮ C ਦਾ ਕਾਮਯਾਬ ਰਸਤਾ ਵਰਤਾਂਗਾ ਅਤੇ ਸਿਸਟਮ D ਦੇ ਨਾਕਾਮ ਰਸਤੇ ਨੂੰ Hermes ਚੋਣ ਵਿੱਚੋਂ ਕੱਢਾਂਗਾ।
ਸੋਚਣ ਦਾ ਮੋਡ Qwen3.5 0.8B ਦੀ ਵਰਤੋਂ ਤੈਅ ਕਰਦਾ ਹੈ
ਸੋਚਣ ਦਾ ਮੋਡ ਬੰਦ ਕਰਨ ਮਗਰੋਂ Qwen3.5 0.8B ਸਿਸਟਮ C ਉੱਤੇ ਸੀਮਤ ਯਾਦ ਲਈ ਲਾਹੇਵੰਦ ਉਮੀਦਵਾਰ ਬਣਿਆ। ਛੋਟੇ Q8_0 ਮਾਡਲ ਨੇ ਗੇਟਵੇ ਰਾਹੀਂ 65.92 ਸਕਿੰਟਾਂ ਵਿੱਚ 75,649 ਇਨਪੁੱਟ ਟੋਕਨ ਸੰਭਾਲੇ। ਇਹ ਨਤੀਜਾ ਟੈਸਟ ਕੀਤੇ Q8_0 ਆਰਟੀਫ਼ੈਕਟ ਅਤੇ ਬਿਨਾਂ-ਸੋਚ ਰਸਤੇ ਦਾ ਹੈ, ਨਾ ਕਿ ਟੇਬਲ ਦੇ ਹੋਰ ਹਿੱਸੇ ਵਿੱਚ ਦਿੱਤੀਆਂ ਪੁਰਾਣੀਆਂ 16K-ਸੰਦਰਭ ਕੌਂਫ਼ਿਗਰੇਸ਼ਨਾਂ ਦਾ।
| ਸਿਸਟਮ C ਉੱਤੇ Qwen3.5 0.8B ਬੇਨਤੀ | ਇਨਪੁੱਟ ਟੋਕਨ | ਆਉਟਪੁੱਟ ਟੋਕਨ | ਸਮਾਂ | ਨਤੀਜਾ |
|---|---|---|---|---|
| ਮੂਲ ਸੋਚ, ਛੋਟੀ ਜਾਂਚ | 9,050 | 3,391 | 66.56 s | ਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸਹੀ |
| ਸੋਚ ਬੰਦ, ਮਿਲਦੀ-ਜੁਲਦੀ ਜਾਂਚ | 9,055 | 21 | 7.65 s | ਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸਹੀ, ਕੋਈ ਤਰਕ ਪਾਠ ਨਹੀਂ |
| ਮੂਲ ਸੋਚ, ਲੰਮੀ ਕੋਸ਼ਿਸ਼ | 600 s ਉੱਤੇ ਸਮਾਂ ਮੁੱਕਿਆ | ਜਵਾਬ ਪੂਰਾ ਨਹੀਂ ਹੋਇਆ | ||
| ਸੋਚ ਬੰਦ, ਨੈਟਿਵ Ollama | 75,656 | 22 | 69.80 s | ਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸਹੀ |
| ਬਿਨਾਂ ਸੋਚ ਵਾਲਾ OpenAI-ਅਨੁਕੂਲ ਅੰਤ-ਬਿੰਦੂ | 75,646 | 12 | 69.09 s | ਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸਹੀ |
| ਬਿਨਾਂ-ਸੋਚ ਮੋਡ ਲਾਗੂ ਕਰਨ ਵਾਲਾ ਬ੍ਰੋਕਰ | 75,647 | 13 | 66.83 s | ਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸਹੀ |
| ਸਿਸਟਮ A ਤੋਂ ਸਿਸਟਮ C ਤੱਕ LiteLLM | 75,649 | 15 | 65.92 s | ਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਸਹੀ |
ਮਿਲਦੀ-ਜੁਲਦੀ ਜਾਂਚ 66.56 ਤੋਂ ਘਟ ਕੇ 7.65 ਸਕਿੰਟਾਂ ਵਿੱਚ ਹੋਈ, ਤਕਰੀਬਨ 8.7 ਗੁਣਾ ਤੇਜ਼, ਜਦਕਿ ਤਿਆਰ ਆਉਟਪੁੱਟ 3,391 ਤੋਂ 21 ਟੋਕਨਾਂ ਤੱਕ ਘਟੀ। ਇਸੇ ਕਰਕੇ ਸਧਾਰਨ ਕੱਢਣ ਅਤੇ ਰੂਟਿੰਗ ਕੰਮਾਂ ਲਈ ਮੈਂ ਤਰਕ ਦਾ ਮੋਡ ਸਾਫ਼ ਤੌਰ ਉੱਤੇ ਸੈੱਟ ਕਰਾਂਗਾ। ਮੂਲ ਤਰਕ ਨੇ ਵੱਧਤਰ ਮਿਹਨਤ ਉਸ ਆਉਟਪੁੱਟ ਉੱਤੇ ਕੀਤੀ ਜਿਸਦੀ ਕੰਮ ਨੂੰ ਲੋੜ ਨਹੀਂ ਸੀ।
ਇੱਕ ਛੋਟੀ OpenAI-ਅਨੁਕੂਲ ਜਾਂਚ ਪਹਿਲਾਂ ਮਾਰਕਰ ਚੁੱਕ ਗਈ, ਪਰ ਤਾਪਮਾਨ-ਸਿਫ਼ਰ ਮੁੜ-ਕੋਸ਼ਿਸ਼ ਪਾਸ ਹੋਈ। ਕਾਮਯਾਬ ਰਸਤਾ ਜਾਂਚਾਂ ਨੇ ਆਉਟਪੁੱਟ ਹੱਦ ਤੋਂ ਬਿਨਾਂ ਬਿਨਾਂ-ਸੋਚ ਮੋਡ ਅਤੇ ਕੁਦਰਤੀ ਸਮਾਪਤੀ ਵਰਤੀ। ਤਿੰਨ ਹੋਰ ਗੇਟਵੇ ਛੋਟੇ ਮਾਰਕਰ ਵਾਲੀਆਂ ਬੇਨਤੀਆਂ 4.22, 4.37 ਅਤੇ 3.85 ਸਕਿੰਟਾਂ ਵਿੱਚ ਪਾਸ ਕਰ ਗਏ। ਉਹ ਜਾਂਚਾਂ ਰੂਟਿੰਗ ਸਾਬਤ ਕਰਦੀਆਂ ਹਨ, ਜਦਕਿ 75,649-ਟੋਕਨ ਬੇਨਤੀ ਗੇਟਵੇ ਰਾਹੀਂ ਲੰਮਾ ਇਨਪੁੱਟ ਸੰਭਾਲਣਾ ਸਾਬਤ ਕਰਦੀ ਹੈ।
ਸੀਮਤ ਯਾਦ ਅਤੇ ਜਾਣਕਾਰੀ ਕੱਢਣ ਲਈ ਮੈਂ ਇਸ ਰਸਤੇ ਨੂੰ ਅਜ਼ਮਾਵਾਂਗਾ। ਖੁੱਲ੍ਹੇ ਕਿਸਮ ਦੇ ਏਜੰਟ ਤਰਕ ਲਈ ਵੱਡਾ ਮਾਡਲ ਲਵਾਂਗਾ। ਇੱਕ ਬਣਾਵਟੀ ਮਾਰਕਰ ਲੱਭਣਾ ਯੋਜਨਾ, ਕੋਡਿੰਗ ਜਾਂ ਕਈ ਟੂਲਾਂ ਦਾ ਤਾਲਮੇਲ ਕਰਨ ਨਾਲੋਂ ਸੀਮਤ ਕੰਮ ਹੈ।
RTX 3060 Ti ਅਤੇ RTX 3070 ਸਿਸਟਮ Qwen3.5 2B ਅਤੇ 4B ਲਈ ਢੁੱਕਵੇਂ ਹਨ
8GB ਕਾਰਡਾਂ ਲਈ Qwen3.5 2B ਅਤੇ 4B ਮੇਰੀ ਵਰਤੋਂਯੋਗ ਸ਼ੁਰੂਆਤੀ ਚੋਣ ਹਨ। ਸਿਸਟਮ E, F ਅਤੇ G ਦੀਆਂ ਟੈਕਸਟ-ਸੰਦਰਭ ਬੇਨਤੀਆਂ 65,579 ਇਨਪੁੱਟ ਟੋਕਨਾਂ ਨਾਲ 30.343 ਤੋਂ 93.753 ਸਕਿੰਟਾਂ ਵਿੱਚ ਪਾਸ ਹੋਈਆਂ। ਟੈਸਟ ਕੀਤੇ 4B ਰਸਤਿਆਂ ਨੇ ਟੂਲ, ਸਟ੍ਰੀਮਿੰਗ ਅਤੇ ਤਸਵੀਰ ਜਾਂਚਾਂ ਵੀ ਪਾਸ ਕੀਤੀਆਂ।
ਸਿਸਟਮ E ਦੀ 4B ਵਿਜ਼ਨ-ਸੰਦਰਭ ਮੁੜ-ਜਾਂਚ ਨੇ 65,637 ਇਨਪੁੱਟ ਟੋਕਨਾਂ ਉੱਤੇ 44.88 ਸਕਿੰਟਾਂ ਵਿੱਚ ਦੋਵੇਂ ਮਾਰਕਰ ਅਤੇ ਤਸਵੀਰਾਂ ਦੇ ਰੰਗਾਂ ਦਾ ਕ੍ਰਮ ਸੰਭਾਲਿਆ। ਅੱਗੇ ਅਤੇ ਉਲਟੇ ਰੰਗ-ਕ੍ਰਮ ਵਾਲੀਆਂ ਬੇਨਤੀਆਂ ਵੀ ਪਾਸ ਹੋਈਆਂ। ਦੂਜੇ ਕਾਰਡ ਵਿੱਚ Xid 79 ਲਿੰਕ ਨੁਕਸ ਆਉਣ ਅਤੇ ਸਿਸਟਮ ਰੀਬੂਟ ਹੋਣ ਮਗਰੋਂ ਮੁੜ-ਜਾਂਚ ਇੱਕ ਠੀਕ ਕਾਰਡ ਉੱਤੇ ਹੋਈ।
| ਸਿਸਟਮ | Qwen3.5 2B ਟੈਕਸਟ ਸੰਦਰਭ | Qwen3.5 4B ਟੈਕਸਟ ਸੰਦਰਭ | Qwen3.5 4B ਵਿਜ਼ਨ ਸੰਦਰਭ |
|---|---|---|---|
| E, RTX 3060 Ti ਗਰੁੱਪ | 65,579 ਟੋਕਨ, 30.343 s | 65,579 ਟੋਕਨ, 53.787 s | 65,637 ਟੋਕਨ, 44.88 s |
| F, RTX 3060 Ti ਗਰੁੱਪ | 65,579 ਟੋਕਨ, 61.282 s | 65,579 ਟੋਕਨ, 93.753 s | 65,635 ਟੋਕਨ, 84.749 s |
| G, RTX 3070 ਗਰੁੱਪ | 65,579 ਟੋਕਨ, 76.731 s | 65,579 ਟੋਕਨ, 90.807 s | 65,635 ਟੋਕਨ, 87.496 s |
ਇਨ੍ਹਾਂ ਹਰ ਸਿਸਟਮ ਨੇ 29 ਕਾਮਯਾਬ ਜਾਂਚਾਂ ਦਰਜ ਕੀਤੀਆਂ। ਦੋ RTX 3060 Ti ਸਿਸਟਮਾਂ ਦੇ ਸਮੇਂ ਦਾ ਫ਼ਰਕ ਵੀ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਬੇਨਤੀ ਸਮਿਆਂ ਤੋਂ ਕਾਰਡਾਂ ਦੀ ਦਰਜਾਬੰਦੀ ਕਰਨ ਦੀ ਥਾਂ ਟੈਸਟ ਕੀਤਾ ਸਿਸਟਮ ਪ੍ਰੋਫ਼ਾਈਲ ਕਿਉਂ ਚੁਣਨਾ ਚਾਹੀਦਾ ਹੈ।
ਇਨਫ਼ਰੈਂਸ ਵਿੰਡੋ ਮਗਰੋਂ ਸਾਰੇ ਸੱਤ ਸਿਸਟਮ ਮਾਈਨਿੰਗ ਵੱਲ ਮੁੜੇ। ਸਿਸਟਮ B ਦੀ ਵੱਖਰੀ ਬੰਦ-ਮਗਰੋਂ ਮੁੜ-ਪ੍ਰਾਪਤੀ ਜਾਂਚ ਨਵੇਂ ਸਵੀਕਾਰ ਕੀਤੇ ਸ਼ੇਅਰਾਂ ਨਾਲ ਪਾਸ ਹੋਈ। ਸਿਸਟਮ E ਦਾ ਨੁਕਸਦਾਰ ਕਾਰਡ ਰੀਬੂਟ ਅਤੇ PCIe ਲਿੰਕ ਮਜ਼ਬੂਤ ਕਰਨ ਮਗਰੋਂ ਮੁੜ ਮਾਈਨਿੰਗ ਕਰਨ ਲੱਗਾ, ਪਰ AI ਗਰੁੱਪ ਤੋਂ ਬਾਹਰ ਰਿਹਾ। ਵਿੰਡੋ ਦੇ ਅੰਤ ਵਿੱਚ ਮਾਈਨਿੰਗ ਬਹਾਲ ਕਰਨਾ ਹਰ ਇਨਫ਼ਰੈਂਸ ਬੇਨਤੀ ਮਗਰੋਂ ਆਪਣੇ-ਆਪ ਵਾਪਸ ਜਾਣ ਨਾਲੋਂ ਵੱਖਰਾ ਨਤੀਜਾ ਹੈ।
ਮਾਡਲ ਲੋਡ ਹੋਣਾ ਉਸਨੂੰ ਯੋਗ ਨਹੀਂ ਬਣਾਉਂਦਾ
ਟੈਸਟ ਕੀਤੇ 65K Hermes ਵਿਕਲਪਾਂ ਵਿੱਚੋਂ ਮੈਂ DeepSeek Coder V2 16B ਕੱਢ ਦਿਆਂਗਾ। ਇਸਦੇ f16-ਕੈਸ਼ ਰਨ ਨੇ 50,477 ਇਨਪੁੱਟ ਟੋਕਨ ਸੰਭਾਲੇ, ਪਰ 65K-ਟੀਚਾ ਰਨ VRAM ਗਾਰਡ ਤੱਕ ਪਹੁੰਚਿਆ। Q4 ਅਤੇ Q8 ਕੈਸ਼ ਬਦਲਾਂ ਨੇ GPU ਉੱਤੇ ਵਜ਼ਨ ਲੋਡ ਕੀਤੇ, ਪਰ ਫਿਰ ਹੋਸਟ ਮੈਮਰੀ ਦੀਆਂ ਹੱਦਾਂ ਜਾਂ ਲੰਮੇ ਪ੍ਰੌਮਪਟ ਦੀ ਮਾੜੀ ਗਤੀ ਨੇ ਰੋਕਿਆ।
| DeepSeek Coder V2 ਕੈਸ਼ ਪ੍ਰੋਫ਼ਾਈਲ | ਰਨਟਾਈਮ ਸੰਦਰਭ | ਦੇਖਿਆ ਨਤੀਜਾ | ਮੇਰਾ ਮੁਲਾਂਕਣ |
|---|---|---|---|
| f16 | 81,920 | 50,477-ਟੋਕਨ ਯਾਦ ਪਾਸ, ਵੱਧ ਆਕਾਰ ਦੀ ਬੇਨਤੀ ਰੱਦ | ਛੋਟੇ ਸੰਦਰਭ ਦਾ ਲਾਹੇਵੰਦ ਨਤੀਜਾ |
| f16 | 73,728 | 65K-ਟੀਚਾ ਪ੍ਰੀਫ਼ਿਲ 15,802 MiB GPU ਵਰਤੋਂ ਉੱਤੇ ਰੁਕਿਆ | 65K ਲਈ ਯੋਗ ਨਹੀਂ |
| Q4_0 | 98,304 | ਕਾਬੂਵੀਂ ਰੋਕ ਤੋਂ ਪਹਿਲਾਂ ਲੰਮਾ ਪ੍ਰੀਫ਼ਿਲ 96.72 ਟੋਕਨ/ਸਕਿੰਟ ਤੱਕ ਡਿੱਗਿਆ | ਇਸ ਕੰਮ ਲਈ ਢੁੱਕਵਾਂ ਨਹੀਂ |
| Q8_0 | 77,824 | ਕਾਬੂਵੀਂ ਰੋਕ ਤੋਂ ਪਹਿਲਾਂ ਲੰਮਾ ਪ੍ਰੀਫ਼ਿਲ 120.12 ਟੋਕਨ/ਸਕਿੰਟ ਤੱਕ ਡਿੱਗਿਆ | ਇਸ ਕੰਮ ਲਈ ਢੁੱਕਵਾਂ ਨਹੀਂ |
| Q4_0 / Q8_0, ਵੱਡੇ ਪ੍ਰੋਫ਼ਾਈਲ | 163,840 / 98,304 | ਹੋਸਟ-ਮੈਮਰੀ ਗਾਰਡਾਂ ਨੇ ਟ੍ਰਾਇਲ ਰੋਕੇ | ਪੂਰੇ ਸਿਸਟਮ ਵਿੱਚ ਮੈਮਰੀ ਫਿੱਟ ਹੋਣੀ ਚਾਹੀਦੀ ਹੈ |
ਵਰਤੋਂਯੋਗ ਸਿੱਖਿਆ ਇਹ ਹੈ ਕਿ ਜਿਸ ਬੇਨਤੀ ਨੂੰ ਭੇਜਣਾ ਹੈ, ਉਸੇ ਦਾ ਬੈਂਚਮਾਰਕ ਕਰੋ। GPU ਰੈਜ਼ੀਡੈਂਸੀ, ਛੋਟਾ ਜਵਾਬ ਅਤੇ ਵੱਡਾ ਕੌਂਫ਼ਿਗਰ ਕੀਤਾ ਸੰਦਰਭ ਲਾਭਦਾਇਕ ਲੈਟੈਂਸੀ ਉੱਤੇ ਲੰਮਾ ਇਨਪੁੱਟ ਸੰਭਾਲਣ ਦਾ ਸਬੂਤ ਨਹੀਂ।
ਸਿਸਟਮ A ਉੱਤੇ ਰਸਤਾ-ਖ਼ਾਸ ਅਗਲੇ ਕੰਮ ਮਗਰੋਂ Granite 4.2 8B ਅਤੇ GPT-OSS 20B ਸੁਧਰੇ। Granite ਦੇ Q6_K ਰਸਤੇ ਨੇ ਸਿਫ਼ਰ ਕੈਸ਼ ਇਨਪੁੱਟ ਨਾਲ 88.636 ਸਕਿੰਟਾਂ ਵਿੱਚ 66,082 ਇਨਪੁੱਟ ਟੋਕਨ ਸੰਭਾਲੇ। ਬ੍ਰੋਕਰ ਠੀਕ ਕਰਨ ਮਗਰੋਂ GPT-OSS ਨੇ ਟੂਲ ਰਾਊਂਡ-ਟ੍ਰਿਪ ਪੂਰਾ ਕੀਤਾ, ਕਾਲ ਨੂੰ 9.854 ਸਕਿੰਟ ਅਤੇ ਅਗਲੇ ਜਵਾਬ ਨੂੰ 9.849 ਸਕਿੰਟ ਲੱਗੇ। ਮੈਂ ਇਹ ਕਾਮਯਾਬ ਰੂਟ ਜਾਂਚਾਂ ਪਹਿਲਾਂ ਦੀਆਂ ਅਧੂਰੀਆਂ ਕੋਸ਼ਿਸ਼ਾਂ ਤੋਂ ਵੱਖ ਰੱਖਾਂਗਾ।
ਪੂਰੇ ਬੈਂਚਮਾਰਕ ਨਤੀਜੇ
ਟੇਬਲ ਵਿੱਚ 59 ਮਾਡਲ ਅਤੇ ਸਿਸਟਮ ਜੋੜਾਂ ਉੱਤੇ 295 ਜਾਂਚਾਂ ਹਨ। ਮੈਟ੍ਰਿਕਸ 273 ਪਾਸ, ਯਾਦ ਦੀ ਇੱਕ ਨਾਕਾਮ ਜਾਂਚ ਅਤੇ ਸੱਤ ਅਧੂਰੇ, ਅਸੰਗਤ ਜਾਂ ਅਣਮਿਲਦੇ ਨਤੀਜੇ ਦਰਜ ਕਰਦਾ ਹੈ। ਚੌਦਾਂ ਜਾਂਚਾਂ 65K ਯੋਗਤਾ ਦੇ ਦਾਇਰੇ ਤੋਂ ਬਾਹਰ ਹਨ। ਹਰ ਕਤਾਰ ਮਾਪਿਆ ਨਤੀਜਾ ਦਿਖਾਉਂਦੀ ਹੈ।
ਮੇਰੀਆਂ ਸਿਫ਼ਾਰਸ਼ਾਂ ਪਾਸ ਹੋਏ ਰਸਤਿਆਂ ਅਤੇ ਕੰਮਾਂ ਲਈ ਹਨ। ਨਾਕਾਮ ਜਾਂ ਅਧੂਰੀ ਕਤਾਰ ਸੰਬੰਧਿਤ ਵਰਤਾਅ ਨੂੰ ਯੋਗ ਨਹੀਂ ਬਣਾਉਂਦੀ।
ਛੋਟੇ-ਸੰਦਰਭ ਅਤੇ ਐਮਬੈਡਿੰਗ ਪਾਸ ਆਪਣੇ ਕੰਮ ਲਈ ਹਨ। 16K ਜਾਂ 32K ਸੰਦਰਭ ਦਾ ਪਾਸ 65,536 ਇਨਪੁੱਟ-ਟੋਕਨ Hermes ਕੰਮ ਲਈ ਰਸਤੇ ਨੂੰ ਯੋਗ ਨਹੀਂ ਕਰਦਾ। ਇੱਥੇ ਮਾਡਲਾਂ ਦੇ ਨਾਂ ਰੂਟ ਲੇਬਲ ਹਨ। flash-iq2 ਲੇਬਲ IQ4 ਅਨੁਕੂਲਤਾ ਬੈਕਐਂਡ ਉੱਤੇ ਚੱਲਿਆ।
ਸਿਸਟਮ A ਦੀ Qwen3.5 35B ਸੰਦਰਭ ਕਤਾਰ ਉੱਪਰਲੀ ਲੜੀ ਦਾ ਆਖ਼ਰੀ ਸਾਂਝੇ-ਪ੍ਰੀਫ਼ਿਕਸ ਪੜਾਅ ਹੈ। ਪਲੱਸ ਨਿਸ਼ਾਨ ਵਾਲੇ ਟੂਲ ਸਮੇਂ ਕਾਲ ਅਤੇ ਅਗਲਾ ਜਵਾਬ ਵੱਖਰੇ ਦਿਖਾਉਂਦੇ ਹਨ।
ਕਨਕਰੰਸੀ ਕਤਾਰ ਵਿੱਚ ਕਤਾਰਬੱਧ ਦੋ ਬੇਨਤੀਆਂ ਦੇ ਸਮੇਂ ਹਨ। ਰੱਦਕਰਨ ਕਤਾਰ ਕਲਾਇੰਟ ਵੱਲੋਂ ਸਟ੍ਰੀਮ ਬੰਦ ਕਰਨ ਮਗਰੋਂ ਛੁੱਟਣ ਦਾ ਸਮਾਂ ਦਿਖਾਉਂਦੀ ਹੈ। ਹੋਰ ਸੰਦਰਭ ਲੜੀਆਂ ਅਤੇ Qwen3.5 0.8B ਰੂਟ ਤੁਲਨਾਵਾਂ ਉੱਪਰ ਆਪਣੇ ਟੇਬਲਾਂ ਵਿੱਚ ਹਨ।
ਸਿਸਟਮ A
| ਮਾਡਲ ਰੂਟ ਲੇਬਲ | ਜਾਂਚ | ਨਤੀਜਾ | ਇਨਪੁੱਟ ਟੋਕਨ | ਬੇਨਤੀ ਦਾ ਸਮਾਂ |
|---|---|---|---|---|
| bonsai-2-27b | context | ਪਾਸ | 65,621 | 88.746 s |
| bonsai-2-27b | quick | ਪਾਸ | 57 | 6.429 s |
| bonsai-2-27b | stream | ਪਾਸ | 9.371 s | |
| bonsai-2-27b | tools | ਪਾਸ | 10.478 s | |
| deepseek-coder-v2:16b | context | ਅਣਮਿਲਦਾ | 50,477 | |
| deepseek-coder-v2:16b | quick | ਪਾਸ | 77 | 43.239 s |
| flash-iq2 | context | ਪਾਸ | 66,007 | 213.25 s |
| flash-iq2 | quick | ਪਾਸ | 56.03 s | |
| flash-iq2 | stream | ਪਾਸ | 1.35 s | |
| flash-iq2 | tools | ਪਾਸ | 16.55 s | |
| gemma-4-12b-it | context | ਪਾਸ | 65,590 | 51.225 s |
| gemma-4-12b-it | quick | ਪਾਸ | 21 | 5.166 s |
| gemma-4-12b-it | stream | ਪਾਸ | 4.653 s | |
| gemma-4-12b-it | tools | ਪਾਸ | 18.72 s | |
| gemma-4-12b-it | vision | ਪਾਸ | 115 | 7.222 s |
| gemma-4-12b-it | vision_context | ਪਾਸ | 65,685 | 56.06 s |
| gemma-4-12b-it | vision_reverse | ਪਾਸ | 115 | 7.467 s |
| gemma-4-e4b-it | context | ਪਾਸ | 65,590 | 21.889 s |
| gemma-4-e4b-it | quick | ਪਾਸ | 21 | 17.919 s |
| gemma-4-e4b-it | stream | ਪਾਸ | 4.25 s | |
| gemma-4-e4b-it | tools | ਪਾਸ | 8.734 s | |
| gpt-oss-20b | context | ਪਾਸ | 65,637 | 159.155 s |
| gpt-oss-20b | quick | ਪਾਸ | 73 | 10.548 s |
| gpt-oss-20b | stream | ਪਾਸ | 20.594 s | |
| gpt-oss-20b | tools | ਪਾਸ | 9.854 + 9.849 s | |
| granite-4.2-3b | context | ਪਾਸ | 65,589 | 70.968 s |
| granite-4.2-3b | quick | ਪਾਸ | 20 | 4.009 s |
| granite-4.2-3b | stream | ਪਾਸ | 5.365 s | |
| granite-4.2-3b | tools | ਪਾਸ | 6.086 s | |
| granite-4.2-8b | context | ਪਾਸ | 66,082 | 88.636 s |
| granite-4.2-8b | quick | ਪਾਸ | 20 | 5.857 s |
| granite-4.2-8b | stream | ਪਾਸ | 11.826 s | |
| granite-4.2-8b | tools | ਪਾਸ | 11.852 s | |
| qwen27b | context | ਪਾਸ | 66,007 | 54.64 s |
| qwen27b | quick | ਪਾਸ | 57 | 31.5 s |
| qwen27b | stream | ਪਾਸ | 0.92 s | |
| qwen27b | tools | ਪਾਸ | 4.25 s | |
| qwen3-embedding-0.6b | context | ਪਾਸ | 32,767 | 7.736 s |
| qwen3-embedding-0.6b | quick | ਪਾਸ | 14 | 2.125 s |
| qwen3.5-0.8b | context | ਪਾਸ | 16,429 | 10.5 s |
| qwen3.5-0.8b | quick | ਪਾਸ | 17 | 14.316 s |
| qwen3.5-0.8b | stream | ਪਾਸ | 2.125 s | |
| qwen3.5-0.8b | tools | ਪਾਸ | 4.416 s | |
| qwen3.5-2b | context | ਪਾਸ | 65,581 | 11.175 s |
| qwen3.5-2b | quick | ਪਾਸ | 17 | 4.519 s |
| qwen3.5-2b | stream | ਪਾਸ | 3.736 s | |
| qwen3.5-2b | tools | ਪਾਸ | 5.046 s | |
| qwen3.5-4b | context | ਪਾਸ | 65,579 | 36.451 s |
| qwen3.5-4b | quick | ਪਾਸ | 15 | 19.935 s |
| qwen3.5-4b | stream | ਪਾਸ | 17.496 s | |
| qwen3.5-4b | tools | ਪਾਸ | 7.308 s | |
| qwen3.5-4b | vision | ਪਾਸ | 70 | 7.848 s |
| qwen3.5-4b | vision_context | ਪਾਸ | 65,635 | 28.24 s |
| qwen3.5-4b | vision_reverse | ਪਾਸ | 70 | 4.386 s |
| qwen3.5-9b | context | ਪਾਸ | 65,581 | 34.139 s |
| qwen3.5-9b | quick | ਪਾਸ | 17 | 3.88 s |
| qwen3.5-9b | stream | ਪਾਸ | 3.378 s | |
| qwen3.5-9b | tools | ਪਾਸ | 10.204 s | |
| qwen3.5-9b | vision | ਪਾਸ | 72 | 4.441 s |
| qwen3.5-9b | vision_context | ਪਾਸ | 65,637 | 33.745 s |
| qwen3.5-9b | vision_reverse | ਪਾਸ | 72 | 3.97 s |
| qwen3.5:35b-a3b-q4_K_M | cancellation | ਪਾਸ | 60.31 s | |
| qwen3.5:35b-a3b-q4_K_M | concurrency | ਪਾਸ | 26.23 / 25.33 s | |
| qwen3.5:35b-a3b-q4_K_M | context | ਪਾਸ | 248,279 | 54.215 s |
| qwen3.5:35b-a3b-q4_K_M | gateway | ਪਾਸ | 239,153 | 148.12 s |
| qwen3.5:35b-a3b-q4_K_M | quick | ਪਾਸ | 79 | 10.08 s |
| qwen3.5:35b-a3b-q4_K_M | stream | ਪਾਸ | 69,429 | 38.783 s |
| qwen3.5:35b-a3b-q4_K_M | tools | ਪਾਸ | 15.22 + 14.83 s | |
| qwen3.5:35b-a3b-q4_K_M | vision | ਪਾਸ | 18.39 s | |
| Qwen3.6-35B-A3B UD-Q4_K_XL | context | ਪਾਸ | 65,845 | 139.57 s |
| Qwen3.6-35B-A3B UD-Q4_K_XL | quick | ਪਾਸ | 15 | 3.97 s |
| Qwen3.6-35B-A3B UD-Q4_K_XL | stream | ਪਾਸ | 0.45 s | |
| Qwen3.6-35B-A3B UD-Q4_K_XL | tools | ਪਾਸ | 293 | 5.48 s |
| Qwen3.6-35B-A3B UD-Q4_K_XL | vision | ਪਾਸ | 38 | 0.59 s |
| Qwen3.8-Flash-Next UD-IQ4_XS | context | ਪਾਸ | 65,847 | 201.41 s |
| Qwen3.8-Flash-Next UD-IQ4_XS | quick | ਪਾਸ | 17 | 54.62 s |
| Qwen3.8-Flash-Next UD-IQ4_XS | stream | ਪਾਸ | 1.2 s | |
| Qwen3.8-Flash-Next UD-IQ4_XS | tools | ਪਾਸ | 22.18 s | |
| Qwen3.8-Flash-Next UD-IQ4_XS | vision | ਪਾਸ | 3.86 s |
ਸਿਸਟਮ B
| ਮਾਡਲ ਰੂਟ ਲੇਬਲ | ਜਾਂਚ | ਨਤੀਜਾ | ਇਨਪੁੱਟ ਟੋਕਨ | ਬੇਨਤੀ ਦਾ ਸਮਾਂ |
|---|---|---|---|---|
| gemma-4-12b-it | context | ਪਾਸ | 65,590 | 299.163 s |
| gemma-4-12b-it | quick | ਪਾਸ | 21 | 15.261 s |
| gemma-4-12b-it | stream | ਪਾਸ | 148.792 s | |
| gemma-4-12b-it | tools | ਪਾਸ | 34.124 s | |
| gemma-4-12b-it | vision | ਪਾਸ | 120 | 61.455 s |
| gemma-4-12b-it | vision_context | ਪਾਸ | 65,690 | 295.581 s |
| gemma-4-12b-it | vision_reverse | ਪਾਸ | 120 | 32.511 s |
| gemma3-4b | context | ਪਾਸ | 65,584 | 67.382 s |
| gemma3-4b | quick | ਪਾਸ | 15 | 6.329 s |
| gemma3-4b | stream | ਪਾਸ | 24.138 s | |
| gemma3-4b | vision | ਪਾਸ | 306 | 7.018 s |
| gemma3-4b | vision_context | ਪਾਸ | 65,876 | 70.912 s |
| gemma3-4b | vision_reverse | ਪਾਸ | 306 | 5.762 s |
| gpt-oss-20b | context | ਪਾਸ | 65,637 | 206.767 s |
| gpt-oss-20b | quick | ਪਾਸ | 72 | 16.583 s |
| gpt-oss-20b | stream | ਪਾਸ | 32.075 s | |
| gpt-oss-20b | tools | ਪਾਸ | 28.102 s | |
| nomic-embed-text | context | ਅਧੂਰਾ | 2,048 | |
| nomic-embed-text | quick | ਪਾਸ | 7.117 s | |
| qwen3-14b | context | ਅਧੂਰਾ | 1800.09 s | |
| qwen3-14b | quick | ਪਾਸ | 15 | 37.199 s |
| qwen3-14b | stream | ਪਾਸ | 35.471 s | |
| qwen3-14b | tools | ਪਾਸ | 87.554 s | |
| qwen3-8b | context | 65K ਤੋਂ ਹੇਠਾਂ, ਬਾਹਰ | ||
| qwen3-8b | quick | 65K ਤੋਂ ਹੇਠਾਂ, ਪਾਸ | 15 | 21.059 s |
| qwen3-8b | stream | 65K ਤੋਂ ਹੇਠਾਂ, ਬਾਹਰ | ||
| qwen3-8b | tools | 65K ਤੋਂ ਹੇਠਾਂ, ਬਾਹਰ | ||
| qwen3.5-9b | context | ਪਾਸ | 65,579 | 282.796 s |
| qwen3.5-9b | litellm_long_route | ਪਾਸ | 72,265 | 263 s |
| qwen3.5-9b | post_external_stop_mining | ਪਾਸ | ||
| qwen3.5-9b | quick | ਪਾਸ | 15 | 25.881 s |
| qwen3.5-9b | stream | ਪਾਸ | 143.44 s | |
| qwen3.5-9b | tools | ਪਾਸ | 31.812 s | |
| qwen3.5-9b | vision | ਪਾਸ | 75 | 32.015 s |
| qwen3.5-9b | vision_context | ਪਾਸ | 65,640 | 396.288 s |
| qwen3.5-9b | vision_reverse | ਪਾਸ | 75 | 28.626 s |
ਸਿਸਟਮ C
| ਮਾਡਲ ਰੂਟ ਲੇਬਲ | ਜਾਂਚ | ਨਤੀਜਾ | ਇਨਪੁੱਟ ਟੋਕਨ | ਬੇਨਤੀ ਦਾ ਸਮਾਂ |
|---|---|---|---|---|
| gemma-4-12b-it | aperture_context | ਪਾਸ | 67,255 | 274.24 s |
| gemma-4-12b-it | aperture_short | ਪਾਸ | 35 | 39.32 s |
| gemma-4-12b-it | aperture_stream_context | ਪਾਸ | 67,255 | 282.16 s |
| gemma-4-12b-it | context | ਪਾਸ | 65,670 | 313.661 s |
| gemma-4-12b-it | gateway_context | ਪਾਸ | 67,254 | 263.07 s |
| gemma-4-12b-it | gateway_short | ਪਾਸ | 27 | 20.98 s |
| gemma-4-12b-it | quick | ਪਾਸ | 21 | 16.447 s |
| gemma-4-12b-it | stream | ਪਾਸ | 15.175 s | |
| gemma-4-12b-it | tools | ਪਾਸ | 37.821 s | |
| gemma-4-12b-it | vision | ਪਾਸ | 120 | 58.52 s |
| gemma-4-12b-it | vision_context | ਪਾਸ | 65,690 | 308.759 s |
| gemma-4-12b-it | vision_reverse | ਪਾਸ | 120 | 31.25 s |
| gemma3-4b | aperture_context | ਪਾਸ | 84,045 | 87.68 s |
| gemma3-4b | aperture_after_system_d_route_change | ਪਾਸ | 24 | 5.42 s |
| gemma3-4b | aperture_short | ਪਾਸ | 22 | 5.45 s |
| gemma3-4b | aperture_stream | ਪਾਸ | 3.72 s | |
| gemma3-4b | context | ਪਾਸ | 65,664 | 67.543 s |
| gemma3-4b | gateway_context | ਪਾਸ | 84,044 | 88.05 s |
| gemma3-4b | gateway_short_via_system_a | ਪਾਸ | 3.16 s | |
| gemma3-4b | gateway_short_via_system_e | ਪਾਸ | ||
| gemma3-4b | gateway_short_via_system_f | ਪਾਸ | 4.15 s | |
| gemma3-4b | gateway_short_via_system_g | ਪਾਸ | 6.06 s | |
| gemma3-4b | quick | ਪਾਸ | 15 | 5.163 s |
| gemma3-4b | stream | ਪਾਸ | 24.691 s | |
| gemma3-4b | vision | ਪਾਸ | 306 | 7.318 s |
| gemma3-4b | vision_context | ਪਾਸ | 65,876 | 72.476 s |
| gemma3-4b | vision_reverse | ਪਾਸ | 306 | 5.831 s |
| gpt-oss-20b | context | ਪਾਸ | 65,716 | 216.594 s |
| gpt-oss-20b | gateway_context | ਪਾਸ | 84,099 | 315.83 s |
| gpt-oss-20b | gateway_short | ਅਸੰਗਤ | ||
| gpt-oss-20b | quick | ਪਾਸ | 72 | 21.603 s |
| gpt-oss-20b | stream | ਪਾਸ | 31.957 s | |
| gpt-oss-20b | tools | ਪਾਸ | 26.096 s | |
| nomic-embed-text | context | 65K ਤੋਂ ਹੇਠਾਂ, ਅਧੂਰਾ | 2,048 | |
| nomic-embed-text | quick | 65K ਤੋਂ ਹੇਠਾਂ, ਪਾਸ | 4.178 s | |
| qwen3-14b | context | 65K ਤੋਂ ਹੇਠਾਂ, ਅਧੂਰਾ | 1800.06 s | |
| qwen3-14b | quick | 65K ਤੋਂ ਹੇਠਾਂ, ਪਾਸ | 15 | 35.809 s |
| qwen3-14b | stream | 65K ਤੋਂ ਹੇਠਾਂ, ਪਾਸ | 35.43 s | |
| qwen3-14b | tools | 65K ਤੋਂ ਹੇਠਾਂ, ਪਾਸ | 87.723 s | |
| qwen3-8b | context | 65K ਤੋਂ ਹੇਠਾਂ, ਬਾਹਰ | ||
| qwen3-8b | quick | 65K ਤੋਂ ਹੇਠਾਂ, ਪਾਸ | 15 | 21.293 s |
| qwen3-8b | stream | 65K ਤੋਂ ਹੇਠਾਂ, ਅਧੂਰਾ | 900.01 s | |
| qwen3-8b | tools | 65K ਤੋਂ ਹੇਠਾਂ, ਬਾਹਰ | ||
| qwen3.5-9b | context | ਪਾਸ | 65,662 | 287.984 s |
| qwen3.5-9b | gateway_context | ਪਾਸ | 75,648 | 319.36 s |
| qwen3.5-9b | gateway_short | ਪਾਸ | 21 | 72.14 s |
| qwen3.5-9b | quick | ਪਾਸ | 15 | 24.635 s |
| qwen3.5-9b | stream | ਪਾਸ | 143.157 s | |
| qwen3.5-9b | tools | ਪਾਸ | 30.395 s | |
| qwen3.5-9b | vision | ਪਾਸ | 75 | 27.756 s |
| qwen3.5-9b | vision_context | ਪਾਸ | 65,640 | 398.797 s |
| qwen3.5-9b | vision_reverse | ਪਾਸ | 75 | 28.645 s |
ਸਿਸਟਮ D
| ਮਾਡਲ ਰੂਟ ਲੇਬਲ | ਜਾਂਚ | ਨਤੀਜਾ | ਇਨਪੁੱਟ ਟੋਕਨ | ਬੇਨਤੀ ਦਾ ਸਮਾਂ |
|---|---|---|---|---|
| gemma-4-12b-it | context | ਪਾਸ | 65,590 | 275.395 s |
| gemma-4-12b-it | exact_digest_aperture_65k | ਪਾਸ | 72,057 | 300.67 s |
| gemma-4-12b-it | exact_digest_broker_short | ਪਾਸ | 34 | 30.74 s |
| gemma-4-12b-it | quick | ਪਾਸ | 21 | 15.05 s |
| gemma-4-12b-it | stream | ਪਾਸ | 14.722 s | |
| gemma-4-12b-it | tools | ਪਾਸ | 33.869 s | |
| gemma-4-12b-it | vision | ਪਾਸ | 120 | 56.315 s |
| gemma-4-12b-it | vision_context | ਪਾਸ | 65,690 | 282.174 s |
| gemma-4-12b-it | vision_reverse | ਪਾਸ | 120 | 29.978 s |
| gemma3-4b | context | ਪਾਸ | 65,584 | 63.564 s |
| gemma3-4b | exact_digest_65k_recall | ਨਾਕਾਮ | 67,252 | 62.07 s |
| gemma3-4b | quick | ਪਾਸ | 15 | 5.151 s |
| gemma3-4b | stream | ਪਾਸ | 22.552 s | |
| gemma3-4b | vision | ਪਾਸ | 306 | 8.276 s |
| gemma3-4b | vision_context | ਪਾਸ | 65,876 | 67.575 s |
| gemma3-4b | vision_reverse | ਪਾਸ | 306 | 5.651 s |
| gpt-oss-20b | context | ਪਾਸ | 65,637 | 189.07 s |
| gpt-oss-20b | exact_digest_aperture_65k | ਪਾਸ | 72,104 | 245.94 s |
| gpt-oss-20b | exact_digest_broker_short | ਪਾਸ | 84 | 15.96 s |
| gpt-oss-20b | quick | ਪਾਸ | 72 | 15.431 s |
| gpt-oss-20b | stream | ਪਾਸ | 31.052 s | |
| gpt-oss-20b | tools | ਪਾਸ | 23.65 s | |
| nomic-embed-text | context | ਅਧੂਰਾ | 2,048 | |
| nomic-embed-text | quick | ਪਾਸ | 2.798 s | |
| qwen3-14b | context | ਅਧੂਰਾ | 40,939 | 872.209 s |
| qwen3-14b | quick | ਪਾਸ | 15 | 36.021 s |
| qwen3-14b | stream | ਪਾਸ | 33.491 s | |
| qwen3-14b | tools | ਪਾਸ | 82.471 s | |
| qwen3-8b | context | ਅਧੂਰਾ | 1800.07 s | |
| qwen3-8b | quick | ਪਾਸ | 15 | 19.283 s |
| qwen3-8b | stream | ਪਾਸ | 19.401 s | |
| qwen3-8b | tools | ਪਾਸ | 65.054 s | |
| qwen3.5-9b | context | ਪਾਸ | 65,579 | 258.048 s |
| qwen3.5-9b | exact_digest_aperture_65k | ਪਾਸ | 81,051 | 324.07 s |
| qwen3.5-9b | exact_digest_broker_short | ਪਾਸ | 29 | 94.48 s |
| qwen3.5-9b | quick | ਪਾਸ | 15 | 27.16 s |
| qwen3.5-9b | stream | ਪਾਸ | 28.62 s | |
| qwen3.5-9b | tools | ਪਾਸ | 28.129 s | |
| qwen3.5-9b | vision | ਪਾਸ | 75 | 25.047 s |
| qwen3.5-9b | vision_context | ਪਾਸ | 65,640 | 369.477 s |
| qwen3.5-9b | vision_reverse | ਪਾਸ | 75 | 27.602 s |
ਸਿਸਟਮ E
| ਮਾਡਲ ਰੂਟ ਲੇਬਲ | ਜਾਂਚ | ਨਤੀਜਾ | ਇਨਪੁੱਟ ਟੋਕਨ | ਬੇਨਤੀ ਦਾ ਸਮਾਂ |
|---|---|---|---|---|
| gemma-4-e4b-it | context | ਪਾਸ | 65,590 | 49.086 s |
| gemma-4-e4b-it | quick | ਪਾਸ | 21 | 23.911 s |
| gemma-4-e4b-it | stream | ਪਾਸ | 28.136 s | |
| gemma-4-e4b-it | tools | ਪਾਸ | 56.756 s | |
| granite-4.0-h-tiny | context | ਪਾਸ | 65,566 | |
| granite-4.0-h-tiny | quick | ਪਾਸ | 35 | 10.408 s |
| granite-4.0-h-tiny | stream | ਪਾਸ | 27.798 s | |
| granite-4.0-h-tiny | tools | ਪਾਸ | 43.304 s | |
| granite-4.2-3b | context | ਪਾਸ | 65,589 | 1014.03 s |
| granite-4.2-3b | quick | ਪਾਸ | 20 | 14.569 s |
| granite-4.2-3b | stream | ਪਾਸ | 6.948 s | |
| granite-4.2-3b | tools | ਪਾਸ | 56.376 s | |
| qwen3-embedding-0.6b | context | ਪਾਸ | 32,767 | 20.387 s |
| qwen3-embedding-0.6b | quick | ਪਾਸ | 14 | 9.592 s |
| qwen3.5-0.8b | context | ਪਾਸ | 16,429 | 9.128 s |
| qwen3.5-0.8b | quick | ਪਾਸ | 17 | 452.417 s |
| qwen3.5-0.8b | stream | ਪਾਸ | 11.163 s | |
| qwen3.5-0.8b | tools | ਪਾਸ | 39.214 s | |
| qwen3.5-2b | context | ਪਾਸ | 65,579 | 30.343 s |
| qwen3.5-2b | quick | ਪਾਸ | 15 | 12.509 s |
| qwen3.5-2b | stream | ਪਾਸ | 26.165 s | |
| qwen3.5-2b | tools | ਪਾਸ | 42.056 s | |
| qwen3.5-4b | context | ਪਾਸ | 65,579 | 53.787 s |
| qwen3.5-4b | quick | ਪਾਸ | 15 | 26.736 s |
| qwen3.5-4b | stream | ਪਾਸ | 26.02 s | |
| qwen3.5-4b | tools | ਪਾਸ | 57.293 s | |
| qwen3.5-4b | vision | ਪਾਸ | 72 | 10.09 s |
| qwen3.5-4b | vision_context | ਪਾਸ | 65,637 | 44.88 s |
| qwen3.5-4b | vision_reverse | ਪਾਸ | 72 | 9.96 s |
ਸਿਸਟਮ F
| ਮਾਡਲ ਰੂਟ ਲੇਬਲ | ਜਾਂਚ | ਨਤੀਜਾ | ਇਨਪੁੱਟ ਟੋਕਨ | ਬੇਨਤੀ ਦਾ ਸਮਾਂ |
|---|---|---|---|---|
| gemma-4-e4b-it | context | ਪਾਸ | 65,590 | 98.443 s |
| gemma-4-e4b-it | quick | ਪਾਸ | 21 | 27.51 s |
| gemma-4-e4b-it | stream | ਪਾਸ | 28.042 s | |
| gemma-4-e4b-it | tools | ਪਾਸ | 73.891 s | |
| granite-4.0-h-tiny | context | ਪਾਸ | 65,599 | 19.692 s |
| granite-4.0-h-tiny | quick | ਪਾਸ | 35 | 43.818 s |
| granite-4.0-h-tiny | stream | ਪਾਸ | 27.296 s | |
| granite-4.0-h-tiny | tools | ਪਾਸ | 75.377 s | |
| granite-4.2-3b | context | ਪਾਸ | 65,589 | 145.179 s |
| granite-4.2-3b | quick | ਪਾਸ | 20 | 15.703 s |
| granite-4.2-3b | stream | ਪਾਸ | 35.482 s | |
| granite-4.2-3b | tools | ਪਾਸ | 52.539 s | |
| qwen3-embedding-0.6b | context | ਪਾਸ | 32,767 | 20.656 s |
| qwen3-embedding-0.6b | quick | ਪਾਸ | 14 | 8.122 s |
| qwen3.5-0.8b | context | ਪਾਸ | 16,429 | 13.326 s |
| qwen3.5-0.8b | quick | ਪਾਸ | 17 | 445.22 s |
| qwen3.5-0.8b | stream | ਪਾਸ | 13.266 s | |
| qwen3.5-0.8b | tools | ਪਾਸ | 40.825 s | |
| qwen3.5-2b | context | ਪਾਸ | 65,579 | 61.282 s |
| qwen3.5-2b | quick | ਪਾਸ | 15 | 16.738 s |
| qwen3.5-2b | stream | ਪਾਸ | 25.29 s | |
| qwen3.5-2b | tools | ਪਾਸ | 47.444 s | |
| qwen3.5-4b | context | ਪਾਸ | 65,579 | 93.753 s |
| qwen3.5-4b | quick | ਪਾਸ | 15 | 33.039 s |
| qwen3.5-4b | stream | ਪਾਸ | 25.658 s | |
| qwen3.5-4b | tools | ਪਾਸ | 71.731 s | |
| qwen3.5-4b | vision | ਪਾਸ | 70 | 43.053 s |
| qwen3.5-4b | vision_context | ਪਾਸ | 65,635 | 84.749 s |
| qwen3.5-4b | vision_reverse | ਪਾਸ | 70 | 27.518 s |
ਸਿਸਟਮ G
| ਮਾਡਲ ਰੂਟ ਲੇਬਲ | ਜਾਂਚ | ਨਤੀਜਾ | ਇਨਪੁੱਟ ਟੋਕਨ | ਬੇਨਤੀ ਦਾ ਸਮਾਂ |
|---|---|---|---|---|
| gemma-4-e4b-it | context | ਪਾਸ | 65,590 | 92.696 s |
| gemma-4-e4b-it | quick | ਪਾਸ | 21 | 38.329 s |
| gemma-4-e4b-it | stream | ਪਾਸ | 43.549 s | |
| gemma-4-e4b-it | tools | ਪਾਸ | 66.616 s | |
| granite-4.0-h-tiny | context | ਪਾਸ | 65,599 | 69.777 s |
| granite-4.0-h-tiny | quick | ਪਾਸ | 35 | 33.17 s |
| granite-4.0-h-tiny | stream | ਪਾਸ | 31.751 s | |
| granite-4.0-h-tiny | tools | ਪਾਸ | 63.338 s | |
| granite-4.2-3b | context | ਪਾਸ | 65,589 | 100.849 s |
| granite-4.2-3b | quick | ਪਾਸ | 20 | 23.355 s |
| granite-4.2-3b | stream | ਪਾਸ | 28.75 s | |
| granite-4.2-3b | tools | ਪਾਸ | 44.226 s | |
| qwen3-embedding-0.6b | context | ਪਾਸ | 32,767 | 23.055 s |
| qwen3-embedding-0.6b | quick | ਪਾਸ | 14 | 8.924 s |
| qwen3.5-0.8b | context | ਪਾਸ | 16,429 | 16.74 s |
| qwen3.5-0.8b | quick | ਪਾਸ | 17 | 504.813 s |
| qwen3.5-0.8b | stream | ਪਾਸ | 15.095 s | |
| qwen3.5-0.8b | tools | ਪਾਸ | 36.672 s | |
| qwen3.5-2b | context | ਪਾਸ | 65,579 | 76.731 s |
| qwen3.5-2b | quick | ਪਾਸ | 15 | 20.949 s |
| qwen3.5-2b | stream | ਪਾਸ | 25.194 s | |
| qwen3.5-2b | tools | ਪਾਸ | 37.552 s | |
| qwen3.5-4b | context | ਪਾਸ | 65,579 | 90.807 s |
| qwen3.5-4b | quick | ਪਾਸ | 15 | 41.84 s |
| qwen3.5-4b | stream | ਪਾਸ | 40.812 s | |
| qwen3.5-4b | tools | ਪਾਸ | 54.999 s | |
| qwen3.5-4b | vision | ਪਾਸ | 70 | 29.619 s |
| qwen3.5-4b | vision_context | ਪਾਸ | 65,635 | 87.496 s |
| qwen3.5-4b | vision_reverse | ਪਾਸ | 70 | 26.283 s |
ਮੈਂ Hermes ਦੀ ਯੋਗਤਾ ਕਿਵੇਂ ਟੈਸਟ ਕੀਤੀ
ਮੈਂ ਲੰਮੇ ਪ੍ਰੌਮਪਟ ਦੇ ਸ਼ੁਰੂ ਨੇੜੇ ਬਣਾਵਟੀ ਮਾਰਕਰ ਰੱਖਿਆ ਅਤੇ ਫ਼ਿਲਰ ਪਾਠ ਮਗਰੋਂ ਉਹੀ ਮਾਰਕਰ ਮੰਗਿਆ। ਜਵਾਬ ਵਿੱਚ ਉਮੀਦ ਵਾਲੀ ਕੀਮਤ ਆਉਣੀ ਲਾਜ਼ਮੀ ਸੀ। ਸਰਵਰ ਵੱਲੋਂ ਦੱਸੇ ਇਨਪੁੱਟ ਟੋਕਨਾਂ ਨੇ ਬੇਨਤੀ ਦਾ ਆਕਾਰ ਤੈਅ ਕੀਤਾ। ਵੱਡੇ ਪ੍ਰੌਮਪਟ ਮਗਰੋਂ ਆਮ ਜਵਾਬ ਦੇਣ ਵਾਲਾ ਮਾਡਲ ਵੀ ਫੇਲ੍ਹ ਸੀ ਜੇ ਸ਼ੁਰੂਆਤੀ ਮਾਰਕਰ ਗਲਤ ਸੀ।
Qwen3.5 35B ਲੜੀ ਨੇ ਨੰਬਰ ਵਾਲੇ ਫ਼ਿਲਰ ਰਿਕਾਰਡ, ਤਾਪਮਾਨ 0 ਅਤੇ 3,800, 6,800, 10,000 ਤੇ 13,600 ਰਿਕਾਰਡਾਂ ਦੀਆਂ ਵਧਦੀਆਂ ਲੰਬਾਈਆਂ ਵਰਤੀਆਂ। ਉਨ੍ਹਾਂ ਪੜਾਵਾਂ ਨੇ 69,429, 124,179, 182,579 ਅਤੇ 248,279 ਪ੍ਰੌਮਪਟ ਟੋਕਨ ਵਾਪਸ ਕੀਤੇ। ਪੜਾਵਾਂ ਦੇ ਵਿਚਕਾਰ ਮਾਡਲ ਲੋਡ ਰਿਹਾ, ਜਿਸ ਨਾਲ ਪ੍ਰੀਫ਼ਿਕਸ ਮੁੜ ਵਰਤਿਆ ਗਿਆ। ਵੱਖਰੀਆਂ Qwen3.6 ਹੱਦ-ਨੇੜੇ ਜਾਂਚਾਂ ਨੇ ਕੈਸ਼ ਕੀਤੇ ਟੋਕਨ ਸਿਫ਼ਰ ਦੱਸੇ।
0.8B ਦੇ ਲੰਮੇ ਪ੍ਰੌਮਪਟ ਨੇ ਸ਼ੁਰੂਆਤੀ ਜਵਾਬ-ਕੁੰਜੀ ਅਤੇ ਆਖ਼ਰੀ ਯਾਦ-ਸਵਾਲ ਵਿਚਕਾਰ river stone lantern orchard circuit velvet compass marble 8,400 ਵਾਰ ਦੁਹਰਾਇਆ। ਨੈਟਿਵ ਰਨ ਨੇ think:false, num_ctx:131072, stream:false ਅਤੇ keep_alive:0 ਭੇਜੇ। OpenAI-ਅਨੁਕੂਲ ਰਸਤੇ ਨੇ reasoning_effort:"none" ਵਰਤਿਆ। ਬ੍ਰੋਕਰ ਨੇ ਆਪਣੇ ਰੂਟ ਲਈ ਬਿਨਾਂ-ਸੋਚ ਮੋਡ ਲਾਗੂ ਕੀਤਾ, ਇਸ ਲਈ ਗੇਟਵੇ ਵਰਤਣ ਵਾਲੇ ਨੂੰ ਕਲਾਇੰਟ ਪਾਸੇ ਬਦਲਾਅ ਦੀ ਲੋੜ ਨਹੀਂ ਸੀ।
ਟੂਲ, ਵਿਜ਼ਨ ਅਤੇ ਛੱਡਣ ਦੀਆਂ ਜਾਂਚਾਂ
ਟੂਲ ਟੈਸਟਾਂ ਨੇ ਬੇਨਤੀ ਅਤੇ ਟੂਲ ਦਾ ਨਤੀਜਾ ਵਾਪਸ ਆਉਣ ਮਗਰੋਂ ਜਵਾਬ ਜਾਂਚਿਆ। ਇੱਕ ਸੌਖੇ ਟੈਸਟ ਨੇ add_numbers(7, 11) ਵਰਤਿਆ ਅਤੇ 18 ਦੀ ਉਮੀਦ ਰੱਖੀ। Qwen3.5 35B ਟੈਸਟ ਨੇ lookup_square ਵਰਤਿਆ ਅਤੇ 49 ਦੀ ਉਮੀਦ ਕੀਤੀ। GPT-OSS ਨੇ ਸਟਾਕ ਦੀ ਖੋਜ ਕੀਤੀ ਅਤੇ ਵਾਪਸ ਆਏ ਸਟਾਕ ਨਤੀਜੇ ਨੂੰ ਜਵਾਬ ਵਿੱਚ ਸ਼ਾਮਲ ਕਰਨਾ ਸੀ।
ਵਿਜ਼ਨ ਜਾਂਚਾਂ ਨੇ ਲਾਲ ਅਤੇ ਨੀਲੀਆਂ ਤਸਵੀਰਾਂ ਬਾਰੇ ਸਵਾਲ, ਤਸਵੀਰਾਂ ਦਾ ਉਲਟ ਕ੍ਰਮ ਅਤੇ ਲੰਮੇ ਪ੍ਰੌਮਪਟ ਵਿੱਚ ਤਸਵੀਰਾਂ ਦੇ ਰੰਗਾਂ ਨਾਲ ਸ਼ੁਰੂਆਤੀ ਤੇ ਆਖ਼ਰੀ ਮਾਰਕਰ ਵਰਤੇ। Qwen3.5 35B ਟੈਸਟ ਨੇ 256 × 256 ਲਾਲ PNG ਵਰਤੀ। ਬੇਨਤੀ ਪਾਸ ਹੋਣ ਤੋਂ ਪਹਿਲਾਂ ਬ੍ਰੋਕਰ ਵਿੱਚ ਤਸਵੀਰ-ਸਮੱਗਰੀ ਬਦਲਣ ਦੀ ਗੜਬੜ ਠੀਕ ਕਰਨੀ ਪਈ। ਸਿਸਟਮ E ਦੇ ਲੰਮੇ 4B ਵਿਜ਼ਨ ਟੈਸਟ ਵਿੱਚ ਇਨਪੁੱਟ ਵਿੱਚ ਦੋਵੇਂ ਮਾਰਕਰ ਅਤੇ ਰੰਗਾਂ ਦਾ ਕ੍ਰਮ ਕਾਇਮ ਰਹਿਣਾ ਲਾਜ਼ਮੀ ਸੀ।
ਲੰਮੇ ਰਨਾਂ ਦੇ ਦੌਰਾਨ ਅਤੇ ਆਲੇ-ਦੁਆਲੇ ਮੈਂ GPU ਮੈਮਰੀ, ਮਾਡਲ ਰੈਜ਼ੀਡੈਂਸੀ, ਤਾਪਮਾਨ, ਹੋਸਟ-ਮੈਮਰੀ ਦਬਾਅ, OOM ਘਟਨਾਵਾਂ ਅਤੇ GPU ਨੁਕਸ ਜਾਂਚੇ। Qwen3.5 35B ਗਾਰਡ ਨੇ ਕਾਬੂਵੀਂ ਰੁਕਾਵਟ ਮਗਰੋਂ ਛੱਡਣਾ ਵੀ ਵੇਖਿਆ। ਬਾਅਦ ਦੀਆਂ ਕਲਾਇੰਟ-ਰੱਦਕਰਨ ਅਤੇ ਕਤਾਰਬੱਧ ਬੇਨਤੀਆਂ ਨੇ ਬ੍ਰੋਕਰ ਰਸਤਾ ਪਰਖਿਆ। ਕਤਾਰ ਵਿੱਚ ਦੋ ਬੇਨਤੀਆਂ ਟੈਸਟ ਕੀਤੇ ਭਾਰ ਹੇਠ ਬੇਨਤੀ ਸੰਭਾਲਣ ਦਾ ਸਬੂਤ ਹਨ, ਦੋ ਵੱਖਰੇ ਇਕੱਠੇ GPU ਬੈਕਐਂਡਾਂ ਦਾ ਨਹੀਂ।
ਕਾਰਗੁਜ਼ਾਰੀ ਨਤੀਜੇ ਪੜ੍ਹਨਾ
ਬੇਨਤੀ ਸਮੇਂ ਵਿੱਚ ਲੰਮੇ-ਇਨਪੁੱਟ ਪ੍ਰੀਫ਼ਿਲ ਅਤੇ ਵਾਪਸ ਆਇਆ ਜਵਾਬ ਸ਼ਾਮਲ ਹੈ। ਇਹ ਪ੍ਰਤੀ ਸਕਿੰਟ ਬਣੇ ਟੋਕਨਾਂ ਦੀ ਗਿਣਤੀ ਨਹੀਂ। ਸਟ੍ਰੀਮਿੰਗ ਵਿੱਚ ਪਹਿਲੀ ਸਮੱਗਰੀ ਦੇ ਆਉਣ ਤੱਕ ਦਾ ਸਮਾਂ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ, ਅਤੇ ਕੈਸ਼ ਕੀਤੇ ਪ੍ਰੀਫ਼ਿਕਸ ਦੀ ਤਰੱਕੀ ਨੂੰ ਵੱਖਰੇ ਤੌਰ ਉੱਤੇ ਸਮਝਣਾ ਚਾਹੀਦਾ ਹੈ।
ਸਿਸਟਮ A ਅਤੇ C ਉੱਤੇ ਵੱਡੇ ਮਾਡਲਾਂ ਦੇ ਕਾਮਯਾਬ ਅਗਲੇ ਰਨ ਸਮਰਪਿਤ ਇਨਫ਼ਰੈਂਸ ਵਿੰਡੋ ਵਿੱਚ ਹੋਏ, ਜਦੋਂ ਮਾਈਨਿੰਗ ਬੰਦ ਸੀ। ਬੇਨਤੀਆਂ ਮਗਰੋਂ ਮਾਡਲ ਅਨਲੋਡ ਹੋਏ। ਟੈਸਟ ਵਿੰਡੋ ਦੇ ਅੰਤ ਉੱਤੇ ਸਾਰੇ ਸੱਤ ਸਿਸਟਮਾਂ ਵਿੱਚ ਮਾਈਨਿੰਗ ਮੁੜ ਸ਼ੁਰੂ ਹੋਈ। ਇਹ ਨਤੀਜੇ ਇਨਫ਼ਰੈਂਸ ਵਿੰਡੋ ਦੌਰਾਨ ਮਾਡਲ ਸੇਵਾ ਬਾਰੇ ਹਨ, ਮਾਈਨਿੰਗ ਅਤੇ ਇਨਫ਼ਰੈਂਸ ਇਕੱਠੇ ਹੋਣ ਬਾਰੇ ਨਹੀਂ।
ਟੈਸਟਾਂ ਵਿੱਚ ਵਰਤੇ ਬੈਕਐਂਡ ਪ੍ਰੋਫ਼ਾਈਲ
ਜਿਹੜਾ ਕੰਮ ਮੁੜ ਕਰਨਾ ਹੈ, ਉਸ ਨਾਲ ਜੁੜਿਆ ਪ੍ਰੋਫ਼ਾਈਲ ਚੁਣੋ। ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ, ਰਨਟਾਈਮ ਸੰਦਰਭ, ਕੈਸ਼ ਦੀ ਕਿਸਮ, ਤਰਕ ਮੋਡ ਅਤੇ GPU ਥਾਂ ਸਾਰੇ ਨਤੀਜੇ ਉੱਤੇ ਅਸਰ ਕਰਦੇ ਹਨ।
| ਸਿਸਟਮ ਅਤੇ ਮਾਡਲ | ਟੈਸਟ ਕੀਤਾ ਬੈਕਐਂਡ ਪ੍ਰੋਫ਼ਾਈਲ |
|---|---|
| A, Qwen3.5 35B-A3B Q4_K_M | Ollama 0.34.2, f16 KV ਕੈਸ਼, ਦੋਵੇਂ 16GB RTX 5060 Ti ਕਾਰਡ, 64 GiB ਹੋਸਟ RAM ਅਤੇ ਵੱਡੀ ਲੜੀ ਲਈ 262,144 ਰਨਟਾਈਮ ਸੰਦਰਭ। ਨੈਟਿਵ ਬੇਨਤੀਆਂ ਨੇ think:false, ਤਾਪਮਾਨ 0, ਸਟ੍ਰੀਮਿੰਗ ਅਤੇ ਪੜਾਵਾਂ ਵਿਚਕਾਰ ਪੰਜ ਮਿੰਟ keep-alive ਵਰਤਿਆ। ਗੇਟਵੇ ਬੇਨਤੀਆਂ ਬ੍ਰੋਕਰ ਅਤੇ LiteLLM ਰਾਹੀਂ ਗਈਆਂ। ਕੋਈ ਬੇਨਤੀ ਆਉਟਪੁੱਟ ਹੱਦ ਨਹੀਂ। |
| A, Qwen3.8 27B | ਬ੍ਰੋਕਰ ਅਤੇ LiteLLM ਰਾਹੀਂ ਮੰਗ ਉੱਤੇ llama.cpp, 262,144 ਰਨਟਾਈਮ ਸੰਦਰਭ, ਇੱਕ ਇਨਫ਼ਰੈਂਸ ਸਲਾਟ, Q4 K/V ਕੈਸ਼ ਅਤੇ ਦੋਵੇਂ RTX 5060 Ti ਕਾਰਡ। 66,007-ਟੋਕਨ ਬੇਨਤੀ ਉੱਤੇ ਆਉਟਪੁੱਟ ਹੱਦ ਨਹੀਂ ਸੀ। |
| A, Qwen3.6-35B-A3B UD-Q4_K_XL | Strata 0.1.48, 131,072 ਸੰਦਰਭ, INT8 KV ਕੈਸ਼, ਇੱਕ ਚੁਣਿਆ GPU, 55 GiB ਪ੍ਰੋਸੈਸ-ਗਰੁੱਪ ਮੈਮਰੀ ਹੱਦ, 30-ਮਿੰਟ ਰਨਟਾਈਮ ਹੱਦ, ਲੇਜ਼ੀ ਲੋਡ ਅਤੇ 60 ਸਕਿੰਟ ਵਿਹਲੇ ਰਹਿਣ ਮਗਰੋਂ ਅਨਲੋਡ। ਪਾਇਲਟ ਲੰਮੇ ਜਵਾਬ ਵਿੱਚ 217 ਆਉਟਪੁੱਟ ਟੋਕਨ। ਹੱਦ-ਨੇੜੇ ਗੇਟਵੇ ਜਵਾਬ ਵਿੱਚ 11 ਆਉਟਪੁੱਟ ਟੋਕਨ, ਬੇਨਤੀ ਆਉਟਪੁੱਟ ਹੱਦ ਨਹੀਂ। |
| A, Qwen3.8-Flash-Next UD-IQ4_XS | Strata 0.1.48, 98,304 ਸੰਦਰਭ, Q4 KV ਕੈਸ਼, 8 GiB ਰੈਜ਼ੀਡੈਂਟ ਐਕਸਪਰਟ ਕੈਸ਼ ਅਤੇ ਦੋਵੇਂ RTX 5060 Ti ਕਾਰਡ। ਪਾਇਲਟ ਮੈਮਰੀ ਹੱਦ 52 GiB, ਬਾਅਦਲੇ ਰੂਟ ਦੀ ਹੱਦ 54 GiB। ਪਾਇਲਟ ਲੰਮੇ ਜਵਾਬ ਵਿੱਚ 10 ਆਉਟਪੁੱਟ ਟੋਕਨ। ਪਹਿਲਾਂ ਦੇ ਵੱਡੇ ਸੰਦਰਭ/ਕੈਸ਼ ਜੋੜ ਮੈਮਰੀ ਹੱਦ ਉੱਤੇ ਰੁਕ ਗਏ। |
| A, Granite 4.2 8B | Q6_K GGUF ਵਜ਼ਨ, llama.cpp ਦੀ ਸਾਂਝੀ ਕਾਰਜ-ਪ੍ਰਕਿਰਿਆ, 131,072 ਸੰਦਰਭ, Q4_0 K/V ਕੈਸ਼, --n-predict -1। ਲੰਮੀ ਬੇਨਤੀ ਨੇ ਤਾਪਮਾਨ 0, ਸਟ੍ਰੀਮਿੰਗ ਵਰਤੋਂ ਅਤੇ ਕੋਈ ਆਉਟਪੁੱਟ ਹੱਦ ਨਹੀਂ ਵਰਤੀ। |
| A, DeepSeek Coder V2 16B | Q4_0 GGUF ਵਜ਼ਨ, Ollama 0.34.2, ਦੋ RTX 5060 Ti ਕਾਰਡ ਅਤੇ 64 GiB ਹੋਸਟ RAM। ਵੱਖਰੇ f16, Q4_0 ਅਤੇ Q8_0 ਕੈਸ਼ ਟ੍ਰਾਇਲਾਂ ਨੇ ਤੁਲਨਾ ਟੇਬਲ ਵਿੱਚ ਦਿੱਤੇ ਰਨਟਾਈਮ ਸੰਦਰਭ ਵਰਤੇ। ਬੇਨਤੀ ਆਉਟਪੁੱਟ ਹੱਦ ਨਹੀਂ। |
| B, C, D, ਜਾਂਚੀ Ollama ਸੇਵਾ | Ollama 0.34.2, 131,072 ਸੰਦਰਭ, ਸਮਾਂਤਰਤਾ 1, ਇੱਕ ਲੋਡ ਕੀਤਾ ਮਾਡਲ, ਕਤਾਰ ਆਕਾਰ 128, keep-alive 0, Flash Attention, Q4_0 KV ਕੈਸ਼। |
| B, Qwen3.5 9B ਗੇਟਵੇ ਪਾਇਲਟ | LiteLLM ਰੂਟ ਟਾਈਮਆਉਟ 1,800 ਸਕਿੰਟ, ਮੁੜ ਕੋਸ਼ਿਸ਼ ਸਿਫ਼ਰ, ਸੰਦਰਭ ਜਾਂ ਆਉਟਪੁੱਟ-ਟੋਕਨ ਹੱਦ ਨਹੀਂ। 72,265 ਇਨਪੁੱਟ ਟੋਕਨਾਂ ਉੱਤੇ ਦੋਵੇਂ ਸੈਂਟੀਨਲ ਰਹੇ। ਵੱਖਰੀ ਮਾਈਨਿੰਗ-ਮੁੜ-ਪ੍ਰਾਪਤੀ ਜਾਂਚ ਪਾਸ ਹੋਈ। |
| C, Qwen3.5 0.8B | ਇੱਕ RTX 2000E Ada ਉੱਤੇ 30 W ਪਾਵਰ ਪ੍ਰੋਫ਼ਾਈਲ ਨਾਲ Q8_0 ਵਜ਼ਨ। ਰਨਟਾਈਮ ਸੰਦਰਭ 131,072। ਨੈਟਿਵ think:false, OpenAI-ਅਨੁਕੂਲ reasoning_effort:"none", ਆਉਟਪੁੱਟ ਹੱਦ ਨਹੀਂ। ਬ੍ਰੋਕਰ ਅਲਿਆਸ ਨੇ ਰਨਟਾਈਮ ਸੰਦਰਭ ਪੱਕਾ ਕੀਤਾ ਅਤੇ ਬਿਨਾਂ-ਸੋਚ ਮੋਡ ਲਾਗੂ ਕੀਤਾ। |
| C, Gemma 4 12B-IT | ਇਕ-GPU Ollama ਪ੍ਰੋਫ਼ਾਈਲ, 131,072 ਰਨਟਾਈਮ ਸੰਦਰਭ, ਆਉਟਪੁੱਟ ਹੱਦ ਤੋਂ ਬਿਨਾਂ Aperture ਸਟ੍ਰੀਮ ਅਤੇ ਨਾਨ-ਸਟ੍ਰੀਮ ਬੇਨਤੀਆਂ। ਸਿੱਧਾ Aperture ਰਨ 30 W ਉੱਤੇ ਕੌਂਫ਼ਿਗਰ ਪ੍ਰੋਫ਼ਾਈਲ ਹੇਠ 75 C ਅਤੇ 30.64 W ਤੱਕ ਗਿਆ, ਫਿਰ ਅਨਲੋਡ ਹੋਇਆ। |
| D, Qwen3.5 9B, Gemma 4 12B-IT, GPT-OSS 20B | Aperture ਰਾਹੀਂ ਠੀਕ ਲੱਗੇ ਆਰਟੀਫ਼ੈਕਟ ਟੈਸਟ, 131,072 ਰਨਟਾਈਮ ਸੰਦਰਭ, ਇੱਕ GPU ਉੱਤੇ ਪੂਰੀ ਰੈਜ਼ੀਡੈਂਸੀ, ਬੇਨਤੀ ਆਉਟਪੁੱਟ ਹੱਦ ਬਿਨਾਂ ਕੁਦਰਤੀ ਸਮਾਪਤੀ। |
| E, F, G, llama.cpp ਦੀਆਂ ਚੈਟ ਪ੍ਰਕਿਰਿਆਵਾਂ | Build 11669, 99 GPU ਲੇਅਰ, ਸਮਾਂਤਰਤਾ 1, Flash Attention, Q4_0 K/V ਕੈਸ਼, --n-predict -1। ਮਾਡਲ ਪਰਿਵਾਰ ਨਾਲ ਰਨਟਾਈਮ ਸੰਦਰਭ ਬਦਲਿਆ। |
ਦਰਜ ਸੇਵਾ ਪ੍ਰੋਫ਼ਾਈਲ ਆਪਣੇ ਰਨਟਾਈਮ ਜੋੜ ਦੱਸਦੇ ਹਨ। ਸਿਸਟਮ A ਉੱਤੇ ਵੱਖਰੇ ਟੈਸਟ ਕੀਤੇ f16-ਕੈਸ਼ Qwen3.5 35B ਪ੍ਰੋਫ਼ਾਈਲ ਨੂੰ ਛੋਟੇ Ollama ਸਿਸਟਮਾਂ ਵਾਲੀਆਂ Q4_0 ਕੈਸ਼ ਸੈਟਿੰਗਾਂ ਨਹੀਂ ਮਿਲਦੀਆਂ।
ਨਵੀਆਂ ਸੰਭਾਲੇ-ਇਨਪੁੱਟ ਜਾਂਚਾਂ ਦੇ ਮਾਡਲ ਫ਼ਿੰਗਰਪ੍ਰਿੰਟ
ਇਹ ਮਾਡਲ ਪਛਾਣਾਂ ਟੈਸਟ ਕੀਤੇ ਆਰਟੀਫ਼ੈਕਟ ਨੂੰ ਮਿਲਦੇ-ਜੁਲਦੇ ਨਾਂ ਵਾਲੇ ਹੋਰ ਡਾਊਨਲੋਡਾਂ ਜਾਂ ਅਲਿਆਸਾਂ ਤੋਂ ਵੱਖ ਕਰਦੀਆਂ ਹਨ।
| ਆਰਟੀਫ਼ੈਕਟ | ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ | ਦਰਜ ਡਾਈਜੈਸਟ ਜਾਂ ਫ਼ਾਈਲ SHA-256 |
|---|---|---|
| Qwen3.5 35B-A3B Ollama ਟੈਗ | Q4_K_M | 72aac7c28be8ff9b81c2a270eb489c88e6d822a76ec0cb7bf34d965768848567 |
| Qwen3.5 0.8B ਬੇਸ Ollama ਟੈਗ | Q8_0 | de63045f29755d4721c09d54c9b45c2dadb644f4fd7d604d4cac90d96049971c |
| Granite 4.2 8B GGUF ਫ਼ਾਈਲ | Q6_K | 5ad3d67f6fe09a448031029bead7f6a088697ca2787c0c5640bf964c59df1a21 |
Ollama ਮੈਨੀਫ਼ੈਸਟ ਡਾਈਜੈਸਟ ਅਤੇ ਵਜ਼ਨ-ਫ਼ਾਈਲ SHA-256 ਵੱਖਰੇ ਆਬਜੈਕਟ ਪਛਾਣਦੇ ਹਨ। ਟੇਬਲ ਵਿੱਚ ਆਰਟੀਫ਼ੈਕਟ ਦੀ ਕਿਸਮ ਨਾਲ ਪਛਾਣ ਮਿਲਾਓ।
ਮੈਂ Hermes ਨਾਲ ਕੀ ਚਲਾਵਾਂਗਾ
ਦੋ RTX 5060 Ti ਕਾਰਡਾਂ ਵਾਲੇ ਸਿਸਟਮ ਉੱਤੇ Qwen3.5 35B ਮੁੱਖ ਉੱਚ-ਸੰਦਰਭ ਰੂਟ ਹੋਵੇਗਾ। ਇਸਦਾ 239,153-ਟੋਕਨ ਗੇਟਵੇ ਰਿਟੇਨਸ਼ਨ, ਟੂਲ ਅਤੇ ਵਿਜ਼ਨ ਦੇ ਵੱਖਰੇ ਪਾਸ ਅਤੇ ਜਾਂਚੀ ਬੇਨਤੀ-ਮੁਕਤੀ ਇਸ ਚੋਣ ਨੂੰ ਵੱਡੀ ਸੰਦਰਭ ਵਿੰਡੋ ਦੇ ਇਸ਼ਤਿਹਾਰ ਨਾਲੋਂ ਵਧੇਰੇ ਮਜ਼ਬੂਤ ਕਰਦੇ ਹਨ। ਇਕੋ ਜਿਹੀ 66K ਬੇਨਤੀ ਲਈ ਤੇਜ਼ ਜਵਾਬ ਵਾਸਤੇ Qwen3.8 27B ਅਤੇ ਇੱਕ ਕਾਰਡ ਵਰਤਣ ਵੇਲੇ Qwen3.6 ਰੱਖਾਂਗਾ।
RTX 2000E Ada ਸਿਸਟਮਾਂ ਉੱਤੇ ਟੈਸਟ ਕੀਤੇ ਲੰਮੇ-ਇਨਪੁੱਟ ਜਵਾਬ ਕੰਮ ਲਈ ਸਿਸਟਮ C ਦਾ ਜਾਂਚਿਆ Gemma 3 4B ਰੂਟ ਚੁਣਾਂਗਾ। ਸੀਮਤ ਯਾਦ ਅਤੇ ਜਾਣਕਾਰੀ ਕੱਢਣ ਲਈ ਬਿਨਾਂ-ਸੋਚ ਵਾਲਾ Qwen3.5 0.8B ਅਜ਼ਮਾਵਾਂਗਾ। ਵੱਡੇ Gemma, Qwen ਅਤੇ GPT-OSS ਰੂਟ ਉਹਨਾਂ ਕੰਮਾਂ ਲਈ ਢੁੱਕਦੇ ਹਨ ਜਿੱਥੇ ਜਾਂਚਿਆ ਚਾਰ-ਤੋਂ-ਪੰਜ ਮਿੰਟ ਦਾ ਪਹਿਲਾ ਜਵਾਬ ਮਨਜ਼ੂਰ ਹੋਵੇ। ਸਿਸਟਮ D ਦਾ ਨਾਕਾਮ Gemma 3 ਰੂਟ ਬਾਹਰ ਰੱਖਾਂਗਾ।
8GB RTX 3060 Ti ਅਤੇ RTX 3070 ਕਾਰਡਾਂ ਲਈ Qwen3.5 2B ਜਾਂ 4B ਨਾਲ ਸ਼ੁਰੂ ਕਰਾਂਗਾ। ਉਨ੍ਹਾਂ ਦੇ 65K ਟੈਕਸਟ ਨਤੀਜੇ ਅਤੇ 4B ਤਸਵੀਰ ਜਾਂਚਾਂ ਦੋ 16GB ਕਾਰਡ ਹਰ ਬੇਨਤੀ ਲਈ ਲਗਾਏ ਬਿਨਾਂ ਲਾਹੇਵੰਦ ਸ਼ੁਰੂਆਤੀ ਸੈੱਟਅਪ ਦਿੰਦੀਆਂ ਹਨ। ਟੈਸਟ ਪ੍ਰੋਫ਼ਾਈਲਾਂ ਵਿੱਚ Flash Next ਦਾ ਮੈਮਰੀ ਦਬਾਅ ਅਤੇ DeepSeek Coder V2 ਦਾ ਅਧੂਰਾ 65K ਵਰਤਾਅ ਉਨ੍ਹਾਂ ਨੂੰ ਕਮਜ਼ੋਰ ਮੂਲ ਚੋਣ ਬਣਾਉਂਦੇ ਹਨ।
ਟੈਸਟ ਖ਼ਾਸ ਕੰਮਾਂ ਲਈ ਇਹ ਮਾਡਲ ਅਤੇ ਸਿਸਟਮ ਚੋਣਾਂ ਸਮਰਥਿਤ ਕਰਦੇ ਹਨ। ਇਨਪੁੱਟ ਸੰਭਾਲਣਾ, ਸਹੀ ਟੂਲ ਰਾਊਂਡ-ਟ੍ਰਿਪ, ਤਸਵੀਰ ਪਛਾਣ ਅਤੇ ਸਹੀ ਤਰੀਕੇ ਨਾਲ ਛੱਡਣਾ Hermes ਦੀ ਯੋਗਤਾ ਦੇ ਵੱਖਰੇ ਹਿੱਸਿਆਂ ਦਾ ਜਵਾਬ ਦਿੰਦੇ ਹਨ। ਭਰੋਸੇਯੋਗ ਸੈੱਟਅਪ ਵਿੱਚ ਏਜੰਟ ਵੱਲੋਂ ਵਰਤੇ ਵਰਤਾਅ ਅਤੇ ਜਵਾਬ ਤੇ ਟੂਲ ਟ੍ਰੈਫ਼ਿਕ ਲਈ ਕਾਫ਼ੀ ਸੰਦਰਭ ਚਾਹੀਦਾ ਹੈ।
ਸਰੋਤ ਅਤੇ ਸੰਬੰਧਿਤ ਪੜ੍ਹਤ
- Hermes Agent ਪ੍ਰਦਾਤਾ ਸੈੱਟਅਪ ਅਤੇ ਸੰਦਰਭ ਲੋੜਾਂ
- NVIDIA GeForce RTX 3060 Ti ਦੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ
- NVIDIA GeForce RTX 5060 Ti ਦੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ
- Hermes Agent ਜਾਣ-ਪਛਾਣ
- ਲੋਕਲ ਮਾਡਲ ਬੈਕਐਂਡ ਚੁਣਨਾ





