ਬਿਨਾ ਸੈਂਸਰ ਸਥਾਨਕ AI ਮਾਡਲ ਕਿਵੇਂ ਚੁਣੀਏ

Table of Contents
ਮਾਡਲ ਦੀ ਚੋਣ: ਹਰ ਰੂਪ ਨੂੰ ਇਸ ਗੱਲ ਨਾਲ ਪਰਖੋ ਕਿ ਉਹ ਕਿੰਨੇ ਲਾਭਦਾਇਕ ਜਵਾਬ ਪੂਰੇ ਕਰਦਾ ਹੈ, ਕਿੰਨੀ ਗੁਣਵੱਤਾ ਬਰਕਰਾਰ ਰੱਖਦਾ ਹੈ ਅਤੇ ਤੁਹਾਡੇ ਕੰਮ ਲਈ ਕਿੰਨੀ ਮੈਮਰੀ ਚਾਹੀਦੀ ਹੈ। ਘੱਟ ਇਨਕਾਰ ਜਾਂ ਪ੍ਰਸਿੱਧ ਮਾਡਲ ਕਾਰਡ ਇਨ੍ਹਾਂ ਨਤੀਜਿਆਂ ਦਾ ਸਬੂਤ ਨਹੀਂ ਹੁੰਦੇ।
ਬਿਨਾ ਸੈਂਸਰ ਲੇਬਲ ਲਈ ਕੋਈ ਮਿਆਰੀ ਕਾਰਗੁਜ਼ਾਰੀ ਪੈਮਾਨਾ ਨਹੀਂ ਹੈ। ਮਾਡਲ ਪ੍ਰਕਾਸ਼ਕ ਇਹ ਸ਼ਬਦ ਵੱਖ-ਵੱਖ ਵੇਟ-ਸੋਧਾਂ, ਫਾਈਨ-ਟਿਊਨ ਅਤੇ ਚੈਟ ਟੈਂਪਲੇਟਾਂ ਲਈ ਵਰਤਦੇ ਹਨ। ਹਰ ਉਮੀਦਵਾਰ ਦੀ ਉਸ ਦੇ ਮੂਲ ਮਾਡਲ ਨਾਲ ਤੁਲਨਾ ਕਰੋ ਅਤੇ ਉਹ ਕੰਮ ਪਰਖੋ ਜੋ ਤੁਸੀਂ ਕਰਵਾਉਣਾ ਚਾਹੁੰਦੇ ਹੋ।
ਇਹ ਲੇਬਲ ਕੀ ਦੱਸਦਾ ਹੈ
ਐਬਲੇਰੇਟ ਕੀਤਾ ਮਾਡਲ ਉਹ ਹੁੰਦਾ ਹੈ ਜਿਸ ਦੇ ਵੇਟਾਂ ਵਿੱਚ ਇਨਕਾਰ ਵਾਲੇ ਕੁਝ ਵਿਹਾਰ ਬਦਲੇ ਗਏ ਹੋਣ। 2024 ਦੇ ਇਨਕਾਰ ਦੀ ਦਿਸ਼ਾ ਨਾਲ ਸੰਬੰਧਿਤ ਖੋਜ-ਪੱਤਰ ਨੇ 13 ਖੁੱਲ੍ਹੇ ਚੈਟ ਮਾਡਲਾਂ ‘ਤੇ ਇੱਕ ਤਰੀਕਾ ਦਿਖਾਇਆ। ਨਵੇਂ ਟੂਲ ਹੋਰ ਤਰੀਕੇ ਵੀ ਦਿੰਦੇ ਹਨ। ਉਦਾਹਰਨ ਲਈ Heretic 2 ਮਨਮਾਨੀ-ਰੈਂਕ ਐਬਲੇਸ਼ਨ ਅਤੇ ਦਿਸ਼ਾਤਮਕ ਐਬਲੇਸ਼ਨ ਦੋਵੇਂ ਦਰਜ ਕਰਦਾ ਹੈ। ਮਾਡਲ ਕਾਰਡ ਦਾ ਲੇਬਲ ਇਹ ਨਹੀਂ ਦੱਸਦਾ ਕਿ ਕਿਹੜਾ ਵਿਹਾਰ ਬਦਲਿਆ ਜਾਂ ਸੋਧ ਦਾ ਕੀ ਅਸਰ ਹੋਇਆ।
ਮਾਡਲਾਂ ਦੀ ਤੁਲਨਾ ਕਰਦੇ ਸਮੇਂ ਇਹ ਚਾਰ ਗੁਣ ਵੱਖ ਰੱਖੋ:
| ਗੁਣ | ਕੀ ਜਾਂਚਣਾ ਹੈ |
|---|---|
| ਇਨਕਾਰ ਵਾਲਾ ਵਿਹਾਰ | ਕਿਹੜੀਆਂ ਬੇਨਤੀਆਂ ‘ਤੇ ਇਨਕਾਰ, ਅਧੂਰਾ ਜਵਾਬ ਜਾਂ ਪੂਰਾ ਜਵਾਬ ਮਿਲਦਾ ਹੈ? |
| ਸਮਰੱਥਾ ਦੀ ਬਰਕਰਾਰੀ | ਤੱਥ, ਤਰਕ, ਕੋਡਿੰਗ ਅਤੇ ਫਾਰਮੈਟਿੰਗ ਦੇ ਕੰਮ ਮੂਲ ਮਾਡਲ ਦੇ ਮੁਕਾਬਲੇ ਕਿਵੇਂ ਹਨ? |
| ਜਵਾਬ ਪੂਰਾ ਹੋਣਾ | ਟੋਕਨ ਜਾਂ ਸਮਾਂ ਹੱਦ ਮੁੱਕਣ ਤੋਂ ਪਹਿਲਾਂ ਜਵਾਬ ਕਿੰਨੀ ਵਾਰ ਮੁਕੰਮਲ ਹੁੰਦਾ ਹੈ? |
| ਰਨਟਾਈਮ ਅਨੁਕੂਲਤਾ | ਕੀ ਬਿਲਕੁਲ ਉਹੀ ਕੁਆਂਟਾਈਜ਼ ਕੀਤਾ ਫ਼ਾਈਲ ਲੋੜੀਂਦੇ ਸੰਦਰਭ ਲਈ ਕਾਫ਼ੀ ਮੈਮਰੀ ਨਾਲ ਚੱਲਦਾ ਹੈ? |
ਸੋਧਿਆ ਮਾਡਲ ਵੀ ਸੰਭਾਵਨਾਵਾਂ ਦੇ ਆਧਾਰ ‘ਤੇ ਕੰਮ ਕਰਦਾ ਹੈ। ਗੁਣਵੱਤਾ ਜਾਂਚਾਂ ਵੱਖ ਰੱਖੋ: ਸ਼ੁੱਧਤਾ, ਭਰੋਸੇਯੋਗਤਾ ਅਤੇ ਸੁਰੱਖਿਅਤ ਵਰਤੋਂ। ਜਿੱਥੇ ਸੁਰੱਖਿਆ ਉਪਾਅ ਜ਼ਰੂਰੀ ਹਨ, ਉੱਥੇ ਆਮ ਤੌਰ ‘ਤੇ ਅਲਾਈਨ ਕੀਤਾ ਮਾਡਲ ਵੀ ਉਪਲਬਧ ਰੱਖੋ।
ਇਨਕਾਰ ਦੀ ਗਿਣਤੀ ਕਮਜ਼ੋਰ ਦਰਜਾਬੰਦੀ ਕਿਉਂ ਹੈ
ਇਨਕਾਰ ਸਕੋਰ ਇੱਕ ਪ੍ਰੌੰਪਟ ਸੈੱਟ ‘ਤੇ ਇੱਕ ਨਤੀਜਾ ਮਾਪਦਾ ਹੈ। ਇਹ ਤੱਥਕ ਸ਼ੁੱਧਤਾ, ਜਵਾਬ ਦੀ ਲੰਬਾਈ ਜਾਂ ਜਨਰੇਸ਼ਨ ਸੀਮਾ ਮੁੱਕਣ ਤੋਂ ਪਹਿਲਾਂ ਅੰਤਿਮ ਜਵਾਬ ਆਉਣ ਬਾਰੇ ਘੱਟ ਦੱਸਦਾ ਹੈ।
Sapwell ਦੀ ਸਤੰਬਰ 2026 ਦੀ Qwen3.8-27B ਤੁਲਨਾ ਵਿੱਚ ਮੂਲ ਮਾਡਲ ਅਤੇ ਅੱਠ ਰੂਪ ਇੱਕੋ ਸਰਵਿੰਗ ਸੈੱਟਅੱਪ ਨਾਲ ਪਰਖੇ ਗਏ। 13 ਕੰਮਾਂ ਵਾਲੇ ਸਮਰੱਥਾ ਸੂਟ ਨੇ ਗਿਆਨ, ਗਣਿਤ, ਕੋਡਿੰਗ ਅਤੇ ਸੱਚਾਈ ਮਾਪੀ। ਵੱਖਰੇ HarmBench ਸੈੱਟ ਵਿੱਚ 400 ਹਾਨੀਕਾਰਕ ਬੇਨਤੀਆਂ ਸਨ ਅਤੇ ਇੱਕ LLM ਜੱਜ ਨੇ ਪੂਰੇ ਜਵਾਬਾਂ ਦੀ ਸਮੀਖਿਆ ਕੀਤੀ। ਇਹ ਨਤੀਜੇ ਇੱਕ ਮਾਡਲ ਪਰਿਵਾਰ, ਇੱਕ GPU ਅਤੇ ਇੱਕ ਮੁਲਾਂਕਣ ਡਿਜ਼ਾਈਨ ਤੱਕ ਸੀਮਤ ਹਨ।
| ਅਧਿਐਨ ਵਿੱਚ Qwen3.8-27B ਰੂਪ | 400 ਵਿੱਚੋਂ ਸਪਸ਼ਟ ਇਨਕਾਰ | ਅਧੂਰੀ ਸੋਚ ਵਾਲੇ ਜਵਾਬ |
|---|---|---|
| ਮੂਲ ਮਾਡਲ | 381 | 0% |
| OrcaRouter | 2 | 38% |
| Trohrbaugh | 122 | 15% |
ਮੂਲ ਮਾਡਲ ਦੇ ਵੱਧ ਇਨਕਾਰਾਂ ਨਾਲ ਘੱਟ ਅਧੂਰੇ ਨਤੀਜੇ ਵੀ ਮਿਲੇ। OrcaRouter ਦੇ ਘੱਟ ਇਨਕਾਰਾਂ ਨਾਲ ਅਧੂਰੇ ਜਵਾਬਾਂ ਦੀ ਦਰ ਵੱਧ ਸੀ। Trohrbaugh ਨੇ ਹੋਰ ਇਨਕਾਰ ਕੀਤੇ ਅਤੇ ਅਧੂਰੇ ਜਵਾਬ ਘੱਟ ਦਿੱਤੇ। ਆਪਣੇ ਕੰਮ ਅਤੇ ਮਨਜ਼ੂਰ ਸਮਝੌਤਿਆਂ ਅਨੁਸਾਰ ਚੋਣ ਕਰੋ।
Gemma 4 E4B ਦੇ 23 ਰੂਪਾਂ ਵਾਲੇ ਅਧਿਐਨ ਵਿੱਚ ਸਭ ਤੋਂ ਵੱਧ ਡਾਊਨਲੋਡ ਹੋਏ ਰੂਪ ਦੇ ਕੁਝ ਸਮਰੱਥਾ ਮਾਪਾਂ ‘ਤੇ ਵੱਡੇ ਨੁਕਸਾਨ ਮਿਲੇ। ਛੋਟੀ ਸੋਧ ਆਪਣੇ ਟੈਸਟ ਵਿੱਚ ਮੂਲ ਮਾਡਲ ਦੇ ਨੇੜੇ ਰਹੀ। ਪ੍ਰਸਿੱਧੀ ਅਤੇ ਡਾਊਨਲੋਡ ਗਿਣਤੀ ਅਪਣਾਏ ਜਾਣ ਨੂੰ ਦੱਸਦੀ ਹੈ, ਗੁਣਵੱਤਾ ਨੂੰ ਨਹੀਂ।
ਇਨ੍ਹਾਂ ਮਾਪਾਂ ਨੂੰ ਇੱਕੋ ਸਕੋਰ ਵਿੱਚ ਨਾ ਜੋੜੋ। ਮਾਪ ਵੱਖ ਰੱਖੋ: ਇਨਕਾਰ, ਜਵਾਬ ਪੂਰਾ ਹੋਣਾ, ਸਹੀਪਣ ਅਤੇ ਦੇਰੀ। ਪ੍ਰੌੰਪਟ ਸੈੱਟ, ਮਾਡਲ ਰਿਵਿਜ਼ਨ, ਚੈਟ ਟੈਂਪਲੇਟ, ਰਨਟਾਈਮ, ਸੰਦਰਭ ਅਤੇ ਆਉਟਪੁੱਟ ਹੱਦ ਵੀ ਲਿਖੋ। ਇਨ੍ਹਾਂ ਵਿੱਚੋਂ ਕਿਸੇ ਸੈਟਿੰਗ ਨੂੰ ਬਦਲਣ ਨਾਲ ਤੁਲਨਾ ਦਾ ਅਰਥ ਬਦਲ ਜਾਂਦਾ ਹੈ।
ਮਾਡਲ ਬਦਲਣ ਤੋਂ ਪਹਿਲਾਂ ਖਾਲੀ ਜਵਾਬ ਦੀ ਜਾਂਚ ਕਰੋ
ਤਰਕ ਟੋਕਨ ਦਿਖਾਈ ਦੇਣ ਵਾਲਾ ਲਿਖਤ ਆਉਣ ਤੋਂ ਪਹਿਲਾਂ ਆਉਟਪੁੱਟ ਹੱਦ ਵਿੱਚੋਂ ਖਰਚ ਹੁੰਦੇ ਹਨ। ਜੇ ਅੰਦਰੂਨੀ ਸੋਚ ਦੌਰਾਨ ਹੱਦ ਮੁੱਕ ਜਾਵੇ ਤਾਂ ਕੁਝ ਰਨਟਾਈਮ ਖਾਲੀ ਜਾਂ ਕੱਟਿਆ ਜਵਾਬ ਦਿੰਦੇ ਹਨ। ਇਹ ਨਤੀਜਾ ਇਨਕਾਰ ਜਾਂ ਗਲਤ ਪਰ ਪੂਰੇ ਜਵਾਬ ਤੋਂ ਵੱਖਰਾ ਹੈ।
Sapwell ਦੇ Qwen3.6-27B ਬੈਂਚਮਾਰਕ ਨੇ ਦਿਖਾਇਆ ਕਿ ਇਸ ਨਾਲ ਮੁੱਖ ਸਕੋਰ ਕਿਵੇਂ ਬਦਲਦੇ ਹਨ। ਕੁਝ ਰਨ ਅੰਤਿਮ ਜਵਾਬ ਤੱਕ ਨਹੀਂ ਪਹੁੰਚੇ, ਇਸ ਲਈ ਗਣਿਤ ਦੇ ਕੱਚੇ ਸਕੋਰ ਕਾਫ਼ੀ ਬਦਲੇ। ਪੂਰੇ ਹੋਏ ਜਵਾਬਾਂ ਵਿੱਚ ਮਾਪੀ ਸ਼ੁੱਧਤਾ ਕਾਫ਼ੀ ਨੇੜੇ ਸੀ। ਬੈਂਚਮਾਰਕ ਨੇ ਜਵਾਬ ਦੇਣ ਦੀ ਸਮਰੱਥਾ ਅਤੇ ਸੋਚ ਲਈ ਟੋਕਨ ਹੱਦ ਮੁੱਕਣ ਨੂੰ ਵੱਖ ਕੀਤਾ।
ਖਾਲੀ ਜਵਾਬ ਹੋਵੇ ਤਾਂ ਰਨਟਾਈਮ ਦਾ ਰੁਕਣ ਵਾਲਾ ਕਾਰਨ ਅਤੇ ਲੌਗ ਵੇਖੋ। ਪ੍ਰੌੰਪਟ ਦੀ ਲੰਬਾਈ, ਸੰਦਰਭ ਦੀ ਵੰਡ, ਆਉਟਪੁੱਟ ਟੋਕਨ ਹੱਦ, ਲੱਗਿਆ ਸਮਾਂ ਅਤੇ ਅੰਤਿਮ-ਜਵਾਬ ਨਿਸ਼ਾਨ ਬਣਿਆ ਜਾਂ ਨਹੀਂ, ਇਹ ਦਰਜ ਕਰੋ। ਫਿਰ ਜੇ ਹਾਰਡਵੇਅਰ ਵਿੱਚ ਥਾਂ ਹੋਵੇ ਤਾਂ ਵੱਧ ਆਉਟਪੁੱਟ ਸੀਮਾ ਨਾਲ ਉਹੀ ਪ੍ਰੌੰਪਟ ਦੁਹਰਾਓ।
| ਨਤੀਜਾ | ਸੰਭਾਵੀ ਜਾਂਚ |
|---|---|
| ਇਨਕਾਰ ਵਾਲਾ ਲਿਖਤ | ਮਾਡਲ ਨੇ ਬੇਨਤੀ ਮੰਨਣ ਤੋਂ ਇਨਕਾਰ ਕੀਤਾ। |
| ਟੋਕਨ ਹੱਦ ‘ਤੇ ਖਾਲੀ ਨਤੀਜਾ | ਅੰਤਿਮ ਜਵਾਬ ਤੋਂ ਪਹਿਲਾਂ ਜਨਰੇਸ਼ਨ ਦਾ ਆਉਟਪੁੱਟ ਬਜਟ ਮੁੱਕ ਗਿਆ। |
| ਕੱਟਿਆ ਜਵਾਬ | ਜਨਰੇਸ਼ਨ ਹੱਦ ਨੇ ਅਧੂਰਾ ਜਵਾਬ ਰੋਕ ਦਿੱਤਾ। |
| ਰਨਟਾਈਮ ਗਲਤੀ | ਸਰਵਰ, ਮਾਡਲ ਫ਼ਾਈਲ ਜਾਂ ਮੈਮਰੀ ਵੰਡ ਵਿੱਚ ਨਾਕਾਮੀ ਹੋਈ। |
| ਪੂਰਾ ਪਰ ਗਲਤ ਜਵਾਬ | ਮਾਡਲ ਨੇ ਲਿਖਤ ਦਿੱਤਾ, ਪਰ ਸਹੀਪਣ ਦੀ ਜਾਂਚ ਵਿੱਚ ਅਸਫਲ ਰਿਹਾ। |
ਖਾਲੀ ਨਤੀਜਾ: ਹਰ ਕੇਸ ਨੂੰ ਮਾਡਲ ਦੀ ਖਾਮੀ ਕਹਿਣ ਤੋਂ ਪਹਿਲਾਂ ਰਨਟਾਈਮ ਦਾ ਨਤੀਜਾ ਪੱਕਾ ਕਰੋ। ਵੱਡੀ ਸੰਦਰਭ ਵਿੰਡੋ ਘੱਟ ਆਉਟਪੁੱਟ ਹੱਦ, ਗਲਤ ਟੈਂਪਲੇਟ ਜਾਂ ਐਪਲੀਕੇਸ਼ਨ ਟਾਈਮਆਉਟ ਨੂੰ ਆਪਣੇ ਆਪ ਠੀਕ ਨਹੀਂ ਕਰਦੀ।
ਵੇਟਾਂ ਅਤੇ ਸੰਦਰਭ ਲਈ VRAM ਦਾ ਬਜਟ ਬਣਾਓ
ਮਾਡਲ ਫ਼ਾਈਲ ਮੈਮਰੀ ਦੀ ਇਕੱਲੀ ਖਪਤ ਨਹੀਂ ਹੈ। ਰਨਟਾਈਮ ਨੂੰ KV ਕੈਸ਼ ਲਈ ਵੀ ਥਾਂ ਚਾਹੀਦੀ ਹੈ। ਇਹ ਸਰਗਰਮ ਪ੍ਰੌੰਪਟ ਅਤੇ ਜਵਾਬ ਦੀ ਅਟੈਂਸ਼ਨ ਅਵਸਥਾ ਰੱਖਦਾ ਹੈ। ਗਣਨਾ ਬਫ਼ਰਾਂ ਅਤੇ ਹੋਰ ਲੋਡ ਪ੍ਰਕਿਰਿਆਵਾਂ ਲਈ ਵੀ ਮੈਮਰੀ ਲੱਗਦੀ ਹੈ। ਸੰਦਰਭ ਲੰਬਾ ਕਰਨ ਨਾਲ ਮੈਮਰੀ ਦੀ ਵਰਤੋਂ ਵਧਦੀ ਹੈ।
Ollama ਦੇ ਮੌਜੂਦਾ ਦਸਤਾਵੇਜ਼ 24 GiB ਤੋਂ ਘੱਟ VRAM ‘ਤੇ 4K, 24 ਤੋਂ 48 GiB ਵਿੱਚ 32K ਅਤੇ 48 GiB ਜਾਂ ਵੱਧ ‘ਤੇ 256K ਡਿਫਾਲਟ ਸੰਦਰਭ ਵਿੰਡੋ ਦਰਜ ਕਰਦੇ ਹਨ। ਇਹ ਡਿਫਾਲਟ ਰਨਟਾਈਮ ਦਾ ਵਿਹਾਰ ਦੱਸਦੇ ਹਨ। ollama ps ਨਾਲ ਵੰਡਿਆ ਸੰਦਰਭ ਅਤੇ ਪ੍ਰੋਸੈਸਰ ਪਲੇਸਮੈਂਟ ਜਾਂਚੋ।
Linux ਉਦਾਹਰਨ: ਇਹ ਕਮਾਂਡ ਨਵੇਂ Ollama ਸਰਵਰ ਸੈਸ਼ਨਾਂ ਲਈ 16K ਡਿਫਾਲਟ ਸੈੱਟ ਕਰਦੀ ਹੈ:
OLLAMA_CONTEXT_LENGTH=16384 ollama serve
ਲੋਡ ਕੀਤੇ ਮਾਡਲ ਨਾਲ ਵੰਡਿਆ ਸੰਦਰਭ ਆਮ ਇਨਪੁੱਟ ਅਤੇ ਜਵਾਬ ਦੇ ਆਕਾਰਾਂ ਦੇ ਮੁਕਾਬਲੇ ਜਾਂਚੋ:
ollama ps
CONTEXT ਅਤੇ PROCESSOR ਕਾਲਮ ਵੰਡ ਅਤੇ ਇਹ ਦਿਖਾਉਂਦੇ ਹਨ ਕਿ ਮਾਡਲ GPU ‘ਤੇ ਹੈ ਜਾਂ ਕੁਝ ਹਿੱਸਾ ਬਾਹਰ ਲੋਡ ਹੋਇਆ ਹੈ। ਸੰਦਰਭ ਵੰਡ: ਸੂਚੀ ਵਿੱਚ ਹੱਦ ਹੋਣ ਦਾ ਮਤਲਬ ਇਹ ਨਹੀਂ ਕਿ ਪੂਰੀ ਵਿੰਡੋ VRAM ਵਿੱਚ ਸਮਾ ਜਾਵੇਗੀ।
GPU ਮੈਮਰੀ ਅਨੁਸਾਰ ਸ਼ੁਰੂਆਤੀ ਚੋਣਾਂ
ਸ਼ੁਰੂਆਤੀ ਉਮੀਦਵਾਰ: ਇਹ ਮਾਡਲ ਪਰਿਵਾਰ 2026 ਦੀਆਂ ਰੂਪ-ਤੁਲਨਾਵਾਂ ਵਿੱਚ ਆਏ ਸਨ। ਫ਼ਾਈਲ ਆਕਾਰ ਖ਼ਾਸ ਕੁਆਂਟਾਈਜ਼ਡ ਰਿਪੋਜ਼ਿਟਰੀਆਂ ਤੋਂ ਹਨ। ਚੋਣ ਨੂੰ ਅਨੁਕੂਲ ਮੰਨਣ ਤੋਂ ਪਹਿਲਾਂ ਸਹੀ ਫ਼ਾਈਲ, ਰਨਟਾਈਮ ਸਹਾਇਤਾ ਅਤੇ ਮਾਪੀ ਮੈਮਰੀ ਦੀ ਪੁਸ਼ਟੀ ਕਰੋ।
| GPU ਮੈਮਰੀ | ਸ਼ੁਰੂਆਤੀ ਚੋਣ | ਮੁੱਖ ਰੁਕਾਵਟ |
|---|---|---|
| 8 GB | Gemma 4 E4B, ਜਿਵੇਂ coder3101 ਰੂਪ | ਵੇਟ ਫ਼ਾਈਲ ਛੋਟੀ ਰਹਿੰਦੀ ਹੈ। ਸੰਦਰਭ ਅਤੇ ਰਨਟਾਈਮ ਬਫ਼ਰਾਂ ਲਈ ਮੈਮਰੀ ਛੱਡੋ। |
| 12 GB | Gemma 4 12B, ਜਿਵੇਂ 7.4 GB ਦੀ TrevorJS GGUF Q4 ਫ਼ਾਈਲ | ਮਾਡਲ ਸਮਰੱਥਾ ਵਧਦੀ ਹੈ, ਪਰ ਛੋਟੇ ਰੂਪ ਨਾਲੋਂ ਲੰਮੇ ਸੰਦਰਭ ਲਈ ਘੱਟ ਥਾਂ ਰਹਿੰਦੀ ਹੈ। |
| 16 GB | ਛੋਟਾ ਮਾਡਲ ਜਾਂ Qwen3.8-27B Q3 ਫ਼ਾਈਲ | Qwen ਰਿਪੋਜ਼ਿਟਰੀ Q3_K_S ਨੂੰ 13.72 GB ਦਰਜ ਕਰਦੀ ਹੈ। ਪ੍ਰਕਾਸ਼ਕ ਇਸ ਨੂੰ ਘੱਟ ਗੁਣਵੱਤਾ ਕਹਿੰਦਾ ਹੈ। ਸੰਦਰਭ ਲਈ ਥਾਂ ਘੱਟ ਰਹੇਗੀ। |
| 24 GB | Qwen3.8-27B Q4_K_S ਜਾਂ Q4_K_M | ਮੌਜੂਦਾ ਰਿਪੋਜ਼ਿਟਰੀ ਵਿੱਚ 16.71 GB ਅਤੇ 17.77 GB ਦੀਆਂ ਫ਼ਾਈਲਾਂ ਹਨ। ਕੈਸ਼ ਅਤੇ ਬਫ਼ਰਾਂ ਲਈ ਥਾਂ ਰੱਖੋ। |
| 32 GB | Qwen3.8-27B Q6_K | ਮੌਜੂਦਾ ਰਿਪੋਜ਼ਿਟਰੀ 23.46 GB ਦੀ ਫ਼ਾਈਲ ਦਰਜ ਕਰਦੀ ਹੈ। ਵੱਡੀ ਫ਼ਾਈਲ ਨਾਲ ਛੋਟੇ ਕੁਆਂਟ ਨਾਲੋਂ ਸੰਦਰਭ ਲਈ ਘੱਟ ਮੈਮਰੀ ਬਚਦੀ ਹੈ। |
ਇਨ੍ਹਾਂ ਨੂੰ ਸ਼ੁਰੂਆਤੀ ਚੋਣਾਂ ਸਮਝੋ। ਰਿਪੋਜ਼ਿਟਰੀਆਂ ਅਤੇ ਵਰਜਨ ਬਦਲਦੇ ਰਹਿੰਦੇ ਹਨ। ਫ਼ਾਈਲ ਆਕਾਰ ਇਕੱਲਾ ਰਨਟਾਈਮ ਮੈਮਰੀ ਵੰਡ ਜਾਂ ਜਵਾਬ ਦੀ ਗੁਣਵੱਤਾ ਨਹੀਂ ਦੱਸਦਾ।
GGUF ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਲੇਬਲ ਇੰਕੋਡਿੰਗ ਚੋਣ ਦਾ ਸਾਰ ਦਿੰਦੇ ਹਨ। ਰਿਪੋਜ਼ਿਟਰੀਆਂ ਦੇ ਫ਼ਰਕ: ਇੱਕੋ ਨਾਮਾਤਰ ਬਿਟ ਡੈਪਥ ਵਾਲੀਆਂ ਫ਼ਾਈਲਾਂ ਦੀ ਗੁਣਵੱਤਾ ਬਰਾਬਰ ਹੋਣ ਦੀ ਗਾਰੰਟੀ ਨਹੀਂ। ਇੱਕ Qwen ਰਿਪੋਜ਼ਿਟਰੀ Q3_K_S ਨੂੰ ਘੱਟ ਗੁਣਵੱਤਾ ਅਤੇ Q4_K_M ਨੂੰ ਡਿਫਾਲਟ ਚੋਣ ਦੱਸਦੀ ਹੈ। ਡਾਊਨਲੋਡ ਤੋਂ ਪਹਿਲਾਂ ਬਿਲਕੁਲ ਸਹੀ ਫ਼ਾਈਲ ਆਕਾਰ, ਮਾਡਲ ਕਾਰਡ, ਪ੍ਰੌੰਪਟ ਫਾਰਮੈਟ ਅਤੇ ਟੈਸਟ ਨਤੀਜੇ ਵੇਖੋ।
ਕੈਸ਼ ਆਕਾਰ ਅਤੇ ਸਥਾਨਕ GPU ਅਨੁਕੂਲਤਾ ਲਈ, ਸਾਈਟ ਦੀ ਸਥਾਨਕ ਮਾਡਲ GPU ਅਤੇ ਸੰਦਰਭ ਗਾਈਡ ਵੇਖੋ। ਉਸ ਦੀਆਂ ਸਿਫ਼ਾਰਸ਼ਾਂ ਕੋਡਿੰਗ ਕੰਮਾਂ ‘ਤੇ ਕੇਂਦਰਿਤ ਹਨ। ਇਹ ਲੇਖ ਬਦਲੇ ਹੋਏ ਇਨਕਾਰ ਵਿਹਾਰ ਅਤੇ ਮੁਲਾਂਕਣ ‘ਤੇ ਕੇਂਦਰਿਤ ਹੈ।
ਚੈਟ ਟੈਂਪਲੇਟ ਅਤੇ ਮਾਡਲ ਸਰੋਤ ਦੀ ਜਾਂਚ ਕਰੋ
ਚੈਟ ਟੈਂਪਲੇਟ ਸੁਨੇਹਿਆਂ ਨੂੰ ਉਹਨਾਂ ਟੋਕਨਾਂ ਅਤੇ ਹਦਾਇਤਾਂ ਵਿੱਚ ਲਪੇਟਦਾ ਹੈ ਜਿਨ੍ਹਾਂ ਦੀ ਮਾਡਲ ਨੂੰ ਉਮੀਦ ਹੁੰਦੀ ਹੈ। ਮਾਡਲ ਪੈਕੇਜ ਵਿੱਚ ਕਸਟਮ ਟੈਂਪਲੇਟ ਜਾਂ ਸਿਸਟਮ ਪ੍ਰੌੰਪਟ ਹੋ ਸਕਦਾ ਹੈ। ਇਹ ਬਦਲਾਅ ਮਾਪੇ ਵਿਹਾਰ ‘ਤੇ ਅਸਰ ਪਾਉਂਦੇ ਹਨ, ਭਾਵੇਂ ਅਸਲ ਵੇਟ ਇੱਕੋ ਰਹਿਣ।
ਟੈਂਪਲੇਟ ਦਾ ਅਸਰ: Sapwell ਨੇ ਇੱਕ Qwen3.8 ਰੂਪ ਲੱਭਿਆ ਜਿਸ ਦੇ ਪੈਕੇਜ ਵਿੱਚ ਮਾਡਲ ਨੂੰ ਕਦੇ ਇਨਕਾਰ ਜਾਂ ਚੇਤਾਵਨੀ ਨਾ ਦੇਣ ਵਾਲੀ ਸ਼ਖ਼ਸੀਅਤ ਹਦਾਇਤ ਸੀ। ਘੱਟ ਇਨਕਾਰ ਦਾ ਦਾਅਵਾ ਉਸ ਦੇ ਟੈਂਪਲੇਟ ‘ਤੇ ਨਿਰਭਰ ਸੀ। ਉਸ ਦੀ ਤੁਲਨਾ ਨੇ ਟੈਂਪਲੇਟ ਇਕਸਾਰ ਕੀਤੇ ਤਾਂ ਜੋ ਟੈਸਟ ਵੇਟਾਂ ਦੇ ਫ਼ਰਕ ‘ਤੇ ਕੇਂਦਰਿਤ ਰਹੇ। ਇਸ ਕੰਟਰੋਲ ਨਾਲ ਦਿੱਤੇ ਟੈਂਪਲੇਟ ਦੇ ਖ਼ਤਰਨਾਕ ਜਾਂ ਬੇਕਾਰ ਹੋਣ ਦਾ ਸਬੂਤ ਨਹੀਂ ਮਿਲਦਾ।
ਇੰਸਟਾਲ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ: ਪ੍ਰਕਾਸ਼ਕ, ਮੂਲ ਮਾਡਲ, ਲਾਇਸੈਂਸ, ਕਨਵਰਜ਼ਨ ਪ੍ਰਕਿਰਿਆ, ਕੁਆਂਟਾਈਜ਼ਰ, ਟੈਂਪਲੇਟ ਅਤੇ ਰਿਵਿਜ਼ਨ ਇਤਿਹਾਸ ਦੀ ਪੁਸ਼ਟੀ ਕਰੋ। ਇੱਕੋ ਟੈਂਪਲੇਟ ਅਤੇ ਰਨਟਾਈਮ ਨਾਲ ਮੂਲ ਮਾਡਲ ਦੀ ਤੁਲਨਾ ਕਰੋ। ਜੇ ਮਾਡਲ ਕਾਰਡ ਤਰੀਕਾ ਜਾਂ ਟੈਸਟ ਸੈੱਟਅੱਪ ਨਹੀਂ ਦੱਸਦਾ ਤਾਂ ਸਰੋਤ-ਜਾਣਕਾਰੀ ਨੂੰ ਅਣਜਾਣ ਦਰਜ ਕਰੋ।
ਆਪਣੇ ਕੰਮ ਲਈ ਛੋਟਾ ਮੁਲਾਂਕਣ ਚਲਾਓ
ਦੁਹਰਾਇਆ ਜਾ ਸਕਣ ਵਾਲਾ ਪ੍ਰੌੰਪਟ ਸੈੱਟ ਬਣਾਓ ਜਿਸ ਵਿੱਚ ਤੁਹਾਡੇ ਮਾਲਕੀ ਜਾਂ ਅਧਿਕਾਰ ਵਾਲੇ ਆਮ ਕੰਮ ਹੋਣ। ਮਾਡਲ ਦਾ ਅਸਲ ਕੰਮ, ਪੱਕੇ ਜਵਾਬਾਂ ਵਾਲੇ ਤੱਥਕ ਸਵਾਲ ਅਤੇ ਸਪਸ਼ਟ ਪਾਸ ਸ਼ਰਤਾਂ ਵਾਲੀਆਂ ਫਾਰਮੈਟਿੰਗ ਬੇਨਤੀਆਂ ਸ਼ਾਮਲ ਕਰੋ। ਇਨਕਾਰ ਵਿਹਾਰ ਚੋਣ ਦਾ ਹਿੱਸਾ ਰਹੇ, ਇਸ ਲਈ ਕੁਝ ਸੁਰੱਖਿਅਤ ਹੱਦਾਂ ਵਾਲੇ ਕੇਸ ਵੀ ਜੋੜੋ।
ਮੂਲ ਅਤੇ ਸੋਧੇ ਮਾਡਲ ਵਿੱਚ ਟੈਸਟ ਸੈਟਿੰਗਾਂ ਇੱਕੋ ਰੱਖੋ। ਸਿਸਟਮ ਪ੍ਰੌੰਪਟ, ਟੈਂਪਲੇਟ, ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ, ਰਨਟਾਈਮ ਵਰਜਨ, ਸੰਦਰਭ, ਆਉਟਪੁੱਟ ਹੱਦ ਅਤੇ ਸੈਂਪਲਿੰਗ ਸੈਟਿੰਗਾਂ ਨਾ ਬਦਲੋ। ਨਤੀਜਿਆਂ ਨਾਲ ਮਾਡਲ ਰਿਵਿਜ਼ਨ ਜਾਂ ਫ਼ਾਈਲ ਹੈਸ਼ ਸੰਭਾਲੋ।
ਹਰ ਨਤੀਜੇ ਨੂੰ ਵੱਖਰੇ ਦਰਜ ਕਰੋ:
- ਪੂਰਾ ਹੋਣਾ: ਅੰਤਿਮ ਜਵਾਬ, ਇਨਕਾਰ, ਖਾਲੀ ਨਤੀਜਾ, ਕੱਟਿਆ ਜਵਾਬ ਜਾਂ ਰਨਟਾਈਮ ਗਲਤੀ।
- ਸਹੀਪਣ: ਉਮੀਦ ਕੀਤੇ ਜਵਾਬ ਜਾਂ ਰੂਬਰਿਕ ਮੁਤਾਬਕ ਪਾਸ ਜਾਂ ਫੇਲ।
- ਲਾਭਦਾਇਕਤਾ: ਜਵਾਬ ਕੰਮ ਦੀ ਲੋੜ ਪੂਰੀ ਕਰਦਾ ਹੈ ਜਾਂ ਨਹੀਂ।
- ਦੇਰੀ: ਪਹਿਲੇ ਟੋਕਨ ਤੱਕ ਸਮਾਂ ਅਤੇ ਕੁੱਲ ਜਨਰੇਸ਼ਨ ਸਮਾਂ।
- ਮੈਮਰੀ: ਵੰਡਿਆ ਸੰਦਰਭ, GPU ਪਲੇਸਮੈਂਟ ਅਤੇ ਸਭ ਤੋਂ ਵੱਧ VRAM।
- ਸੁਰੱਖਿਆ ਵਿਹਾਰ: ਹਰ ਹੱਦੀ ਕੇਸ ‘ਤੇ ਢੁੱਕਵਾਂ ਇਨਕਾਰ ਜਾਂ ਜਾਰੀ ਰੱਖਣਾ।
ਇੱਕ ਵਾਰ ਵਿੱਚ ਇੱਕ ਹੀ ਚੀਜ਼ ਬਦਲ ਕੇ ਸੈੱਟ ਦੁਹਰਾਓ। ਜੇ ਆਉਟਪੁੱਟ ਹੱਦ ਵਧਾਉਣ ਨਾਲ ਜਵਾਬ ਪੂਰਾ ਹੋ ਜਾਵੇ ਤਾਂ ਪਹਿਲੀ ਨਾਕਾਮੀ ਬਜਟ ਕਾਰਨ ਸੀ। ਜੇ ਜਵਾਬ ਅਧੂਰੇ ਹੀ ਰਹਿਣ ਤਾਂ ਮਾਡਲ ਟੈਂਪਲੇਟ, ਤਰਕ ਮੋਡ, ਰਨਟਾਈਮ ਅਤੇ ਰਿਵਿਜ਼ਨ ਜਾਂਚੋ। ਰੂਪ ਤਦੋਂ ਹੀ ਰੱਖੋ ਜਦੋਂ ਇਹ ਤੁਹਾਡੇ ਨਿਸ਼ਾਨੇ ਦੇ ਕੰਮ ਨੂੰ ਸੁਧਾਰੇ ਅਤੇ ਸਹੀਪਣ ਜਾਂ ਸੁਰੱਖਿਆ ਦਾ ਅਸਵੀਕਾਰਯੋਗ ਨੁਕਸਾਨ ਨਾ ਕਰੇ।
ਤੈਨਾਤੀ ਨੂੰ ਸੀਮਤ ਰੱਖੋ
ਪਰਦੇਦਾਰੀ: ਸਥਾਨਕ ਇਨਫਰੈਂਸ ਤੁਹਾਡੇ ਪੂਰੇ ਸਟੈਕ ‘ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ। ਫਰੰਟ ਐਂਡ, ਲੌਗ, ਐਕਸਟੈਂਸ਼ਨ, ਟੈਲੀਮੈਟਰੀ ਅਤੇ ਨੈੱਟਵਰਕ ਰਸਤੇ ਜਾਂਚੋ। ਭਰੋਸੇ ਤੋਂ ਬਾਹਰ ਦੇ ਵੇਟ ਅਤੇ ਕਸਟਮ ਟੈਂਪਲੇਟ ਤੀਜੇ ਪੱਖ ਦੇ ਕੋਡ ਅਤੇ ਸੰਰਚਨਾ ਵਾਂਗ ਮੰਨੋ।
ਜਨਤਕ ਪਹੁੰਚ: ਮਾਡਲ ਐਂਡਪੌਇੰਟ ਨੂੰ ਸਿੱਧਾ ਜਨਤਕ ਇੰਟਰਨੈੱਟ ‘ਤੇ ਕਦੇ ਨਾ ਖੋਲ੍ਹੋ। ਟੂਲ ਪਹੁੰਚ ਅਲੱਗ ਰੱਖੋ ਅਤੇ ਸੋਧੇ ਰੂਪ ਸਿਰਫ਼ ਅਧਿਕਾਰਤ ਕੰਮ ਲਈ ਵਰਤੋ। ਦੂਰੋਂ ਪਹੁੰਚ ਲਈ ਐਂਡਪੌਇੰਟ ਨੂੰ ਪ੍ਰਮਾਣਿਕਤਾ, ਬੇਨਤੀ ਸੀਮਾਵਾਂ ਅਤੇ ਨੈੱਟਵਰਕ ਅਲੱਗਾਵ ਵਾਲੇ ਨਿੱਜੀ ਗੇਟਵੇ ਦੇ ਪਿੱਛੇ ਰੱਖੋ। ਮੂਲ ਇਨਕਾਰ ਦੀ ਦਿਸ਼ਾ ਨਾਲ ਸੰਬੰਧਿਤ ਖੋਜ-ਪੱਤਰ ਇਨਕਾਰ ਹਟਾਉਣ ਵਾਲੀਆਂ ਸੋਧਾਂ ਦੇ ਸੁਰੱਖਿਆ ਅਸਰ ਦੱਸਦਾ ਹੈ।
ਨਤੀਜਾ
ਫ਼ੈਸਲਾ ਨਿਯਮ: ਆਪਣੇ ਕੰਮ ਵਾਲੇ ਸੈੱਟ ‘ਤੇ ਸਭ ਤੋਂ ਮਜ਼ਬੂਤ ਤਸਦੀਕਸ਼ੁਦਾ ਨਤੀਜੇ ਦੇਣ ਵਾਲਾ ਮਾਡਲ ਚੁਣੋ। ਇਨਕਾਰ ਗਿਣਤੀ ਨੂੰ ਇੱਕ ਮਾਪ ਵਜੋਂ ਵਰਤੋ, ਫਿਰ ਜਵਾਬ ਪੂਰੇ ਹੋਣ, ਸਹੀਪਣ, ਟੈਂਪਲੇਟ ਵਿਹਾਰ ਅਤੇ VRAM ਦੀ ਬਚੀ ਥਾਂ ਜਾਂਚੋ। ਆਪਣੇ GPU ਲਈ ਢੁੱਕਵੀਂ ਫ਼ਾਈਲ ਨਾਲ ਸ਼ੁਰੂ ਕਰੋ, ਕੰਮ ਮੁਤਾਬਕ ਸੰਦਰਭ ਸੈੱਟ ਕਰੋ ਅਤੇ ਇਕੋ ਸੈਟਿੰਗਾਂ ਨਾਲ ਮੂਲ ਮਾਡਲ ਦੀ ਤੁਲਨਾ ਕਰੋ।
GPU ਆਕਾਰ ਚੁਣਨ ਲਈ, ਇਨ੍ਹਾਂ ਨਤੀਜਿਆਂ ਦੀ ਸਾਈਟ ਦੇ Qwen 27B GPU ਕਿਰਾਇਆ ਬੈਂਚਮਾਰਕ ਨਾਲ ਤੁਲਨਾ ਕਰੋ। ਜੇ ਬਿਲਕੁਲ ਉਹੀ ਮਾਡਲ ਫ਼ਾਈਲ ਜਾਂ ਸੰਦਰਭ ਦੀ ਲੋੜ ਅਣਸ਼ਚਿਤ ਹੈ ਤਾਂ ਹਾਰਡਵੇਅਰ ਖਰੀਦਣ ਤੋਂ ਪਹਿਲਾਂ ਕਿਰਾਏ ‘ਤੇ ਲਵੋ ਜਾਂ ਉਧਾਰ ਲਵੋ।
ਸਰੋਤ
- Qwen3.8-27B ਐਬਲੇਰੇਸ਼ਨ ਬੈਂਚਮਾਰਕ , Nathan Sapwell, 6 ਸਤੰਬਰ 2026।
- Qwen3.6-27B ਐਬਲੇਰੇਸ਼ਨ ਬੈਂਚਮਾਰਕ , Nathan Sapwell, 2026-05-17।
- Gemma 4 E4B ਰੂਪ ਬੈਂਚਮਾਰਕ , Nathan Sapwell, 1 ਅਗਸਤ 2026।
- Gemma 4 12B ਰੂਪ ਬੈਂਚਮਾਰਕ , Nathan Sapwell, 28 ਅਗਸਤ 2026।
- ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਵਿੱਚ ਇਨਕਾਰ ਇੱਕ ਹੀ ਦਿਸ਼ਾ ਰਾਹੀਂ ਹੁੰਦਾ ਹੈ , Arditi ਆਦਿ, 2024।
- Heretic ਪ੍ਰੋਜੈਕਟ ਦਸਤਾਵੇਜ਼ .
- ਅਧਿਕਾਰਤ Qwen3.8-27B ਮਾਡਲ ਕਾਰਡ .
- Ollama ਸੰਦਰਭ ਲੰਬਾਈ ਦਸਤਾਵੇਜ਼ .
- Gemma 4 E4B
coder3101ਮਾਡਲ ਕਾਰਡ . - Gemma 4 12B TrevorJS GGUF ਫ਼ਾਈਲਾਂ .
- OrcaRouter Qwen3.8-27B GGUF ਫ਼ਾਈਲਾਂ .
- GGUF ਫਾਰਮੈਟ ਅਤੇ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਕਿਸਮਾਂ , Hugging Face ਦਸਤਾਵੇਜ਼।
- ਵੀਡੀਓ ਸਰੋਤ: ਮੈਂ ਹਰ ਬਿਨਾ ਸੈਂਸਰ ਸਥਾਨਕ AI ਮਾਡਲ ਦੀ ਜਾਂਚ ਕੀਤੀ (8GB ਤੋਂ 32GB VRAM) .
This article refers to other articles we've written:
- ਤੁਹਾਨੂੰ ਕਿਹੜਾ ਲੋਕਲ AI ਮਾਡਲ ਚਲਾਉਣਾ ਚਾਹੀਦਾ ਹੈ? ਅਕਤੂਬਰ 2026 ਲਈ GPU, ਕਾਂਟੈਕਸਟ ਅਤੇ ਕੋਡਿੰਗ ਗਾਈਡ
ਕੋਡਿੰਗ ਏਜੰਟਾਂ ਲਈ ਲੋਕਲ AI ਮਾਡਲ ਚੁਣਨ ਬਾਰੇ ਅਕਤੂਬਰ 2026 ਦੀ ਵਿਹਾਰਕ ਗਾਈਡ। GPU ਮੈਮੋਰੀ, KV-cache ਵਾਧਾ, ਕਾਂਟੈਕਸਟ ਆਕਾਰ, quantization ਗੁਣਵੱਤਾ, prompt processing, reasoning ਸੈਟਿੰਗਾਂ ਅਤੇ cloud rental ਲਾਗਤਾਂ ਦੀ ਤੁਲਨਾ ਕਰੋ।






