Table of Contents

ਇੱਕ ਡਾਊਨਲੋਡ ਹੋ ਸਕਣ ਵਾਲਾ ਮਾਡਲ, ਜੋ ਇੱਕ ਖਪਤਕਾਰ ਗ੍ਰਾਫਿਕਸ ਕਾਰਡ ਉੱਤੇ ਚੱਲਦਾ ਹੈ, ਹੁਣ ਕੁੱਲ ਬੁੱਧੀ ਸੂਚਕਾਂਕ ਵਿੱਚ ਇੱਕ ਮੋਹਰੀ API ਮਾਡਲ ਤੋਂ ਵੱਧ ਅੰਕ ਲੈਂਦਾ ਹੈ। Qwen3.8 27B ਅਗਸਤ 2026 ਵਿੱਚ ਜਾਰੀ ਹੋਇਆ ਖੁੱਲ੍ਹੇ ਵਜ਼ਨਾਂ ਵਾਲਾ ਦ੍ਰਿਸ਼ਟੀ-ਭਾਸ਼ਾ ਮਾਡਲ ਹੈ। ਇਸ ਦਾ ਟਰਨਰੀ ਰੂਪ, Bonsai 2 27B, ਉਹੀ ਵਜ਼ਨ 5.53 GiB ਵਿੱਚ ਸਮੇਟਦਾ ਹੈ। ਇਹ ਮਿਲ ਕੇ ਉਹ ਪਲ ਦਰਸਾਉਂਦੇ ਹਨ ਜਦੋਂ ਸਥਾਨਕ ਇਨਫਰੈਂਸ ਸ਼ੌਕੀਨਾਂ ਦਾ ਸਮਝੌਤਾ ਰਹਿਣ ਦੀ ਬਜਾਏ ਭੁਗਤਾਨੀ API ਦਾ ਅਸਲ ਬਦਲ ਬਣਿਆ।

ਹਾਰਡਵੇਅਰ ਖਰੀਦਣ ਦਾ ਮੌਕਾ ਤੇਜ਼ੀ ਨਾਲ ਘਟ ਰਿਹਾ ਹੈ। ਮੈਮੋਰੀ ਦੀਆਂ ਕੀਮਤਾਂ ਦੋ ਦਹਾਕਿਆਂ ਵਿੱਚ ਸਭ ਤੋਂ ਮਾੜੇ ਪੱਧਰ ’ਤੇ ਹਨ ਅਤੇ ਗ੍ਰਾਫਿਕਸ ਕਾਰਡ ਵੀ ਮਹਿੰਗੇ ਹੋ ਰਹੇ ਹਨ।

ਇਹ ਲੇਖ ਬੈਂਚਮਾਰਕ ਦੇ ਨਤੀਜੇ, ਦੋਵਾਂ ਮਾਡਲਾਂ ਦੀ ਅੰਦਰਲੀ ਬਣਤਰ, ਖੁੱਲ੍ਹਾ ਮਾਡਲ ਕਿੱਥੇ ਹਾਲੇ ਪਿੱਛੇ ਹੈ, ਅਤੇ ਅਗਲੇ ਬਾਰਾਂ ਮਹੀਨਿਆਂ ਵਿੱਚ ਉਡੀਕ ਕਰਨੀ ਗਲਤ ਚੋਣ ਕਿਉਂ ਹੈ, ਇਹ ਸਮਝਾਉਂਦਾ ਹੈ।

ਤੁਹਾਨੂੰ ਕੀ ਮਿਲੇਗਾ: ਆਪਣੇ ਕੰਮ ਮੁਤਾਬਕ ਮਾਡਲ ਅਤੇ ਮੈਮੋਰੀ ਸਮਰੱਥਾ ਚੁਣੋ। ਖਰੀਦਣ ਤੋਂ ਪਹਿਲਾਂ ਹਾਰਡਵੇਅਰ ਤੇ ਬਿਜਲੀ ਦੀ ਲਾਗਤ, ਕਨਟੈਕਸਟ ਦਾ ਆਕਾਰ ਅਤੇ ਮਾਪੀ ਗਈ ਗਤੀ ਦੀ ਤੁਲਨਾ ਕਰੋ। ਬੈਂਚਮਾਰਕ ਤੁਹਾਡੇ ਕੰਮ ਦੀ ਗੁਣਵੱਤਾ ਜਾਂ ਭਵਿੱਖ ਦੀ GPU ਕੀਮਤ ਨਹੀਂ ਦੱਸਦੇ।

ਛੋਟਾ ਜਵਾਬ

ਸਥਾਨਕ 27B ਮਾਡਲ ਅਤੇ ਮੋਹਰੀ ਮਾਡਲਾਂ ਦੇ ਨੇੜੇ ਦੀ ਭੁਗਤਾਨੀ API ਵਿਚਕਾਰ ਬੁੱਧੀ ਦਾ ਫ਼ਰਕ ਮੁੱਕ ਗਿਆ ਹੈ। ਭੁਗਤਾਨੀ ਮਾਡਲ ਦੇ ਬਾਕੀ ਫ਼ਾਇਦੇ ਕੀਮਤ ਦੇ ਫ਼ਰਕ ਨਾਲੋਂ ਘੱਟ ਹਨ।

ਇੱਕੋ ਸਮੇਂ ਤਿੰਨ ਤਬਦੀਲੀਆਂ ਹੋਈਆਂ:

  • ਖੁੱਲ੍ਹੇ 27B ਮਾਡਲ ਮੋਹਰੀ ਅੰਕਾਂ ਦੇ ਨੇੜੇ ਪਹੁੰਚੇ। ਇੱਕੋ ਮੁਲਾਂਕਣ ਵਿੱਚ Qwen3.8 27B ਦਾ Intelligence Index 33.7 ਹੈ, ਜਦਕਿ Sonnet 4.6 ਦਾ 30.1 ਹੈ।
  • ਟਰਨਰੀ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਨੇ ਮੈਮੋਰੀ ਦੀ ਲੋੜ ਲਗਭਗ ਦੋ-ਤਿਹਾਈ ਘਟਾਈ। Bonsai 2 27B ਪੂਰਾ 27B ਮਾਡਲ 5.53 GiB ਵਿੱਚ ਚਲਾਉਂਦਾ ਹੈ, ਜੋ ਕੁਝ ਸੌ ਡਾਲਰ ਦੇ ਕਾਰਡਾਂ ਵਿੱਚ ਆ ਜਾਂਦਾ ਹੈ।
  • ਮੈਮੋਰੀ ਦੀ ਸਪਲਾਈ ਵਿਗੜੀ। 2026 ਦੇ ਸ਼ੁਰੂ ਵਿੱਚ ਰਵਾਇਤੀ DRAM ਦੇ ਇਕਰਾਰਨਾਮੇ ਵਾਲੇ ਭਾਅ ਪਿਛਲੀ ਤਿਮਾਹੀ ਨਾਲੋਂ 90 ਤੋਂ 95 ਫ਼ੀਸਦੀ ਵਧੇ। TrendForce ਦੇ ਰਿਕਾਰਡ ਵਿੱਚ ਇਹ ਸਭ ਤੋਂ ਵੱਡਾ ਤਿਮਾਹੀ ਉਛਾਲ ਹੈ ਅਤੇ ਅਗਲੀ ਪੀੜ੍ਹੀ ਦੇ GPU 2028 ਤੱਕ ਪਿੱਛੇ ਚਲੇ ਗਏ।

ਹੁਣ ਖਰੀਦਣਾ ਜਾਂ ਬਣਾਉਣਾ ਸਸਤਾ ਪੈਂਦਾ ਹੈ। ਇਹ ਵਿਕਰੀ ਦੀ ਗੱਲ ਨਹੀਂ, ਸਪਲਾਈ ਦੇ ਅੰਕੜੇ ਹਨ।

ਇੱਕ-GPU ਟੈਸਟ ਵੇਖੋ

ਉਪਰਲੇ ਦਾਅਵੇ ਲਈ ਸਿਰਫ਼ ਟੇਬਲ ਨਹੀਂ, ਅਮਲੀ ਦਿਖਾਵਾ ਚਾਹੀਦਾ ਹੈ। Bijan Bowen ਨੇ ਇੱਕ GPU ਵਾਲੇ ਕੰਪਿਊਟਰ ਉੱਤੇ Bonsai 2 27B ਅਜ਼ਮਾਇਆ ਅਤੇ ਪੁੱਛਿਆ ਕਿ ਕੀ ਇਹ ਅੱਜ ਇੱਕ ਕਾਰਡ ਲਈ ਸਭ ਤੋਂ ਵਧੀਆ ਮਾਡਲ ਹੈ।

ਟੋਕਨ ਪ੍ਰਤੀ ਸਕਿੰਟ ਦੇ ਅੰਕ ਦੀ ਬਜਾਏ ਜਵਾਬ ਦੀ ਗੁਣਵੱਤਾ ਵੇਖੋ। ਗਤੀ ਠੀਕ ਕਰਨੀ ਸੌਖੀ ਹੈ।

ਦੋ ਨਾਂ, ਇੱਕ ਮਾਡਲ

ਇੱਥੇ ਸਮਝਣ ਵਾਲੇ ਦੋ ਮਾਡਲ ਮੁਕਾਬਲੇਬਾਜ਼ ਨਹੀਂ ਹਨ। ਇਹ ਇੱਕੋ ਵਜ਼ਨ ਦੇ ਦੋ ਵੱਖਰੇ ਸਟੀਕਤਾ ਪੱਧਰ ਹਨ।

Qwen3.8 27Bਟਰਨਰੀ Bonsai 2 27B
ਕੀ ਹੈQwen ਦਾ ਮੂਲ ਖੁੱਲ੍ਹੇ-ਵਜ਼ਨ ਵਾਲਾ ਮਾਡਲPrism ML ਵੱਲੋਂ Qwen3.8-27B ਦਾ ਟਰਨਰੀ ਮੁੜ-ਪੈਕ
ਡਿਸਕ ਉੱਤੇ ਵਜ਼ਨ18 GB5.53 GiB (PTQ1_0) ਜਾਂ 6.70 GiB (PQ2_0)
ਪੈਰਾਮੀਟਰ27B ਸੰਘਣਾ26.90B, ਉਹੀ ਬਣਤਰ
ਕਨਟੈਕਸਟ256K262,144 ਟੋਕਨ
ਦ੍ਰਿਸ਼ਟੀਹਾਂ, ਮੂਲ ਰੂਪ ਵਿੱਚਹਾਂ, ਵੱਖਰਾ CLIP ਪ੍ਰੋਜੈਕਟਰ ਪੈਕ
ਟੂਲ ਕਾਲਿੰਗਹਾਂਹਾਂ
ਲਾਇਸੈਂਸApache 2.0Apache 2.0
ਰਨਟਾਈਮOllama, llama.cpp, MLXਕੇਵਲ Prism ML ਦੀ llama.cpp ਵਾਲੀ ਵੱਖਰੀ ਸ਼ਾਖਾ

qwen3.8 ਲਈ Ollama ਲਾਇਬ੍ਰੇਰੀ ਪੰਨਾ 27B ਮਾਡਲ ਦਾ ਆਕਾਰ 18 GB, 256K ਕਨਟੈਕਸਟ, ਦ੍ਰਿਸ਼ਟੀ ਅਤੇ ਟੂਲ ਕਾਲਿੰਗ ਦਾ ਸਮਰਥਨ ਦੱਸਦਾ ਹੈ। Apple Silicon ਲਈ ਵੱਖਰਾ MLX ਬਿਲਡ ਵੀ ਹੈ। Ollama ਉੱਤੇ ਟਰਨਰੀ ਸੰਸਕਰਣ Prism ML ਦੇ Apache-2.0 GGUF ਪੈਕਾਂ ਦੀ ਮਿਰਰ ਕਾਪੀ ਹੈ, ਜਿਸ ਨੂੰ ਉਹੀ ਜਾਂਚ-ਮੁੱਲ ਨਾਲ ਦੁਬਾਰਾ ਜਾਰੀ ਕੀਤਾ ਗਿਆ ਹੈ।

ਇਸ ਲਈ ਅਮਲੀ ਸਵਾਲ ਇਹ ਨਹੀਂ ਕਿ ਕਿਹੜਾ ਮਾਡਲ ਚੁਣੀਏ। ਸਵਾਲ ਹੈ ਕਿ ਉਸੇ ਬੁੱਧੀ ਲਈ ਕਿੰਨੀ ਮੈਮੋਰੀ ਖਰਚਣੀ ਹੈ। ਟਰਨਰੀ ਸੰਸਕਰਣ ਲਗਭਗ ਇੱਕ-ਤਿਹਾਈ ਮੈਮੋਰੀ ਲੈਂਦਾ ਹੈ ਅਤੇ ਬਹੁਤ ਘੱਟ ਸਮਰੱਥਾ ਗੁਆਉਂਦਾ ਹੈ।

ਉਸੇ 27B ਮਾਡਲ ਦੀ ਮੈਮੋਰੀ ਦੀ ਤੁਲਨਾ: ਆਮ ਸਟੀਕਤਾ ਉੱਤੇ 18 GB ਅਤੇ ਟਰਨਰੀ ਵਜ਼ਨ ਨਾਲ 5.53 GiB; ਦੋਵੇਂ ਇੱਕ ਖਪਤਕਾਰ GPU ਵਿੱਚ ਆਉਂਦੇ ਹਨ

ਬੈਂਚਮਾਰਕ ਦੀ ਤੁਲਨਾ

Artificial Analysis ਦੋਵਾਂ ਮਾਡਲਾਂ ਨੂੰ ਇੱਕੋ ਟੈਸਟ ਸਮੂਹ ਉੱਤੇ ਅੰਕ ਦਿੰਦਾ ਹੈ। ਨਤੀਜਿਆਂ ਨੂੰ ਸੰਖੇਪ ਕਰਨ ਦੀ ਬਜਾਏ ਹਰ ਕਤਾਰ ਪੜ੍ਹੋ, ਕਿਉਂਕਿ ਦੋਵੇਂ ਵੱਖ-ਵੱਖ ਥਾਵਾਂ ਉੱਤੇ ਜਿੱਤਦੇ ਹਨ।

ਬੈਂਚਮਾਰਕQwen3.8 27BClaude Sonnet 4.6ਮੋਹਰੀ
Intelligence Index33.730.1ਖੁੱਲ੍ਹਾ
Coding Index68.163.0ਖੁੱਲ੍ਹਾ
Agentic Index45.831.8ਖੁੱਲ੍ਹਾ
GPQA Diamond90.5%87.5%ਖੁੱਲ੍ਹਾ
Humanity’s Last Exam33.9%33.6%ਖੁੱਲ੍ਹਾ
AA-LCR (ਲੰਮਾ ਕਨਟੈਕਸਟ)82.0%80.0%ਖੁੱਲ੍ਹਾ
GDPval-AA45.4%36.0%ਖੁੱਲ੍ਹਾ
CritPt (ਖੋਜ ਭੌਤਿਕ ਵਿਗਿਆਨ)5.4%3.1%ਖੁੱਲ੍ਹਾ
ਭੁਲੇਖਾ-ਰਹਿਤ ਜਵਾਬਾਂ ਦੀ ਦਰ69.7%51.6%ਖੁੱਲ੍ਹਾ
SciCode46.6%50.1%Sonnet
AA-Omniscience ਸਟੀਕਤਾ15.6%40.9%Sonnet

ਤੁਲਨਾ ਯੋਗ ਗਿਆਰਾਂ ਵਿੱਚੋਂ ਨੌਂ ਕਤਾਰਾਂ ਵਿੱਚ ਖੁੱਲ੍ਹਾ ਮਾਡਲ ਮੋਹਰੀ ਹੈ, ਸਾਰੇ ਕੁੱਲ ਸੂਚਕਾਂਕਾਂ ਸਮੇਤ।

ਖੁੱਲ੍ਹਾ ਮਾਡਲ ਕਿੱਥੇ ਮੋਹਰੀ ਹੈ

ਤਿੰਨ ਕੁੱਲ ਸੂਚਕਾਂਕ ਮੁੱਖ ਨਤੀਜਾ ਦੱਸਦੇ ਹਨ। Intelligence 33.7 ਬਨਾਮ 30.1, Coding 68.1 ਬਨਾਮ 63.0, ਅਤੇ Agentic 45.8 ਬਨਾਮ 31.8। ਏਜੰਟ ਸੂਚਕਾਂਕ ਦਾ ਫ਼ਰਕ ਸਭ ਤੋਂ ਵੱਡਾ ਹੈ। ਇਹ ਇਕੱਲੇ ਪ੍ਰੌਂਪਟਾਂ ਦੀ ਬਜਾਏ ਕਈ ਪੜਾਵਾਂ ਵਾਲੇ ਸਵੈਚਾਲਿਤ ਕੰਮ ਚਲਾਉਣ ਵਾਲਿਆਂ ਲਈ ਵੱਧ ਅਹਿਮ ਹੈ।

ਪ੍ਰਤੀਸ਼ਤਕ ਦੇ ਹਿਸਾਬ ਨਾਲ Artificial Analysis ਮੁਤਾਬਕ Qwen3.8 27B ਏਜੰਟ ਸੂਚਕਾਂਕ ਵਿੱਚ 86 ਫ਼ੀਸਦੀ ਮਾਡਲਾਂ ਨਾਲੋਂ ਬਿਹਤਰ, ਅਤੇ ਕੋਡਿੰਗ ਵਿੱਚ 76 ਫ਼ੀਸਦੀ ਨਾਲੋਂ ਬਿਹਤਰ ਹੈ। Sonnet 4.6 ਦੇ ਅੰਕ ਕ੍ਰਮਵਾਰ 68 ਅਤੇ 72 ਫ਼ੀਸਦੀ ਹਨ। ਪੋਸਟਗ੍ਰੈਜੂਏਟ ਪੱਧਰ ਦੇ ਵਿਗਿਆਨਕ ਤਰਕ ਵਿੱਚ ਖੁੱਲ੍ਹੇ ਮਾਡਲ ਨੇ GPQA Diamond ਉੱਤੇ 90.5 ਫ਼ੀਸਦੀ ਲਏ।

Sonnet 4.6 ਕਿੱਥੇ ਹਾਲੇ ਮੋਹਰੀ ਹੈ

ਦੋ ਨਤੀਜੇ ਦੂਜੇ ਪਾਸੇ ਹਨ, ਅਤੇ ਦੋਵੇਂ ਅਹਿਮ ਹਨ।

AA-Omniscience ਮਾਪਦਾ ਹੈ ਕਿ ਮਾਡਲ ਗਿਆਨ ਵਾਲੇ ਸਵਾਲਾਂ ਦਾ ਪਹਿਲੀ ਵਾਰ ਵਿੱਚ ਸਹੀ ਜਵਾਬ ਦਿੰਦਾ ਹੈ ਜਾਂ ਨਹੀਂ। Sonnet 4.6 ਦਾ ਅੰਕ 40.9 ਫ਼ੀਸਦੀ ਹੈ, ਜਦਕਿ ਦੂਜੇ ਮਾਡਲ ਦਾ 15.6 ਫ਼ੀਸਦੀ। ਤੱਥਾਂ ਦੀ ਭਰੋਸੇਯੋਗਤਾ ਵਿੱਚ ਇਹ ਵੱਡਾ ਫ਼ਰਕ ਹੈ ਅਤੇ ਮਹਿੰਗੇ ਮਾਡਲ ਲਈ ਭੁਗਤਾਨ ਦਾ ਸਭ ਤੋਂ ਮਜ਼ਬੂਤ ਇਕੱਲਾ ਤਰਕ ਹੈ।

ਭੁਲੇਖਾ-ਰਹਿਤ ਜਵਾਬ ਵਾਲੀ ਕਤਾਰ ਨੂੰ ਧਿਆਨ ਨਾਲ ਪੜ੍ਹੋ। Qwen ਦੇ 69.7 ਫ਼ੀਸਦੀ ਬਨਾਮ Sonnet ਦੇ 51.6 ਫ਼ੀਸਦੀ ਸਾਫ਼ ਜਿੱਤ ਲੱਗਦੇ ਹਨ, ਅਤੇ ਇਕੱਲੇ ਵੇਖਿਆਂ ਹਨ ਵੀ। ਪਰ ਇਹ ਮਾਪ ਗਲਤ ਜਵਾਬਾਂ ਵਿੱਚੋਂ ਉਸ ਹਿੱਸੇ ਨੂੰ ਦੱਸਦਾ ਹੈ ਜਿਸ ਵਿੱਚ ਜਾਣਕਾਰੀ ਘੜੀ ਨਹੀਂ ਗਈ। ਘੱਟ ਸਟੀਕ ਮਾਡਲ ਵੱਧ ਗਲਤ ਜਵਾਬ ਦਿੰਦਾ ਹੈ, ਇਸ ਲਈ ਦੋਵੇਂ ਫ਼ੀਸਦ ਵੱਖਰੇ ਸਮੂਹ ਦਰਸਾਉਂਦੇ ਹਨ ਅਤੇ ਸਿੱਧੇ ਤੁਲਨਾ ਯੋਗ ਨਹੀਂ। ਪਹਿਲਾਂ ਸਟੀਕਤਾ ਵਾਲੀ ਕਤਾਰ ਪੜ੍ਹੋ।

SciCode ਵਿੱਚ ਵੀ Sonnet 50.1 ਫ਼ੀਸਦੀ ਬਨਾਮ 46.6 ਫ਼ੀਸਦੀ ਨਾਲ ਅੱਗੇ ਹੈ। ਇਹ IFBench ਅਤੇ Terminal-Bench Hard ਦੇ ਨਤੀਜੇ ਵੀ ਦਿੰਦਾ ਹੈ, ਜੋ ਖੁੱਲ੍ਹੇ ਮਾਡਲ ਦੀ ਸੂਚੀ ਵਿੱਚ ਨਹੀਂ ਹਨ। ਉਨ੍ਹਾਂ ਦੀ ਤੁਲਨਾ ਸੰਭਵ ਨਹੀਂ।

ਦੋ ਸਪਸ਼ਟ ਸਾਵਧਾਨੀਆਂ

ਜਾਰੀ ਹੋਣ ਦੀਆਂ ਤਾਰੀਖਾਂ ਵਿੱਚ ਛੇ ਮਹੀਨੇ ਦਾ ਫ਼ਰਕ ਹੈ। Sonnet 4.6 ਫ਼ਰਵਰੀ 2026 ਵਿੱਚ ਜਾਰੀ ਹੋਇਆ। Qwen3.8 27B ਅਗਸਤ 2026 ਵਿੱਚ ਆਇਆ। ਫ਼ਰਵਰੀ ਦੇ ਮੋਹਰੀ ਮਾਡਲ ਦੀ ਅਗਸਤ ਦੇ ਖੁੱਲ੍ਹੇ ਮਾਡਲ ਨਾਲ ਤੁਲਨਾ ਬਰਾਬਰ ਦਾ ਮੁਕਾਬਲਾ ਨਹੀਂ।

Sonnet 4.6 ਹੁਣ Anthropic ਦਾ ਮੋਹਰੀ ਮਾਡਲ ਨਹੀਂ। Sonnet 5 ਅਤੇ Opus 5 ਹੁਣ ਇਸ ਤੋਂ ਉੱਪਰ ਹਨ। ਖੁੱਲ੍ਹਾ 27B 2026 ਦੇ ਮੱਧ ਦੇ ਫਲੈਗਸ਼ਿਪ ਤੱਕ ਪਹੁੰਚਿਆ ਹੈ, ਮੌਜੂਦਾ ਸਿਖਰ ਤੱਕ ਨਹੀਂ। ਉਲਟ ਦਾਅਵਾ ਕਰਨਾ ਟੇਬਲ ਤੋਂ ਹੱਦੋਂ ਵੱਧ ਨਤੀਜਾ ਕੱਢਣਾ ਹੈ।

ਬੈਂਚਮਾਰਕ ਟੈਸਟਾਂ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਮਾਪਦੇ ਹਨ। ਤੁਹਾਡੇ ਆਪਣੇ ਕੰਮ ਦਾ ਅੰਕ ਹੀ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ।

ਟਰਨਰੀ ਵਜ਼ਨ ਕੀ ਬਦਲਦੇ ਹਨ

Bonsai 2 ਛੋਟਾ ਮਾਡਲ ਨਹੀਂ। ਇਹ ਬਹੁਤ ਘੱਟ ਅੰਕੀ ਸਟੀਕਤਾ ਵਾਲਾ ਉਹੀ 26.90B ਮਾਡਲ ਹੈ ਅਤੇ ਪ੍ਰਕਾਸ਼ਿਤ GGUF ਵੇਰਵਾ-ਡੇਟਾ ਇਹ ਅਦਲਾ-ਬਦਲੀ ਸਪਸ਼ਟ ਕਰਦਾ ਹੈ।

ਵਿਸ਼ੇਸ਼ਤਾਮੁੱਲ
ਬਣਤਰqwen35, ਹਰ ਚੌਥੀ ਪਰਤ ਉੱਤੇ ਪੂਰੀ ਧਿਆਨ-ਪ੍ਰਣਾਲੀ ਵਾਲੀ ਮਿਲੀ-ਝੁਲੀ ਧਿਆਨ-ਪ੍ਰਣਾਲੀ, ਨਾਲ ਸਟੇਟ-ਸਪੇਸ ਪਰਤਾਂ
ਪੈਰਾਮੀਟਰ26.90B
ਬਲਾਕ64
Embedding ਚੌੜਾਈ5120
Attention24 query head, 4 KV head, key/value ਲੰਬਾਈ 256
ਕਨਟੈਕਸਟ262,144 ਟੋਕਨ, RoPE base 1e7
ਵਜ਼ਨ ਫਾਰਮੈਟਟਰਨਰੀ, ਸਮੂਹ ਆਕਾਰ 128। ਹਰ ਵਜ਼ਨ ਲਈ PQ2_0 2.13 ਬਿੱਟ ਅਤੇ PTQ1_0 1.75
ਦ੍ਰਿਸ਼ਟੀ ਟਾਵਰCLIP, 460.73M ਪੈਰਾਮੀਟਰ, ਵੱਖਰੇ ਪ੍ਰੋਜੈਕਟਰ ਪੈਕ ਵਜੋਂ
ਲਾਇਸੈਂਸApache 2.0

ਟਰਨਰੀ ਵਜ਼ਨ ਦਾ ਮਤਲਬ ਹੈ ਹਰ ਪੈਰਾਮੀਟਰ ਲਈ ਸੋਲ੍ਹਾਂ ਦੀ ਬਜਾਏ ਤਿੰਨ ਮੁੱਲਾਂ ਵਿੱਚੋਂ ਇੱਕ। ਇਹੀ ਸੰਕੋਚ ਮੁੱਖ ਗੱਲ ਹੈ ਅਤੇ ਇਸੇ ਨਾਲ ਪੂਰਾ 27B ਮਾਡਲ 18 GB ਦੀ ਬਜਾਏ 5.53 GiB ਵਿੱਚ ਆ ਜਾਂਦਾ ਹੈ।

ਮਾਪੀ ਗਈ ਗਤੀ

32 GB RTX 5090 ਉੱਤੇ llama-bench ਨਾਲ ਮਾਪਿਆ ਗਿਆ। ਸਾਰੀਆਂ ਪਰਤਾਂ GPU ਉੱਤੇ, flash attention ਚਾਲੂ, ਤਿੰਨ ਵਾਰ ਚਲਾਉਣ ਦਾ ਔਸਤ:

ਪੈਕਵਜ਼ਨਪਹਿਲਾਂ-ਪੜ੍ਹਾਈ (pp512)ਡੀਕੋਡਿੰਗ (tg128)
PQ2_06.70 GiB3802.74 tok/s135.41 tok/s
PTQ1_05.53 GiB1876.31 tok/s131.41 tok/s

PQ2_0 ਦਾ ਪ੍ਰੀਫ਼ਿਲ PTQ1_0 ਨਾਲੋਂ 2.03 ਗੁਣਾ ਤੇਜ਼ ਹੈ, ਜਦਕਿ ਡੀਕੋਡਿੰਗ ਦੇ ਅੰਕੜੇ ਮੁਤਾਬਕ ਬਰਾਬਰ ਹੈ। ਇਸ ਲਈ PQ2_0 ਸਮਝਦਾਰੀ ਵਾਲਾ ਮੂਲ ਵਿਕਲਪ ਹੈ। PTQ1_0 ਉਦੋਂ ਲਵੋ ਜਦੋਂ ਆਖ਼ਰੀ 1.2 GiB ਮਾਇਨੇ ਰੱਖਦਾ ਹੋਵੇ। 65K ਕਨਟੈਕਸਟ ਨਾਲ llama-server ਨੇ ਲਗਾਤਾਰ ਭੇਜੀ ਇੱਕ ਬੇਨਤੀ ਉੱਤੇ 136.5 tok/s ਡੀਕੋਡਿੰਗ ਕਾਇਮ ਰੱਖਿਆ।

ਦਿਨ-ਪ੍ਰਤੀ-ਦਿਨ ਵਰਤੋਂ ਵਿੱਚ ਡੀਕੋਡਿੰਗ ਦੀ ਗਤੀ ਮਹਿਸੂਸ ਹੁੰਦੀ ਹੈ। ਹਰ ਸਕਿੰਟ 135 ਟੋਕਨ ਪੜ੍ਹਨ ਦੀ ਰਫ਼ਤਾਰ ਨਾਲੋਂ ਕਾਫ਼ੀ ਵੱਧ ਹਨ। ਸਥਾਨਕ ਇਨਫਰੈਂਸ ਦਾ ਕਾਰਨ ਜਵਾਬੀ ਦੇਰੀ ਨਹੀਂ, ਕਿਉਂਕਿ ਹੋਸਟ ਕੀਤੀ API ਪਹਿਲਾਂ ਹੀ ਕਾਫ਼ੀ ਤੇਜ਼ ਹੈ। ਕਾਰਨ ਲਾਗਤ, ਪਰਦੇਦਾਰੀ ਅਤੇ ਕਾਬੂ ਹਨ।

ਉਹ ਗੱਲ ਜਿਸਦਾ ਕੋਈ ਜ਼ਿਕਰ ਨਹੀਂ ਕਰਦਾ

ਆਮ Ollama ਇਹ ਫ਼ਾਈਲਾਂ ਲੋਡ ਨਹੀਂ ਕਰ ਸਕਦਾ। ਟਰਨਰੀ ਕਰਨਲ Prism ML ਦੀ llama.cpp ਵਾਲੀ ਵੱਖਰੀ ਸ਼ਾਖਾ ਵਿੱਚ ਹਨ। Ollama 0.34.2 ਉੱਤੇ ਜਾਂਚ ਕਰਨ ’ਤੇ ਲੋਡ ਕਰਨਾ unsupported tensor "output.weight" size overflows ਨਾਲ ਫੇਲ੍ਹ ਹੁੰਦਾ ਹੈ। ਰਨਟਾਈਮ qwen35 ਬਣਤਰ ਪਛਾਣਦਾ ਹੈ, ਪਰ ਇਸ ਦੀਆਂ ਲਾਇਬ੍ਰੇਰੀਆਂ ਵਿੱਚ pq2_0 ਜਾਂ ptq1_0 ਨਹੀਂ ਹਨ ਅਤੇ Hadamard ਸਰਗਰਮੀ ਰਨਟਾਈਮ ਵੀ ਨਹੀਂ।

ਇੱਕ ਹੋਰ ਫੰਦਾ ਵੀ ਹੈ ਜੋ ਸ਼ਾਮ ਬਰਬਾਦ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਜਾਣਨਾ ਚਾਹੀਦਾ ਹੈ। ਇਸ ਪਰਿਵਾਰ ਦਾ F16 ਪੈਕ ਸੁਰੱਖਿਅਤ ਬਦਲਵਾਂ ਪੈਕ ਲੱਗਦਾ ਹੈ, ਪਰ ਹੈ ਨਹੀਂ। ਇਸ ਦੇ ਟੈਨਸਰ ਸਧਾਰਨ F16 ਅਤੇ F32 ਹਨ, ਇਸ ਲਈ ਇਹ ਬਿਨਾਂ ਸ਼ਿਕਾਇਤ ਪਾਰਸ ਤੇ ਲੋਡ ਹੋ ਜਾਂਦਾ ਹੈ, ਫਿਰ ਬੇਸੁਰਾ ਪਾਠ ਡੀਕੋਡ ਕਰਦਾ ਹੈ। ਵਜ਼ਨ prism.hadamard.* ਵੇਰਵਾ-ਡੇਟਾ ਵਿੱਚ ਦੱਸੇ ਘੁੰਮਾਏ ਹੋਏ ਆਧਾਰ ਵਿੱਚ ਹਨ। ਰਨਟਾਈਮ ਨੂੰ ਮੇਲ ਖਾਂਦਾ ਘੁੰਮਾਵ ਲਾਉਣਾ ਪਵੇਗਾ, ਨਹੀਂ ਤਾਂ ਨਤੀਜਾ ਬੇਮਤਲਬ ਹੋਵੇਗਾ। 50.1 GiB ਦਾ F16 ਪੈਕ 32 GB ਕਾਰਡ ਉੱਤੇ ਪੂਰਾ GPU ਵਿੱਚ ਨਹੀਂ ਸਮਾਏਗਾ।

ਡਾਊਨਲੋਡ ਤੋਂ ਪਹਿਲਾਂ ਮਾਡਲ ਦੀ ਜਾਣਕਾਰੀ ਪੜ੍ਹੋ। ਕਮਿਊਨਿਟੀ ਮਿਰਰ ਸਮਰਥਿਤ ਬਿਲਡ ਨਹੀਂ, ਅਤੇ ਪੰਨੇ ਉੱਤੇ ਇਹ ਸਾਫ਼ ਕਿਹਾ ਹੈ।

ਪਿੱਛੇ MoE ਦੀ ਲਹਿਰ

ਸੰਘਣੇ 27B ਮਾਡਲ ਕਹਾਣੀ ਦਾ ਅੱਧਾ ਹਿੱਸਾ ਹਨ। Mixture-of-experts ਮਾਡਲ ਹਰ ਟੋਕਨ ਉੱਤੇ ਆਪਣੇ ਪੈਰਾਮੀਟਰਾਂ ਦਾ ਛੋਟਾ ਹਿੱਸਾ ਸਰਗਰਮ ਕਰਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਅਰਥਵਿਵਸਥਾ ਫਿਰ ਬਦਲਦੀ ਹੈ।

ਮਾਡਲਕੁੱਲ / ਸਰਗਰਮਕਨਟੈਕਸਟਨੋਟ
Qwen3.8 2.4T A95B2.4T / 95B1.0MQwen3.8 Max ਦਾ ਖੁੱਲ੍ਹੇ ਵਜ਼ਨਾਂ ਵਾਲਾ ਸਾਥੀ ਮਾਡਲ
Qwen3.6 35B A3B35B / 3B262KApache 2.0, ਮਿਲਿਆ-ਝੁਲਿਆ sparse MoE
Qwen3 Coder Next80B / 3B256Kਹਮੇਸ਼ਾ ਚੱਲਦੇ ਕੋਡਿੰਗ ਏਜੰਟ ਲਈ ਖੁੱਲ੍ਹੇ ਵਜ਼ਨ

ਸਥਾਨਕ ਕੰਮ ਲਈ Qwen3 Coder Next ਉੱਤੇ ਨਜ਼ਰ ਰੱਖੋ। ਕੁੱਲ 80B ਵਿੱਚੋਂ ਹਰ ਟੋਕਨ ਲਈ ਸਿਰਫ਼ 3B ਪੈਰਾਮੀਟਰ ਸਰਗਰਮ ਹੁੰਦੇ ਹਨ। ਇਹ CLI ਅਤੇ IDE ਮਾਹੌਲ ਵਿੱਚ ਹਮੇਸ਼ਾ ਚੱਲਣ ਵਾਲੇ ਏਜੰਟ ਲਈ ਬਣਾਇਆ ਗਿਆ ਹੈ। 3B ਪੈਰਾਮੀਟਰ ਸਰਗਰਮ ਕਰਨ ਵਾਲਾ ਮਾਡਲ 3B ਮਾਡਲ ਦੀ ਗਤੀ ਨਾਲ ਲਿਖਦਾ ਹੈ, ਪਰ 80B ਦੀ ਸੰਭਾਲੀ ਸਮਰੱਥਾ ਵਰਤਦਾ ਹੈ। ਮੂਲ ਨੋਟਾਂ ਮੁਤਾਬਕ ਇਸ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ 10 ਤੋਂ 20 ਗੁਣਾ ਵੱਧ ਸਰਗਰਮ ਗਣਨਾ ਵਾਲੇ ਮਾਡਲਾਂ ਵਰਗੀ ਹੈ।

ਸੰਘਣਾ 27B ਅੱਜ ਸੁਰੱਖਿਅਤ ਚੋਣ ਹੈ। ਕਾਰਗੁਜ਼ਾਰੀ ਸੁਧਾਰਨ ਦੀ ਥਾਂ sparse ਮਾਡਲ ਹਨ।

ਸੰਘਣਾ 27B ਮਾਡਲ ਹਰ ਟੋਕਨ ਲਈ ਸਾਰੇ ਪੈਰਾਮੀਟਰ ਸਰਗਰਮ ਕਰਦਾ ਹੈ, ਜਦਕਿ sparse mixture-of-experts ਮਾਡਲ 80 ਅਰਬ ਵਿੱਚੋਂ ਸਿਰਫ਼ 3 ਅਰਬ ਸਰਗਰਮ ਕਰਦਾ ਹੈ—ਇਸ ਦਾ ਚਿੱਤਰ

ਹਾਰਡਵੇਅਰ ਖਰੀਦਣ ਦਾ ਸਮਾਂ ਘਟ ਰਿਹਾ ਹੈ

ਇਸ ਕਹਾਣੀ ਦੇ ਇਸ ਹਿੱਸੇ ਨਾਲ ਅੰਤਿਮ ਸਮਾਂ ਜੁੜਿਆ ਹੈ।

ਸਥਾਨਕ ਇਨਫਰੈਂਸ ਉਸੇ ਵੇਲੇ ਸਸਤੀ ਹੋਈ ਜਦੋਂ ਇਸ ਲਈ ਲੋੜੀਂਦੀ ਮੈਮੋਰੀ ਮਹਿੰਗੀ ਹੋਣ ਲੱਗੀ। ਦੋਵੇਂ ਰੁਝਾਨ ਟਕਰਾ ਰਹੇ ਹਨ ਅਤੇ ਅਸਰ ਦੁਕਾਨਾਂ ਦੇ ਭਾਅ ਵਿੱਚ ਦਿਸ ਰਿਹਾ ਹੈ।

ਮੈਮੋਰੀ ਦੀਆਂ ਕੀਮਤਾਂ ਨਾਲ ਕੀ ਹੋਇਆ

2026 ਦੀ ਪਹਿਲੀ ਤਿਮਾਹੀ ਵਿੱਚ ਰਵਾਇਤੀ DRAM ਦੇ ਇਕਰਾਰਨਾਮੇ ਵਾਲੇ ਭਾਅ ਪਿਛਲੀ ਤਿਮਾਹੀ ਨਾਲੋਂ 90 ਤੋਂ 95 ਫ਼ੀਸਦੀ ਵਧੇ, ਜੋ TrendForce ਦੇ ਰਿਕਾਰਡ ਵਿੱਚ ਸਭ ਤੋਂ ਵੱਡਾ ਤਿਮਾਹੀ ਵਾਧਾ ਹੈ। ਇਸੇ ਸਮੇਂ NAND flash 55 ਤੋਂ 60 ਫ਼ੀਸਦੀ ਵਧਿਆ।

ਦਬਾਅ ਘੱਟ ਨਹੀਂ ਹੋਇਆ। TrendForce ਦੇ ਅੰਕੜੇ ਦੂਜੀ ਤਿਮਾਹੀ ਵਿੱਚ DRAM ਦੇ ਹੋਰ 58 ਤੋਂ 63 ਫ਼ੀਸਦੀ ਅਤੇ NAND ਦੇ 70 ਤੋਂ 75 ਫ਼ੀਸਦੀ ਵਾਧੇ ਦੱਸਦੇ ਹਨ। ਤੀਜੀ ਤਿਮਾਹੀ ਦੀ ਹੌਲੀ ਚੜ੍ਹਤ—DRAM 13 ਤੋਂ 18 ਫ਼ੀਸਦੀ ਅਤੇ NAND 10 ਤੋਂ 15 ਫ਼ੀਸਦੀ—ਰਾਹਤ ਨਹੀਂ, ਸਗੋਂ ਰਿਕਾਰਡ ਵਾਲੀਆਂ ਦੋ ਤਿਮਾਹੀਆਂ ਉੱਤੇ ਹੋਰ ਮਹਿੰਗਾਈ ਹੈ।

ਕਾਰਨ ਢਾਂਚਾਗਤ ਹੈ, ਚੱਕਰੀ ਨਹੀਂ। AI ਡੇਟਾ ਕੇਂਦਰਾਂ ਦੀ ਉਸਾਰੀ ਕਾਰਨ ਉਹ ਮੈਮੋਰੀ ਸਮਰੱਥਾ ਖਪ ਰਹੀ ਹੈ ਜੋ ਪਹਿਲਾਂ ਫ਼ੋਨਾਂ, ਲੈਪਟਾਪਾਂ ਅਤੇ ਗੇਮ ਕਨਸੋਲਾਂ ਨੂੰ ਮਿਲਦੀ ਸੀ। ਮੈਮੋਰੀ ਨਿਰਮਾਤਾ ਵੱਧ ਮੁਨਾਫ਼ੇ ਵਾਲੇ ਆਰਡਰ ਪਹਿਲਾਂ ਲੈਂਦੇ ਹਨ। ਮੋਡੀਊਲ ਸਪਲਾਈ ਦੀ ਨਿਗਰਾਨੀ ਕਰਨ ਵਾਲੇ ਵਿਸ਼ਲੇਸ਼ਕ ਅਨੁਮਾਨ ਲਾਉਂਦੇ ਹਨ ਕਿ 2027 ਵਿੱਚ ਮੋਡੀਊਲ ਨਿਰਮਾਤਾਵਾਂ ਨੂੰ DRAM ਚਿੱਪਾਂ ਦੀ ਸਪਲਾਈ 70 ਫ਼ੀਸਦੀ ਤੋਂ ਵੱਧ ਘਟੇਗੀ।

Intel ਦੇ CEO ਨੇ ਇਸ ਦੀ ਗਿਣਤੀ ਦੱਸੀ। 15 ਸਤੰਬਰ 2026 ਨੂੰ Santa Clara ਵਿੱਚ AI Infrastructure Summit ਦੌਰਾਨ Lip-Bu Tan ਨੇ ਕਿਹਾ ਕਿ ਮੈਮੋਰੀ ਦੇ ਭਾਅ ਪਿਛਲੇ ਪੱਧਰਾਂ ਨਾਲੋਂ “ਪੰਜ, ਛੇ ਅਤੇ ਸੱਤ ਗੁਣਾ” ਵਧ ਚੁੱਕੇ ਹਨ। ਉਨ੍ਹਾਂ ਨੇ ਚੇਤਾਇਆ ਕਿ ਹੁਣ ਸਸਤੇ ਲੈਪਟਾਪ ਦੀ ਸਮੱਗਰੀ ਲਾਗਤ ਦਾ 70 ਤੋਂ 80 ਫ਼ੀਸਦੀ ਸਿਰਫ਼ ਮੈਮੋਰੀ ਹੈ। ਉਨ੍ਹਾਂ ਨੇ ਵੱਖਰੇ ਤੌਰ ’ਤੇ ਕਿਹਾ ਕਿ 2028 ਤੱਕ ਰਾਹਤ ਨਹੀਂ।

DRAM ਵੇਫ਼ਰ ਅਤੇ ਨਵੀਂ ਪੀੜ੍ਹੀ ਦੇ ਲਾਜਿਕ ਵੇਫ਼ਰ ਦੀ ਪ੍ਰਤੀ ਖੇਤਰ ਕੀਮਤ ਬਾਰੇ ਸੁਤੰਤਰ ਰਿਪੋਰਟ ਵਿੱਚ ਇੱਕ ਅਹਿਮ ਸਾਵਧਾਨੀ ਹੈ। ਮੌਕੇ ਦੇ ਭਾਅ ਇਕਰਾਰਨਾਮੇ ਦੇ ਭਾਅ ਨਹੀਂ ਹੁੰਦੇ, ਅਤੇ DDR5 ਦੀ ਮੌਕੇ ’ਤੇ ਖਰੀਦ ਇੰਨੀ ਘੱਟ ਹੈ ਕਿ ਇਹ ਤੁਲਨਾ ਸੰਕੇਤ ਦਿੰਦੀ ਹੈ, ਪੱਕਾ ਨਤੀਜਾ ਨਹੀਂ। ਪਰ ਕੀਮਤਾਂ ਦੀ ਦਿਸ਼ਾ ਸਪਸ਼ਟ ਹੈ।

2026 ਵਿੱਚ DRAM ਦੇ ਇਕਰਾਰਨਾਮਾ ਭਾਅ ਵਿੱਚ ਤਿਮਾਹੀ ਵਾਧਾ: ਪਹਿਲੀ ਤਿਮਾਹੀ ਵਿੱਚ 90 ਤੋਂ 95 ਫ਼ੀਸਦੀ ਛਾਲ ਅਤੇ ਤੀਜੀ ਤਿਮਾਹੀ ਵਿੱਚ ਘਟ ਕੇ 13 ਤੋਂ 18 ਫ਼ੀਸਦੀ

ਗ੍ਰਾਫਿਕਸ ਕਾਰਡਾਂ ਉੱਤੇ ਅਸਰ

ਗ੍ਰਾਫਿਕਸ ਕਾਰਡ ਦੀ ਸਮੱਗਰੀ ਲਾਗਤ ਵਿੱਚ ਮੈਮੋਰੀ ਦਾ ਵੱਡਾ ਹਿੱਸਾ ਹੁੰਦਾ ਹੈ, ਇਸ ਲਈ DRAM ਦੀ ਕੀਮਤ ਸਿੱਧੀ GPU ਦੀ ਕੀਮਤ ਵਿੱਚ ਆਉਂਦੀ ਹੈ।

ਕਾਰਡ2025 ਦੀ ਸ਼ੁਰੂਆਤਸਤੰਬਰ 2026
Nvidia RTX 5090$1,999$5,000 ਤੋਂ ਵੱਧ
Asus RTX 5080$1,199$1,595
AMD RX 9070 XTਲਗਭਗ $830$1,037 ਤੋਂ ਵੱਧ

ਇਹ ਵਾਧੇ 2026 ਦੌਰਾਨ ਵੱਖਰੀਆਂ ਛਾਲਾਂ ਦੀ ਬਜਾਏ ਕਈ ਤਾਲਮੇਲ ਵਾਲੀਆਂ ਲਹਿਰਾਂ ਵਿੱਚ ਆਏ। Nvidia ਨੇ ਜਨਵਰੀ ਵਿੱਚ, ਮਈ ਵਿੱਚ ਖ਼ਾਸ ਤੌਰ ’ਤੇ RTX 5090 ਲਈ, ਅਤੇ ਸਾਲ ਦੇ ਅਖੀਰ ਵਿੱਚ ਫਿਰ ਭਾਅ ਵਧਾਏ। AMD ਨੇ ਅਗਸਤ ਵਿੱਚ ਚੁਣੇ Radeon ਕਾਰਡਾਂ ਅਤੇ GDDR6 ਮੈਮੋਰੀ ਕਿੱਟਾਂ ਉੱਤੇ ਘੱਟੋ-ਘੱਟ 10 ਫ਼ੀਸਦੀ ਵਾਧਾ ਕੀਤਾ ਅਤੇ ਕਾਰਨ ਮੈਮੋਰੀ ਦੀ ਲਾਗਤ ਦੱਸੀ।

ਅਗਲੀ ਪੀੜ੍ਹੀ ਜਾਰੀ ਹੋਣ ਦੀ ਬਜਾਏ ਪਿੱਛੇ ਗਈ। ਮੈਮੋਰੀ ਦੀ ਉਪਲਬਧਤਾ ਕਾਰਨ Nvidia ਦੀ RTX 60 ਲੜੀ ਹੁਣ 2028 ਵਿੱਚ ਉਮੀਦ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ਅਤੇ 2027 ਪੂਰਾ ਛੱਡਿਆ ਜਾਵੇਗਾ।

ਅੱਜ ਖਰੀਦਿਆ ਕਾਰਡ ਅਗਲੇ ਸਾਲ ਦੇ ਸਸਤੇ ਕਾਰਡ ਨਾਲ ਮੁਕਾਬਲਾ ਨਹੀਂ ਕਰਦਾ। ਇਹ ਆਪਣੇ ਹੀ ਹੋਰ ਮਹਿੰਗੇ ਰੂਪ ਨਾਲ ਮੁਕਾਬਲਾ ਕਰਦਾ ਹੈ।

ਉਡੀਕ ਕਰਨੀ ਮਹਿੰਗੀ ਚੋਣ ਕਿਉਂ ਹੈ

ਹਾਰਡਵੇਅਰ ਬਾਰੇ ਆਮ ਸਲਾਹ ਅਗਲੀ ਪੀੜ੍ਹੀ ਦੀ ਉਡੀਕ ਕਰਨ ਦੀ ਹੁੰਦੀ ਹੈ। ਮੈਮੋਰੀ ਦੀ ਸਪਲਾਈ ਘੱਟ ਹੋਣ ਵਾਲੇ ਬਾਜ਼ਾਰ ਵਿੱਚ ਇਹ ਸਲਾਹ ਤੁਹਾਡੇ ਵਿਰੁੱਧ ਕੰਮ ਕਰਦੀ ਹੈ।

ਤਿੰਨ ਗੱਲਾਂ ਇਸ ਤਰਕ ਨੂੰ ਸਹਾਰਾ ਦਿੰਦੀਆਂ ਹਨ।

ਕੀਮਤਾਂ ਪਹਿਲਾਂ ਹੀ ਵਧ ਚੁੱਕੀਆਂ ਹਨ ਅਤੇ ਹੋਰ ਚੜ੍ਹ ਰਹੀਆਂ ਹਨ। ਇੱਕ ਤਿਮਾਹੀ ਵਿੱਚ DRAM ਦੇ ਇਕਰਾਰਨਾਮੇ ਵਾਲੇ ਭਾਅ 90 ਤੋਂ 95 ਫ਼ੀਸਦੀ ਵਧਣਾ ਆਮ ਉਛਾਲ ਨਹੀਂ ਜੋ ਅਗਲੀ ਤਿਮਾਹੀ ਵਿੱਚ ਮੁੜ ਜਾਵੇ। TrendForce ਤੀਜੀ ਤਿਮਾਹੀ ਵਿੱਚ ਹੋਰ ਵਾਧੇ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰਦਾ ਹੈ, ਕਮੀ ਦੀ ਨਹੀਂ। Intel ਦੇ CEO ਨੇ ਰਾਹਤ 2028 ਵਿੱਚ ਦੱਸੀ ਹੈ।

2027 ਵਿੱਚ ਉਡੀਕਣ ਲਈ ਕੋਈ ਉਤਪਾਦ ਨਹੀਂ। ਜਦੋਂ ਅਗਲੀ ਪੀੜ੍ਹੀ ਦੇ ਖਪਤਕਾਰ GPU 2028 ਤੱਕ ਪਿੱਛੇ ਜਾਂਦੇ ਹਨ, ਉਡੀਕ ਦੀ ਯੋਜਨਾ ਦੋ ਸਾਲ ਲੰਬੀ ਹੋ ਜਾਂਦੀ ਹੈ। ਇਹ ਹਾਰਡਵੇਅਰ ਬਦਲਣ ਦੇ ਲਗਭਗ ਪੂਰੇ ਚੱਕਰ ਨੂੰ ਬਿਨਾਂ ਨਤੀਜੇ ਦੀ ਉਡੀਕ ਵਿੱਚ ਗੁਜ਼ਾਰਨਾ ਹੈ।

ਮਾਡਲ ਪਹਿਲਾਂ ਹੀ ਕਾਫ਼ੀ ਚੰਗੇ ਹਨ। 2026 ਵਿੱਚ ਇਹ ਗੱਲ ਬਦਲੀ ਹੈ। ਦੋ ਸਾਲ ਪਹਿਲਾਂ ਸਥਾਨਕ ਹਾਰਡਵੇਅਰ ਦਾ ਤਜਰਬਾ ਸਪਸ਼ਟ ਤੌਰ ’ਤੇ ਘੱਟ ਸੀ। ਅੱਜ ਉਹੀ ਪੈਸੇ 135 ਟੋਕਨ ਪ੍ਰਤੀ ਸਕਿੰਟ ਅਤੇ 262K ਕਨਟੈਕਸਟ ਵਾਲਾ 27B ਮਾਡਲ ਦਿੰਦੇ ਹਨ, ਜੋ ਕੁੱਲ ਬੁੱਧੀ ਸੂਚਕਾਂਕ ਵਿੱਚ ਪ੍ਰੀਮੀਅਮ API ਮਾਡਲ ਤੋਂ ਅੱਗੇ ਹੈ।

ਜੇ ਤੁਸੀਂ ਸਥਾਨਕ ਮਾਡਲ ਚੰਗੇ ਹੋਣ ਦੀ ਉਡੀਕ ਕਰ ਰਹੇ ਸੀ, ਉਹ ਉਡੀਕ ਮੁੱਕ ਗਈ। ਜੇ ਸਸਤੇ ਹਾਰਡਵੇਅਰ ਦੀ ਉਡੀਕ ਹੈ, ਸਪਲਾਈ ਦੇ ਅੰਕੜੇ 2028 ਤੱਕ ਉਡੀਕ ਦੱਸਦੇ ਹਨ।

ਕੀ ਬਣਾਉਣਾ ਹੈ

ਉਪਰਲੇ ਮਾਡਲਾਂ ਨਾਲ ਹਾਰਡਵੇਅਰ ਮਿਲਾਉਣਾ ਸੌਖਾ ਹੈ, ਕਿਉਂਕਿ ਟਰਨਰੀ ਵਜ਼ਨ ਨੇ ਲੋੜ ਘਟਾਈ ਹੈ।

ਪੱਧਰਮੈਮੋਰੀਆਰਾਮ ਨਾਲ ਕੀ ਚੱਲੇਗਾ
ਸ਼ੁਰੂਆਤੀ8 ਤੋਂ 12 GB VRAM5.53 ਤੋਂ 6.70 GiB ਟਰਨਰੀ 27B, ਕਨਟੈਕਸਟ ਲਈ ਵਾਧੂ ਥਾਂ ਸਮੇਤ
ਵਿਹਾਰਕ16 ਤੋਂ 24 GB VRAMਪੂਰਾ 18 GB Qwen3.8 27B ਜਾਂ ਲੰਮੇ ਕਨਟੈਕਸਟ ਲਈ ਟਰਨਰੀ ਪੈਕ
ਆਰਾਮਦਾਇਕ32 GB VRAMਪੂਰੇ 262K ਕਨਟੈਕਸਟ ਉੱਤੇ ਟਰਨਰੀ 27B ਜਾਂ 3B ਸਰਗਰਮ ਵਾਲਾ 80B MoE
ਸਾਂਝੀ ਮੈਮੋਰੀ64 ਤੋਂ 128 GBApple Silicon ਜਾਂ ਸਾਂਝੀ ਮੈਮੋਰੀ ਡੈਸਕਟਾਪ ਉੱਤੇ ਵੱਡੇ sparse MoE ਮਾਡਲ

ਕੁਝ ਅਮਲੀ ਗੱਲਾਂ ਪੱਧਰ ਵਾਲੀ ਟੇਬਲ ਨਾਲੋਂ ਵੱਧ ਅਹਿਮ ਹਨ:

  • ਫਲੈਗਸ਼ਿਪ GPU ਨਹੀਂ, ਮੈਮੋਰੀ ਖਰੀਦੋ। 5.53 GiB ਟਰਨਰੀ ਪੈਕ ਸ਼ੁਰੂਆਤੀ ਪੱਧਰ ਨੂੰ ਸੱਚਮੁੱਚ ਵਰਤਣ ਯੋਗ ਬਣਾਉਂਦਾ ਹੈ। 2026 ਦੇ ਭਾਅ ’ਤੇ ਮਹਿੰਗਾ ਕਾਰਡ ਲੈਣ ਨਾਲੋਂ ਬਚੇ ਪੈਸੇ ਸਿਸਟਮ RAM ਅਤੇ ਸਟੋਰੇਜ ਉੱਤੇ ਲਗਾਉਣਾ ਚੰਗਾ ਹੈ।
  • ਸਾਂਝੀ ਮੈਮੋਰੀ ਵਾਲੇ ਸਿਸਟਮ ਕਿਫ਼ਾਇਤੀ ਹਨ। ਘੱਟੋ-ਘੱਟ 64 GB ਸਾਂਝੀ ਮੈਮੋਰੀ ਵਾਲਾ ਕੰਪਿਊਟਰ ਉਸੇ ਸਮਰੱਥਾ ਦੇ ਵੱਖਰੇ ਕਾਰਡ ਦੀ ਲਾਗਤ ਦੇ ਛੋਟੇ ਹਿੱਸੇ ਵਿੱਚ ਵੱਡੇ sparse ਮਾਡਲ ਚਲਾਉਂਦਾ ਹੈ।
  • ਬਿਜਲੀ ਅਤੇ ਠੰਢਕ ਅਹਿਮ ਹਨ। ਘੰਟਿਆਂ ਇਨਫਰੈਂਸ ਚਲਾਉਂਦਾ ਕੰਪਿਊਟਰ ਮਿੰਟਾਂ ਲਈ ਬੈਂਚਮਾਰਕ ਚਲਾਉਣ ਵਾਲੇ ਕੰਪਿਊਟਰ ਤੋਂ ਵੱਖਰਾ ਵਰਤਾਅ ਕਰਦਾ ਹੈ।
  • ਛੋਟੇ ਮਾਡਲ ਨਾਲ ਟਰਨਰੀ ਪੈਕ ਚਲਾਓ। 3B ਮਾਡਲ ਛੇਤੀ ਸਵਾਲਾਂ ਦਾ ਜਵਾਬ ਦੇਵੇਗਾ ਅਤੇ 27B ਔਖੇ ਕੰਮ ਕਰੇਗਾ।

ਪ੍ਰੀਮੀਅਮ ਮਾਡਲਾਂ ਦੀ ਕੀਮਤ ਕਦੋਂ ਵਾਜਬ ਹੈ

ਪ੍ਰੀਮੀਅਮ ਪੱਧਰ ਦਾ ਤਰਕ ਅਸਲ ਹੈ, ਪਰ ਇਸ਼ਤਿਹਾਰ ਨਾਲੋਂ ਘੱਟ ਵਿਸ਼ਾਲ ਹੈ।

ਸਿੱਧਾ ਜਵਾਬ ਤੱਥਾਂ ਦੀ ਭਰੋਸੇਯੋਗਤਾ ਹੈ। Sonnet 4.6 ਦੀ AA-Omniscience ਸਟੀਕਤਾ 40.9 ਫ਼ੀਸਦੀ ਹੈ, ਖੁੱਲ੍ਹੇ 27B ਮਾਡਲ ਦੀ 15.6 ਫ਼ੀਸਦੀ। ਜਦੋਂ ਗਲਤ ਜਵਾਬ ਨਾਲ ਗਾਹਕ, ਤਸ਼ਖ਼ੀਸ ਜਾਂ ਕਾਨੂੰਨੀ ਸਥਿਤੀ ਦਾ ਨੁਕਸਾਨ ਹੋਵੇ, ਸਟੀਕਤਾ ਦੇ 25 ਅੰਕਾਂ ਦਾ ਫ਼ਰਕ ਕਿਸੇ ਵੀ ਕੁੱਲ ਸੂਚਕਾਂਕ ਨਾਲੋਂ ਵੱਧ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ।

ਲੰਮੀਆਂ ਏਜੰਟ ਲੜੀਆਂ ਦੂਜਾ ਕਾਰਨ ਹਨ। Sonnet 4.6 ਨੇ Terminal-Bench Hard ਉੱਤੇ 53.0 ਫ਼ੀਸਦੀ ਅਤੇ τ²-Bench Telecom ਉੱਤੇ 75.7 ਫ਼ੀਸਦੀ ਲਏ। ਇਹ ਲਗਾਤਾਰ ਟੂਲ ਵਰਤੋਂ ਅਤੇ ਕਈ ਪੜਾਵਾਂ ਵਾਲੇ ਏਜੰਟ ਦੇ ਵਰਤਾਅ ਨੂੰ ਮਾਪਦੇ ਹਨ। ਖੁੱਲ੍ਹੇ ਮਾਡਲ ਦੇ ਕਾਰਡ ਉੱਤੇ ਤੁਲਨਾਯੋਗ ਅੰਕ ਨਹੀਂ ਹਨ, ਅਤੇ ਇਹ ਗੈਰਮੌਜੂਦਗੀ ਚੰਗੀ ਨਿਸ਼ਾਨੀ ਨਹੀਂ।

ਤੀਜਾ ਕਾਰਨ ਸੰਚਾਲਨ ਹੈ। ਹੋਸਟ ਕੀਤੀ API ਵਿੱਚ ਡਰਾਈਵਰ ਅੱਪਡੇਟ, ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਦੀਆਂ ਉਲਝਣਾਂ, llama.cpp ਦੀ ਵੱਖਰੀ ਸ਼ਾਖਾ ਦੀ ਦੇਖਭਾਲ ਜਾਂ ਘੁੰਮੇ ਹੋਏ ਵਜ਼ਨ ਦਾ ਆਧਾਰ ਠੀਕ ਕਰਨ ਦੀ ਲੋੜ ਨਹੀਂ। ਹੋਰ ਕੋਈ ਸੇਵਾ ਦਾ ਲਗਾਤਾਰ ਚਾਲੂ ਰਹਿਣਾ ਸੰਭਾਲਦਾ ਹੈ ਅਤੇ ਰਾਤ 3 ਵਜੇ ਚੇਤਾਵਨੀ ਲੈਂਦਾ ਹੈ।

ਪੁੱਛਣ ਵਾਲਾ ਸਵਾਲ

ਵੱਡੀਆਂ ਸੰਸਥਾਵਾਂ ਤੋਂ ਬਾਹਰ ਪ੍ਰੀਮੀਅਮ ਪੱਧਰ ਕਿੱਥੇ ਲਾਭਦਾਇਕ ਹੈ?

ਗਿਆਨ ਦੀ ਸਟੀਕਤਾ ਲੋੜੀਂਦੇ ਕੰਮਾਂ ਵਿੱਚ ਇਹ ਹਾਲੇ ਲਾਭਦਾਇਕ ਹੈ। ਖੋਜ, ਕਾਨੂੰਨੀ ਵਿਸ਼ਲੇਸ਼ਣ, ਡਾਕਟਰੀ ਸਵਾਲ, ਵਿੱਤੀ ਮਾਡਲ ਅਤੇ ਉਹ ਕੰਮ ਜਿੱਥੇ ਭਰੋਸੇ ਨਾਲ ਦਿੱਤਾ ਗਲਤ ਜਵਾਬ ਮਹਿੰਗਾ ਪਵੇ। ਇਹ ਅਸਲ ਸ਼੍ਰੇਣੀ ਹੈ ਅਤੇ ਸਟੀਕਤਾ ਦਾ ਫ਼ਰਕ ਭੁਗਤਾਨ ਦਾ ਅਸਲ ਕਾਰਨ ਹੈ।

ਰਚਨਾਤਮਕ ਕੰਮ ਲਈ ਤਰਕ ਤੇਜ਼ੀ ਨਾਲ ਘਟ ਰਿਹਾ ਹੈ। ਖਰੜੇ ਲਿਖਣਾ, ਸੰਖੇਪ ਬਣਾਉਣਾ, ਕੋਡ ਸੁਧਾਰਨਾ, ਡੇਟਾ ਨੂੰ ਨਵੇਂ ਰੂਪ ਵਿੱਚ ਰੱਖਣਾ, ਦਸਤਾਵੇਜ਼ਾਂ ਦੀ ਸ਼੍ਰੇਣੀ ਬਣਾਉਣਾ ਅਤੇ ਸਵੈਚਾਲਿਤ ਪਾਈਪਲਾਈਨ ਚਲਾਉਣਾ—ਇਨ੍ਹਾਂ ਦੇ ਨਤੀਜੇ ਭਰੋਸੇ ਤੋਂ ਪਹਿਲਾਂ ਜਾਂਚੇ ਜਾਂਦੇ ਹਨ। ਜਦੋਂ ਕੋਈ ਵਿਅਕਤੀ ਜਾਂ ਟੈਸਟ ਸਮੂਹ ਨਤੀਜਾ ਪਹਿਲਾਂ ਜਾਂਚ ਲੈਂਦਾ ਹੈ, ਸਟੀਕਤਾ ਦਾ ਫ਼ਰਕ ਘੱਟ ਮਹਿੰਗਾ ਪੈਂਦਾ ਹੈ। ਇਨ੍ਹਾਂ ਕੰਮਾਂ ਲਈ 30.1 ਸੂਚਕਾਂਕ ਉੱਤੇ ਪ੍ਰਤੀ ਟੋਕਨ ਭੁਗਤਾਨ ਕਰਨਾ ਔਖਾ ਤਰਕ ਹੈ, ਜਦੋਂ 33.7 ਸੂਚਕਾਂਕ ਵਾਲਾ ਮਾਡਲ ਤੁਹਾਡੇ ਆਪਣੇ ਹਾਰਡਵੇਅਰ ਉੱਤੇ ਬਿਨਾਂ ਵਾਧੂ ਖਰਚੇ ਚੱਲਦਾ ਹੈ।

ਫ਼ੈਸਲਾ ਹੁਣ ਸਮਰੱਥਾ ਤੋਂ ਨਤੀਜੇ ਵੱਲ ਚਲਾ ਗਿਆ ਹੈ। ਦੋ ਸਾਲ ਪਹਿਲਾਂ ਸਵਾਲ ਸੀ ਕਿ ਸਥਾਨਕ ਮਾਡਲ ਕੰਮ ਕਰੇਗਾ ਵੀ ਜਾਂ ਨਹੀਂ। ਅੱਜ ਸਵਾਲ ਹੈ ਕਿ ਗਲਤੀ ਦੀ ਕੀਮਤ ਕਿੰਨੀ ਹੈ ਅਤੇ ਤੁਸੀਂ ਉਸ ਨੂੰ ਕਿਵੇਂ ਫੜੋਗੇ।

ਸੰਸਥਾਵਾਂ ਦੀ ਵਾਧੂ ਕੀਮਤ ਭਰੋਸੇਯੋਗਤਾ, ਨਿਯਮਾਂ ਦੀ ਪਾਲਣਾ ਅਤੇ ਕਿਸੇ ਹੋਰ ਦੀ ਤੁਰੰਤ ਸਹਾਇਤਾ ਦੀ ਡਿਊਟੀ ਲਈ ਹੈ। ਬਾਕੀ ਲੋਕ ਉਸ ਫ਼ਰਕ ਲਈ ਭੁਗਤਾਨ ਕਰਦੇ ਹਨ ਜੋ ਟੈਸਟ ਸਮੂਹ ਚੱਲਣ ਨਾਲ ਮਾਇਨੇ ਨਹੀਂ ਰੱਖਦਾ।

ਮੁੱਖ ਨਤੀਜੇ

  • ਸਥਾਨਕ 27B ਮਾਡਲ ਹੁਣ ਕੁੱਲ ਬੁੱਧੀ ਸੂਚਕਾਂਕ ਵਿੱਚ Claude Sonnet 4.6 ਤੋਂ ਅੱਗੇ ਹੈ, 33.7 ਬਨਾਮ 30.1, ਅਤੇ ਕੋਡਿੰਗ, ਏਜੰਟ ਕੰਮਾਂ, ਲੰਮੇ ਕਨਟੈਕਸਟ ਤੇ ਪੋਸਟਗ੍ਰੈਜੂਏਟ ਵਿਗਿਆਨਕ ਤਰਕ ਵਿੱਚ ਵੀ ਮੋਹਰੀ ਹੈ।
  • ਤੱਥਾਂ ਦੀ ਸਟੀਕਤਾ ਵਿੱਚ Sonnet 4.6 ਹਾਲੇ ਜਿੱਤਦਾ ਹੈ, AA-Omniscience ਉੱਤੇ 40.9 ਬਨਾਮ 15.6 ਫ਼ੀਸਦੀ। ਪ੍ਰੀਮੀਅਮ ਪੱਧਰ ਦਾ ਇਹ ਸਭ ਤੋਂ ਮਜ਼ਬੂਤ ਬਚਿਆ ਤਰਕ ਹੈ।
  • ਟਰਨਰੀ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਨੇ ਇਸ ਨੂੰ ਅਮਲੀ ਬਣਾਇਆ। Bonsai 2 27B ਉਹੀ 26.90B ਮਾਡਲ 18 GB ਦੀ ਬਜਾਏ 5.53 GiB ਵਿੱਚ ਚਲਾਉਂਦਾ ਹੈ ਅਤੇ ਦੋਵਾਂ ਦਾ ਲਾਇਸੈਂਸ Apache 2.0 ਹੈ।
  • ਆਮ Ollama ਟਰਨਰੀ ਪੈਕ ਨਹੀਂ ਚਲਾ ਸਕਦਾ। ਇਨ੍ਹਾਂ ਨੂੰ Prism ML ਦਾ llama.cpp ਦੀ ਵੱਖਰੀ ਸ਼ਾਖਾ ਚਾਹੀਦੀ ਹੈ। F16 ਬਦਲਵਾਂ ਪੈਕ ਫੇਲ੍ਹ ਹੋਣ ਦੀ ਬਜਾਏ ਚੁੱਪਚਾਪ ਬੇਸੁਰਾ ਨਤੀਜਾ ਦਿੰਦਾ ਹੈ।
  • RTX 5090 ਉੱਤੇ ਡੀਕੋਡਿੰਗ ਦੀ ਮਾਪੀ ਗਤੀ 135 ਟੋਕਨ ਪ੍ਰਤੀ ਸਕਿੰਟ ਹੈ, ਜੋ ਪੜ੍ਹਨ ਦੀ ਰਫ਼ਤਾਰ ਨਾਲੋਂ ਕਾਫ਼ੀ ਵੱਧ ਹੈ।
  • ਮੈਮੋਰੀ ਦੀ ਕੀਮਤ ਹੁਣ ਕਦਮ ਚੁੱਕਣ ਦਾ ਕਾਰਨ ਹੈ। 2026 ਦੀ ਇੱਕ ਤਿਮਾਹੀ ਵਿੱਚ DRAM ਦੇ ਇਕਰਾਰਨਾਮੇ ਵਾਲੇ ਭਾਅ 90 ਤੋਂ 95 ਫ਼ੀਸਦੀ ਵਧੇ ਅਤੇ ਅਗਲੀ ਪੀੜ੍ਹੀ ਦੇ ਖਪਤਕਾਰ GPU 2028 ਤੱਕ ਪਿੱਛੇ ਗਏ।
  • RTX 5090 ਦੀ ਕੀਮਤ ਦੋ ਸਾਲ ਤੋਂ ਘੱਟ ਸਮੇਂ ਵਿੱਚ $1,999 ਤੋਂ ਵੱਧ ਕੇ $5,000 ਤੋਂ ਉੱਪਰ ਹੋਈ, ਬਾਕੀ ਪੱਧਰ ਵੀ ਮਹਿੰਗੇ ਹੋਏ।

ਅਗਲੇ ਕਦਮ

  1. ਮਾਡਲ ਡਾਊਨਲੋਡ ਕਰਕੇ ਆਪਣੇ ਕੰਮ ਉੱਤੇ ਅਜ਼ਮਾਓ: Ollama ਉੱਤੇ Ternary Bonsai 2 27B
  2. ਜੇ ਮੈਮੋਰੀ ਹੈ ਤਾਂ ਪੂਰੀ ਸਟੀਕਤਾ ਵਾਲੇ ਮੂਲ ਵਜ਼ਨ ਲਵੋ: Ollama ਉੱਤੇ Qwen3.8
  3. ਕੁਝ ਬਣਾਉਣ ਤੋਂ ਪਹਿਲਾਂ ਮੁਫ਼ਤ ਹੋਸਟ ਕੀਤੇ ਸੇਵਾ-ਅੰਤਬਿੰਦੂ ਉੱਤੇ ਮਾਡਲ ਅਜ਼ਮਾਓ: OpenRouter ਉੱਤੇ ਮੁਫ਼ਤ Qwen3.8 27B
  4. ਉਹੀ prompts ਵਰਤ ਕੇ ਭੁਗਤਾਨੀ ਪੱਧਰ ਨਾਲ ਤੁਲਨਾ ਕਰੋ: OpenRouter ਉੱਤੇ Claude Sonnet 4.6
  5. ਉਪਰਲੀ ਮੈਮੋਰੀ ਟੇਬਲ ਨਾਲ ਆਪਣੀ ਲੋੜ ਦਾ ਪੱਧਰ ਚੁਣੋ ਅਤੇ ਗ੍ਰਾਫਿਕਸ ਕਾਰਡ ਤੋਂ ਪਹਿਲਾਂ ਮੈਮੋਰੀ ਖਰੀਦੋ।
  6. ਜੇ Raspberry Pi ਖਾਲੀ ਪਿਆ ਹੈ ਤਾਂ ਵੇਖੋ ਕਿ ਉਹ ਛੋਟਾ ਮਾਡਲ ਚਲਾ ਸਕਦਾ ਹੈ ਜਾਂ ਨਹੀਂ: Raspberry Pi 4 ਜਾਂ 5 ਉੱਤੇ ਕਿਹੜੇ AI ਮਾਡਲ ਚੱਲ ਸਕਦੇ ਹਨ?

ਸੰਬੰਧਿਤ ਲੇਖ

ਲੇਖਇਸ ਵਿੱਚ ਕੀ ਹੈ
Raspberry Pi 4 ਜਾਂ 5 ਉੱਤੇ ਕਿਹੜੇ AI ਮਾਡਲ ਚੱਲ ਸਕਦੇ ਹਨ?ਸਥਾਨਕ ਇਨਫਰੈਂਸ ਦਾ ਨੀਵਾਂ ਪੱਧਰ ਅਤੇ ਛੋਟੇ ਬੋਰਡ ਅਸਲ ਵਿੱਚ ਕੀ ਚਲਾ ਸਕਦੇ ਹਨ
Meshtastic ਲਈ ਪਰਦੇਦਾਰੀ ਬਚਾਉਣ ਵਾਲਾ AI ਸਹਾਇਕ ਬਣਾਉਣਾਬਿਨਾਂ ਨੈੱਟਵਰਕ ਵਾਲੇ ਹਾਰਡਵੇਅਰ ਉੱਤੇ ਸਥਾਨਕ ਸਹਾਇਕ, ਜਿੱਥੇ ਪਰਦੇਦਾਰੀ ਲਾਜ਼ਮੀ ਹੈ
ਡੇਟਾ ਖ਼ਰਾਬੀ ਘਟਾਉਣ ਵਿੱਚ ECC ਮੈਮੋਰੀ ਦੀ ਭੂਮਿਕਾਵੱਡਾ ਮਾਡਲ ਮੈਮੋਰੀ ਵਿੱਚ ਹੋਵੇ ਤਾਂ ਮੈਮੋਰੀ ਦੀ ਗੁਣਵੱਤਾ ਵੱਧ ਕਿਉਂ ਮਾਇਨੇ ਰੱਖਦੀ ਹੈ
ਘਰੇਲੂ ਲੈਬ ਕੀ ਹੈ ਅਤੇ ਕੀ ਤੁਹਾਨੂੰ ਇਸ ਦੀ ਲੋੜ ਹੈ?ਗਰਮ ਚੱਲਣ ਵਾਲੇ ਹਾਰਡਵੇਅਰ ਲਈ ਥਾਂ, ਬਿਜਲੀ ਅਤੇ ਠੰਢਕ ਦੀ ਯੋਜਨਾ

ਹਵਾਲੇ

  1. Ternary Bonsai 2 27B - Ollama ਮਾਡਲ ਮਿਰਰ
  2. Qwen3.8 - Ollama ਮਾਡਲ ਲਾਇਬ੍ਰੇਰੀ
  3. Qwen3.8 27B (ਮੁਫ਼ਤ) - OpenRouter ਬੈਂਚਮਾਰਕ ਅਤੇ ਕੀਮਤਾਂ
  4. Claude Sonnet 4.6 - OpenRouter ਬੈਂਚਮਾਰਕ ਅਤੇ ਕੀਮਤਾਂ
  5. Bonsai 2 27B ਦਾ ਪਹਿਲਾ ਟੈਸਟ: ਕੀ ਇਹ ਇੱਕ GPU ਲਈ ਸਭ ਤੋਂ ਵਧੀਆ AI ਮਾਡਲ ਹੈ? - Bijan Bowen
  6. Artificial Analysis - ਮਾਡਲਾਂ ਦੇ ਸੁਤੰਤਰ ਮੁਲਾਂਕਣ
  7. TrendForce - DRAM ਅਤੇ NAND ਦੇ ਇਕਰਾਰਨਾਮਾ ਭਾਅ ਦੇ ਅਨੁਮਾਨ
  8. ਪ੍ਰਤੀ ਖੇਤਰ ਮੈਮੋਰੀ ਚਿਪਾਂ ਹੁਣ ਕੰਪਿਊਟ ਚਿਪਾਂ ਨਾਲੋਂ ਮਹਿੰਗੀਆਂ ਹਨ - Tom’s Hardware
  9. DRAM ਦੇ ਰਿਕਾਰਡ 95% ਵਾਧੇ ਕਾਰਨ GPU ਰਾਹਤ 2028 ਤੱਕ ਪਿੱਛੇ - Tech Insider
  10. Intel ਦੇ Tan: ਮੈਮੋਰੀ 7 ਗੁਣਾ ਮਹਿੰਗੀ, 2028 ਤੱਕ ਰਾਹਤ ਨਹੀਂ - shattered.io
  11. Prism ML ਦੀ llama.cpp ਵਾਲੀ ਵੱਖਰੀ ਸ਼ਾਖਾ - ਟਰਨਰੀ ਕਰਨਲ
  12. Ternary-Bonsai-2-27B-gguf - ਮੂਲ ਵਜ਼ਨ