OpenAI Codex App को Local Models के साथ कैसे इस्तेमाल करें: पूरी सेटअप गाइड (2026)

Step 4: Launch

codex -p unsloth_api

Method 4: llama.cpp के साथ Setup

अधिकतम control और performance tuning के लिए llama.cpp को source से build करें:

Step 1: llama.cpp Build करें

git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON  # CPU/Metal के लिए -DGGML_CUDA=OFF use करें
cmake --build llama.cpp/build --config Release -j \
    --clean-first --target llama-server
cp llama.cpp/build/bin/llama-server llama.cpp/

Step 2: Model Download करें

pip install huggingface_hub hf_transfer
python -c "
import os; os.environ['HF_HUB_ENABLE_HF_TRANSFER'] = '1'
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id='unsloth/GLM-4.7-Flash-GGUF',
    local_dir='models/GLM-4.7-Flash-GGUF',
    allow_patterns=['*UD-Q4_K_XL*']
)"

Step 3: Server Start करें

./llama.cpp/llama-server \
    --model models/GLM-4.7-Flash-GGUF/GLM-4.7-Flash-UD-Q4_K_XL.gguf \
    --alias "unsloth/GLM-4.7-Flash" \
    --port 8001 \
    --ctx-size 131072 \
    --flash-attn on \
    --cache-type-k q8_0 --cache-type-v q8_0 \
    --batch-size 4096 --ubatch-size 1024 \
    --temp 1.0 --top-p 0.95 --min-p 0.01

Step 4: Codex Configure करें

[model_providers.llama_cpp]
name = "llama_cpp API"
base_url = "http://localhost:8001/v1"
wire_api = "responses"
stream_idle_timeout_ms = 10000000

[profiles.llama_cpp]
model_provider = "llama_cpp"
model = "unsloth/GLM-4.7-Flash"

codex --model unsloth/GLM-4.7-Flash -c model_provider=llama_cpp

Codex के लिए सबसे बेहतर Local Models

पूरा Comparison: Cloud GPT-5.5 बनाम Local Models

Performance Benchmarks

Limitations

Local जाने से पहले समझने वाली ज़रूरी बातें:

• wire_api = "responses" अनिवार्य है: Codex ने Chat Completions support हटा दिया है। आपके local server को OpenAI Responses API /v1/responses पर support करना MUST है। Ollama, Unsloth, और हाल के llama.cpp builds इसे support करते हैं।
• Computer Use केवल cloud है: Desktop automation feature (apps में clicking, typing) के लिए GPT-5.5 और OpenAI का infrastructure चाहिए। Local models के साथ यह काम नहीं करेगा।
• Automations/scheduling बंद हैं: Recurring tasks, thread reuse, और future work scheduling के लिए cloud connectivity चाहिए।
• Memory persist नहीं होती: "Preferences याद रखने" वाला feature cloud-only है।
• Plugins ज़्यादातर unavailable: 90+ plugins (Atlassian, GitLab, CircleCI, आदि) के लिए cloud authentication चाहिए।
• धीमी inference (3-10x): Simple tasks 3x ज़्यादा वक़्त लेते हैं; complex tasks cloud से 10x तक धीमे।
• कमज़ोर multi-file reasoning: Local models cross-file dependencies और architectural understanding में संघर्ष करते हैं।
• Edit accuracy गिरती है: Cloud GPT-5.5 की edit accuracy ~98% है। Local models 70-80% पर रहते हैं — यानी टूटी हुई patches जिन्हें manually ठीक करना पड़ता है।
• Tool calling fail हो सकता है: मज़बूत tool calling support के बिना मॉडल actions execute करने की जगह सिर्फ़ text descriptions generate करेंगे।

Possibilities

• फ्री unlimited coding: Billing meter देखे बिना हज़ारों tasks चलाएं।
• पूरी privacy: Trade secrets, proprietary algorithms, client code — सब local रहता है।
• GDPR/HIPAA compliance: ज़ीरो cross-border data transfer। Third parties के साथ DPAs की ज़रूरत नहीं।
• Hybrid workflow: Sensitive काम के लिए --profile local, complex tasks के लिए --profile cloud। एक ही flag से switch करें।
• Custom fine-tuned models: अपने codebase पर domain-specific models train करें और Codex के ज़रिए use करें।
• Offline development: Airports, ग्रामीण इलाक़े, classified facilities — कहीं भी AI के साथ code करें।
• Team standardization: Consistent local setups के लिए अपनी team में config.toml share करें।
• Model A/B testing: एक ही task पर अलग-अलग models तुरंत compare करें।

Cost Analysis

सबसे बेहतर value: Ollama cloud models cloud quality का 85-95% $0 cost में देते हैं। अगर privacy hard requirement नहीं है, तो यहीं से शुरू करें।

Troubleshooting

"type of tool must be function" error

इसका मतलब है कि आपका server wire_api = "responses" को सही तरीक़े से support नहीं करता। अपने inference server का latest version (Ollama 0.14.3+, latest llama.cpp) update करें।

Model not found

• उपलब्ध models check करें: ollama list या curl http://localhost:8001/v1/models
• API response में दिख रहा exact model name अपने config.toml में use करें

Codex hang या timeout हो जाता है

• अपनी model_provider config में stream_idle_timeout_ms = 10000000 जोड़ें
• Local models धीमे होते हैं — Codex complex tasks पर responses का इंतज़ार करते हुए timeout हो सकता है

Tool calling काम नहीं कर रही

• Verify करें कि आपका model tool calling support करता है (GLM-4.7-Flash recommended)
• llama.cpp में jinja templates enable करें: --jinja flag जोड़ें
• Check करें कि wire_api = "responses" set है ("chat" नहीं)

अक्सर पूछे जाने वाले सवाल

क्या Codex desktop app local models use कर सकता है?

हाँ। Codex App ~/.codex/config.toml से पढ़ता है और local servers की तरफ़ point करने वाले custom model providers support करता है। आप एक model_provider को local base_url के साथ configure करते हैं और profiles के ज़रिए select करते हैं।

क्या Computer Use local models के साथ काम करता है?

नहीं। Computer Use (background desktop automation) सिर्फ़ cloud feature है जिसके लिए GPT-5.5 और OpenAI का infrastructure चाहिए। Local models आपके desktop को control नहीं कर सकते।

Local models के साथ Codex App और Codex CLI में क्या फ़र्क है?

दोनों एक ही config.toml use करते हैं और एक ही local model providers support करते हैं। App GUI features (worktree visualization, terminal tabs, preview panes) जोड़ता है जबकि CLI केवल terminal-based है। Cloud-exclusive features (Computer Use, automations, plugins) local models use करने पर दोनों में नहीं होते।

Codex के लिए कौन सा local model सबसे बेहतर है?

GLM-4.7-Flash टॉप पिक है: 128K context, मज़बूत tool calling (79.5%), और MoE architecture की वजह से 16GB RAM पर चलता है। Raw coding quality के लिए Qwen3-Coder 30B थोड़ा बेहतर है लेकिन 20GB+ VRAM चाहिए।

क्या Chat Completions API अब भी supported है?

नहीं। OpenAI ने Codex में Chat Completions support deprecated कर दिया है। आपको अपने config.toml में wire_api = "responses" use करना ही होगा। केवल /v1/chat/completions expose करने वाले servers काम नहीं करेंगे।

क्या मैं Ollama के free cloud models Codex के साथ use कर सकता हूँ?

हाँ। Ollama qwen3.5:cloud और glm-5:cloud जैसे models को generous free tiers के साथ proxy करता है। ये 30-60 tok/s पर चलते हैं और Ollama के अलावा hardware requirements नहीं हैं। Local models की तरह ही config.toml में configure करें।

Recommended Workflow

सबसे productive setup local और cloud को मिलाता है:

# ~/.codex/config.toml

# Privacy के लिए default local
model_provider = "ollama"
model = "glm-4.7-flash"

[model_providers.ollama]
name = "Ollama Local"
base_url = "http://localhost:11434/v1"
wire_api = "responses"

[model_providers.cloud]
name = "OpenAI Cloud"
# Default OpenAI API use करता है

[profiles.local]
model_provider = "ollama"
model = "glm-4.7-flash"

[profiles.cloud]
model_provider = "cloud"
model = "gpt-5.5"

[profiles.free]
model_provider = "ollama"
model = "qwen3.5:cloud"

रोज़ का इस्तेमाल:

# Private काम (sensitive code)
codex --profile local "fix the auth module"

# Complex tasks (quality चाहिए)
codex --profile cloud "refactor the entire payment system"

# Free + तेज़ (non-sensitive)
codex --profile free "add documentation to all functions"

AI coding tools के व्यापक comparison के लिए हमारा Cursor vs Windsurf vs Claude Code comparison देखें। और अगर आप creative projects बना रहे हैं, तो हमारा फ्री AI Image Generator देखें।