Litellm Frontier Sync

Çalışma Protokolü

1) Ön kontrol

1. docker ps ile LiteLLM container durumunu kontrol et.
2. config.yaml varlığını doğrula.
3. model_list içinde Ollama/OpenRouter kayıtları var mı bak.

Eğer LiteLLM hiç yoksa:

• Kullanıcıya mevcut kurulumun eksik olduğunu söyle
• Kurulum/yol bilgisi iste ve bekle

2) API key uygunluğu

Config içinde aşağıdakileri kontrol et:

• Ollama kayıtlarında api_base ve api_key
• OpenRouter kayıtlarında api_key

Eksikse kullanıcıdan iste:

• Ollama API key (en az 1 adet)
• OpenRouter API key (en az 1 adet - zorunlu)

Not: Anahtarları çıktıda maskele (xxxx...abcd), tam değeri yazma.

3) Canlı model kataloglarını çek (HER İKİ PROVIDER ZORUNLU)

1. https://ollama.com/v1/models çağır - Ollama Cloud model listesi
2. https://openrouter.ai/collections/free-models sayfasını çek - OpenRouter free modeller
3. Her iki kaynağı da parse et, model id'lerini çıkar

4) Drift analizi - İKİ AYRI TABLO

TABLO 1: Ollama Cloud

TABLO 2: OpenRouter Free Models

Yeni aday detayları (her tablo için ayrı liste): Her provider için config'te olmayan modeleri ayrı listele:

• Model ID
• Büyüklük/Özellik (varsa)
• Kullanım senaryosu

5) Kullanıcı onayı - AYRI SEÇENEKLER HER PROVIDER İÇİN

Her provider için ayrı seçenek sun:

• Ollama: Tümünü ekle / Seçmeli ekle / Raporla
• OpenRouter: Tümünü ekle / Seçmeli ekle / Raporla

Onay olmadan config'e yazma.

6) Config güncelleme kuralları

Mevcut pattern'i koru:

• Ollama Cloud kayıtları:

  • model_name: ollama/<model>-<index>
  • litellm_params.model: openai/<model>
  • api_base: https://ollama.com/v1
  • api_key: mevcut index dağıtımına göre çoğalt

• OpenRouter kayıtları:

  • model_name: openrouter/<alias>-<index> veya mevcut şablona uygun isim
  • litellm_params.model: openrouter/<provider_model>
  • api_key: mevcut dağıtım pattern'i

YAML düzeni:

• İndent ve sıra mevcut dosyayla uyumlu olmalı
• Alakasız alanlara dokunma

7) Restart + doğrulama

1. docker compose restart litellm-proxy
2. GET /v1/models ile yeni model id'lerinin göründüğünü doğrula
3. En az bir yeni modelle chat/completions smoke test çalıştır

Not: health endpoint auth bekliyorsa 401/timeout olabilir; bu durumda doğrulamada /v1/models + completion testini esas al.

8) Teslim çıktısı

Şunları raporla:

• Eklenen/güncellenen modeller (Ollama ve OpenRouter ayrı)
• Değişen dosyalar
• Restart sonucu
• Test sonucu (başarılı/başarısız)
• İsteğe bağlı sonraki adım: OpenCode alias güncellemesi

Hızlı Komut Şablonları

# Config'teki modelleri gör
python3 - <<'PY'
import yaml, pathlib
p=pathlib.Path('/Users/user/projects/litellm-proxy/config.yaml')
d=yaml.safe_load(p.read_text())
print(len(d.get('model_list',[])))
PY

# LiteLLM model listesi
curl -s -H "Authorization: Bearer <LITELLM_MASTER_KEY>" http://localhost:4000/v1/models

# Smoke test
curl -s -X POST http://localhost:4000/v1/chat/completions \
  -H "Authorization: Bearer <LITELLM_MASTER_KEY>" \
  -H "Content-Type: application/json" \
  -d '{"model":"ollama/glm-5.1-1","messages":[{"role":"user","content":"Reply OK"}],"max_tokens":80}'

Karar Prensipleri

• Önce analiz + onay, sonra yazma
• Pattern bozma, mevcut naming'i takip et
• Anahtar sızdırma yok
• Hata olursa rollback adımını öner (son değişikliği geri al + restart)
• OpenRouter her zaman sorgulanır, opsiyonel değildir