jaakko 20cea8f268 Model benchmark: testaa kaikki Ollama-mallit järjestelmällisesti ...

Ajaa täyden pipeline-kierroksen per malli × skenaario:
1. Client-prompti → vaatimukset
2. Manager/SPEC_SYSTEM → JSON-speksi
3. Template-generointi → koodi
4. Validointi + LLM-korjaussilmukka
5. uv sync + pytest

Tuottaa vertailutaulukon: speksin laatu, testien tulos, nopeus.
Tukee suoraa Ollamaa (--ollama) ja hub-reittiä (--hub).

2026-04-13 22:08:47 +03:00

28 KiB

Raw Blame History

View Raw