5 Commits

Author	SHA1	Message	Date
jaakko	34a56e408d	Benchmark: stripThinking tukee myös qwen3/3.5 <think>-tageja	2026-04-14 06:58:18 +03:00
jaakko	ecd4bc2ac3	Benchmark: nosta koodigeneroinnin token-raja 4096 → 8192 ... gemma4:e4b tuotti 323 riviä ja tokenit loppuivat kesken, pyproject.toml ei mahtunut vastaukseen.	2026-04-14 06:38:40 +03:00
jaakko	7dc2af59c3	Benchmark: stripThinking poistaa gemma4-ajattelutagit vastauksista	2026-04-14 06:35:31 +03:00
jaakko	4aa09e1025	Benchmark: LLM generoi koodin templaattien sijaan ... Vaihe 3 käyttää nyt oikeaa LLM-kutsua (CODE_SYSTEM-prompti) koodin generointiin. Templaattifunktiot poistettu kokonaan. Tämä mittaa mallin todellista koodingenerointikykyä.	2026-04-13 22:23:35 +03:00
jaakko	20cea8f268	Model benchmark: testaa kaikki Ollama-mallit järjestelmällisesti ... Ajaa täyden pipeline-kierroksen per malli × skenaario: 1. Client-prompti → vaatimukset 2. Manager/SPEC_SYSTEM → JSON-speksi 3. Template-generointi → koodi 4. Validointi + LLM-korjaussilmukka 5. uv sync + pytest Tuottaa vertailutaulukon: speksin laatu, testien tulos, nopeus. Tukee suoraa Ollamaa (--ollama) ja hub-reittiä (--hub).	2026-04-13 22:08:47 +03:00