Files
agentic-studio/kipina-codebench/profiles.json
jaakko a8f731d38e CodeBench: palautetaan 8b todo-readme.md — combined liian iso, hukkuu
combined-readme aiheutti uusia virheitä (POST 200 vs 201, 405).
Malli ei pysty käsittelemään kahta esimerkkiä kerralla.
2026-04-14 14:58:15 +03:00

58 lines
1.4 KiB
JSON

{
"models": {
"qwen3-coder:30b": {
"profile": "large",
"role": "primary",
"prompt": "code",
"golden": "todo.md",
"vram": "24GB",
"notes": "Pääkooderi. 97p, 188 tok/s. Noudattaa pitkiä sääntölistoja."
},
"qwen3:8b": {
"profile": "small",
"role": "primary",
"prompt": "code-small",
"golden": "todo-readme.md",
"vram": "8GB",
"notes": "Kevyt pääkooderi. Todo/users 100p, blog heikko. README-muoto golden examplelle."
},
"codestral:22b": {
"profile": "large",
"role": "backup",
"prompt": "code",
"golden": "todo.md",
"vram": "16GB",
"notes": "Mistral-varamalli. 88p, 44 tok/s."
},
"qwen3:4b": {
"profile": "small",
"role": "minimal",
"prompt": "code-small",
"golden": "todo.md",
"vram": "4GB",
"notes": "Minimaali. Vain todo toimii."
},
"qwen3:14b": {
"profile": "large",
"role": "retired",
"prompt": "code",
"golden": "todo.md",
"vram": "16GB",
"notes": "Poistettu. Ei lisäarvoa 30b:hen verrattuna, blog epävakaa."
}
},
"profiles": {
"large": {
"prompt": "code",
"golden": "todo.md",
"description": "Täysi prompti + säännöt. Malleille >=14B."
},
"small": {
"prompt": "code-small",
"golden": "todo.md",
"description": "Tiivistetty prompti. Malleille <=8B."
}
},
"default_profile": "large"
}