CodeBench: mallikohtaiset promptiprofiilit (profiles.json)

- profiles.json: malli → profiili → prompti -mappaus
- code-small.md: tiivistetty prompti pienille malleille (8b, 4b)
- benchmark valitsee automaattisesti oikean promptin mallin perusteella
- qwen3-coder:30b → code.md (large), qwen3:8b → code-small.md (small)
This commit is contained in:
2026-04-14 13:54:26 +03:00
parent e54c1b057c
commit 92964e322f
15 changed files with 2597 additions and 1 deletions

View File

@@ -0,0 +1,47 @@
{
"models": {
"qwen3-coder:30b": {
"profile": "large",
"prompt": "code",
"golden": "todo.md",
"notes": "Pääkooderi. 97p, 188 tok/s. Noudattaa pitkiä sääntölistoja."
},
"qwen3:8b": {
"profile": "small",
"prompt": "code-small",
"golden": "todo.md",
"notes": "Kevyt vaihtoehto. Todo/users 100p, blog heikko. Lyhyt prompti toimii paremmin."
},
"qwen3:14b": {
"profile": "large",
"prompt": "code",
"golden": "todo.md",
"notes": "Poistettu käytöstä. Ei lisäarvoa 30b:hen verrattuna."
},
"codestral:22b": {
"profile": "large",
"prompt": "code",
"golden": "todo.md",
"notes": "Mistral-varamalli. 88p, 44 tok/s."
},
"qwen3:4b": {
"profile": "small",
"prompt": "code-small",
"golden": "todo.md",
"notes": "Minimaali. Vain todo toimii."
}
},
"profiles": {
"large": {
"prompt": "code",
"golden": "todo.md",
"description": "Täysi prompti + säännöt. Malleille >=14B."
},
"small": {
"prompt": "code-small",
"golden": "todo.md",
"description": "Tiivistetty prompti. Malleille <=8B."
}
},
"default_profile": "large"
}