jaakko/agentic-studio
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

CodeBench: golden example markdown-muodossa (koodi + selitykset)

Browse Source 
todo.md yhdistää koodin ja annotaatiot: miksi pattern on valittu,
mitä EI saa tehdä. 1567 tokenia (vs raaka 1340, compact 335).
Benchmark lataa .md-version oletuksena, fallback erillisiin tiedostoihin.
This commit is contained in:
jaakko
2026-04-14 12:38:25 +03:00
parent 2d470ee418
commit 6a40ca5730
8 changed files with 2791 additions and 2 deletions
Download Patch File Download Diff File Expand all files Collapse all files

8
kipina-codebench/benchmark.mjs
View File

@@ -68,13 +68,17 @@ const LANG_CONFIG = {
const LCONF = LANG_CONFIG[LANG] || LANG_CONFIG.python;
function loadGoldenExample() {
// --compact: käytä tiivistettyä templaattia täyden koodin sijaan
// --compact: käytä tiivistettyä templaattia
if (COMPACT_MODE) {
const compactFile = LANG === 'rust' ? 'golden-compact-rs.md' : 'golden-compact-py.md';
const compactPath = join(__dirname, 'prompts', compactFile);
if (existsSync(compactPath)) return '\n' + readFileSync(compactPath, 'utf-8').trim() + '\n';
}
// Täysi golden example
// Markdown golden example (koodi + selitykset)
const mdName = LANG === 'rust' ? 'todo-rs.md' : 'todo.md';
const mdPath = join(GOLDEN_DIR, mdName);
if (existsSync(mdPath)) return '\n' + readFileSync(mdPath, 'utf-8').trim() + '\n';
// Fallback: erilliset tiedostot
const todoDir = join(GOLDEN_DIR, LCONF.goldenDir);
if (!existsSync(todoDir)) return '';
let example = `\nREFERENCE IMPLEMENTATION (todo project — follow this exact structure, style, and conventions):\n\n`;