Max tokens 128→256 + coder-3b malli agents-terminaaliin

- Oletustokenimäärä nostettu 256:een (monimutkaisemmat vastaukset mahtuvat)
- kpn run coder-3b "..." käynnistää 3B-mallin (parempi koodinlaatu)
- kpn load 3b lataa 3B-mallin (~6.2 GB)
- Tab-completion tukee coder-3b + esimerkkipromptit

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
This commit is contained in:
Jaakko Vanhala
2026-04-05 17:56:56 +03:00
parent 24d29d9ba9
commit e28a715f32
2 changed files with 18 additions and 8 deletions

View File

@@ -258,13 +258,13 @@ pub async fn run_coder_inference(prompt: String, ws: Rc<RefCell<WebSocket>>, use
if let Ok(json) = serde_json::from_str::<serde_json::Value>(&prompt) {
let p = json.get("prompt").and_then(|v| v.as_str()).unwrap_or(&prompt).to_string();
let s = json.get("system").and_then(|v| v.as_str()).unwrap_or(default_system).to_string();
let m = json.get("max_tokens").and_then(|v| v.as_u64()).unwrap_or(128) as usize;
let m = json.get("max_tokens").and_then(|v| v.as_u64()).unwrap_or(256) as usize;
(p, s, m)
} else {
(prompt.clone(), default_system.to_string(), 128)
(prompt.clone(), default_system.to_string(), 256)
}
} else {
(prompt.clone(), default_system.to_string(), 128)
(prompt.clone(), default_system.to_string(), 256)
};
// Prefill: aloitetaan vastaus ```-koodiblokkilla, jolloin malli jatkaa suoraan koodilla