max_tokens per vaihe: manageri 200, koodari 512, testaaja 200, QA 512, DevOps 256

Hub ja natiivisolmu tukevat nyt max_tokens-kenttää API-pyynnöissä.
Pipeline-vaiheet käyttävät sopivan kokoisia token-rajoja.

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
This commit is contained in:
2026-04-06 22:03:26 +03:00
parent e6e1f60935
commit 1ef7f7c956
3 changed files with 16 additions and 10 deletions

View File

@@ -947,6 +947,8 @@ struct ChatCompletionRequest {
model: String,
prompt: String,
task_id: String,
#[serde(default)]
max_tokens: Option<u64>,
}
#[derive(serde::Serialize)]
@@ -1069,12 +1071,15 @@ async fn api_chat_completions(
state.node_busy.lock().unwrap().insert(target_node_id);
state.pending_task_ids.lock().unwrap().insert(payload.task_id.clone());
let msg = serde_json::json!({
let mut msg = serde_json::json!({
"type": "llm_prompt",
"prompt": payload.prompt,
"model": payload.model,
"task_id": payload.task_id,
});
if let Some(mt) = payload.max_tokens {
msg.as_object_mut().unwrap().insert("max_tokens".to_string(), serde_json::json!(mt));
}
// Odotuskanava valmiiksi (solmu palauttaa tuloksen stats_tx kautta)
let mut rx = state.stats_tx.subscribe();