Lisätty #[wasm_bindgen] tokenize_js(text) → JSON-funktio joka lataa tokenizerin IndexedDB:stä tai HuggingFacesta tarvittaessa. Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
Lisätty #[wasm_bindgen] tokenize_js(text) → JSON-funktio joka lataa tokenizerin IndexedDB:stä tai HuggingFacesta tarvittaessa. Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>