Kipinä Agent Dashboard

0

Aktiivisia Nodeja

0

Verkossa Suoritettua Tehtävää (Globaali)

0 GB

Verkon yhteis-VRAM

Valitse tehtävä

Tokenisointivertailu

EN/FI-kieliparien tokenisointitehokkuuden vertailu Qwen2.5-tokenizeria käyttäen

Lataus: ~7 MB (tokenizer)

Valmis

Miten tokenisaatio toimii? Kielimallit eivät lue tekstiä kirjain kerrallaan. Sen sijaan teksti pilkotaan tokeneiksi — sanoja, tavuja tai sananosia, joista jokaisella on oma numerotunnisteensa mallin sanastossa.

Tokenizer on BPE (Byte Pair Encoding) -algoritmi: se yhdistää yleisimpiä merkkipareja isommiksi yksiköiksi. Englannissa "the" on yksi token, mutta suomessa "kirjoittamisen" voi olla 3-4 tokenia, koska tokenizer on koulutettu pääosin englanninkielisellä datalla.

Miksi tällä on väliä? Enemmän tokeneita = kalliimpaa ja hitaampaa. Sama lause suomeksi voi maksaa 50-100% enemmän tokeneita kuin englanniksi.

SmolLM 135M

Kevyt kielimalli tekstigeneraatioon — sopii kaikille laitteille (CPU)

Lataus: ~269 MB (safetensors) + 2 MB (tokenizer)

Valmis

SmolLM 135M (HuggingFace)
Llama-arkkitehtuuri: 30 kerrosta, 576-dim embeddings, 9 attention-headiä.

135 miljoonaa parametria — noin 1000x pienempi kuin GPT-4. Silti kykenee yksinkertaiseen tekstigeneraatioon. Tämä malli mahtuu mihin tahansa laitteeseen ja pyörii kokonaan selaimessasi WebAssemblylla.

Miten inferenssi toimii? Malli ennustaa aina seuraavan tokenin edellisten perusteella (autoregressive generation). Jokainen token vaatii yhden "forward pass" -laskennan kaikkien kerrosten läpi. 135M-mallilla tämä kestää ~0.8s selaimessa ja ~90ms natiivisti.

Qwen2.5 0.5B

Tehokkaampi kielimalli — vaatii vähintään 2 GB muistia (CPU)

Lataus: ~990 MB (safetensors) + 7 MB (tokenizer)

Valmis

Qwen2.5 0.5B (Alibaba Cloud)
24 kerrosta, 896-dim, 14 attention-headiä, 2 KV-headiä (GQA).

490 miljoonaa parametria ja 151 936 tokenin sanasto — 3x suurempi kuin SmolLM ja huomattavasti koherentimpi. Grouped Query Attention (GQA) vähentää muistinkäyttöä jakamalla key/value-headit 14:n query-headin kesken.

Miksi tämä on hitaampi? Jokaisessa kerroksessa lasketaan attention-matriisi (Q*K^T), joka skaalautuu O(n^2) sekvenssipituuden mukaan. 24 kerrosta x 14 headiä = 336 attention-laskentaa per token. Selaimessa CPU/Wasm: ~2.5s/token, natiivisti: ~90ms/token.

Phi-3 Mini 3.8B

Iso kielimalli — vaatii native-noden (Docker + GPU)

~7.6 GB — liian suuri selaimelle

Vain native

Phi-3 Mini 3.8B (Microsoft)
32 kerrosta, 3072-dim, 32 attention-headiä.

3.8 miljardia parametria — luokassaan yksi tehokkaimmista. Microsoftin "small language model" -tutkimuksen tulos: laadukas koulutusdata kompensoi pientä mallikokoa. Pärjää monissa tehtävissä 7B-13B mallien tasolla.

Miksi ei pyöri selaimessa? F32-painot vaativat ~15 GB muistia. Selainten Wasm-muistiraja on tyypillisesti 4 GB. GPU-kiihdytyksellä (CUDA/ROCm) malli mahtuu 24 GB VRAM-näytönohjaimeen ja generoi ~50-100 tok/s.

Qwen2.5-Coder-0.5B-Instruct Ei yhdistetty

Code-specialized language model trained on 5.5T tokens of source code. Generates Python code in your browser via WebAssembly. Choose model size and write your own prompt.

0.5B — 990 MB, ~0.4 tok/s

3B — 6.2 GB, better quality, slower

JSON mode

Tehtäviä

Tokeneita

tok/s

Kirjoita ohjelmointitehtävä ja paina Koodaa