on tämä työmaa
This commit is contained in:
@@ -55,8 +55,28 @@ cargo run -p hub
|
||||
|
||||
# 3. Avaa selain: http://localhost:3000
|
||||
|
||||
# 4. Valinnainen: natiivi-node (terminaali 2)
|
||||
HUB_URL=ws://localhost:3000/ws ALLOCATED_GB=4 cargo run -p native-node
|
||||
# 4. Valinnainen: natiivi-node LLM-inferenssillä (terminaali 2)
|
||||
# Lataa Qwen2.5-0.5B automaattisesti HuggingFacesta (~990 MB, cachetetaan)
|
||||
# Release-moodissa ~11 tok/s CPU:lla (32 ydintä)
|
||||
CARGO_TARGET_DIR=target-native HUB_URL=ws://localhost:3000/ws ALLOCATED_GB=4 cargo run --release -p native-node
|
||||
|
||||
# Tai yhdistä tuotantopalvelimeen:
|
||||
CARGO_TARGET_DIR=target-native HUB_URL=wss://kipina.studio/ws ALLOCATED_GB=4 cargo run --release -p native-node
|
||||
```
|
||||
|
||||
### CUDA-tuki (valinnainen)
|
||||
|
||||
Jos koneessa on NVIDIA GPU ja CUDA toolkit:
|
||||
|
||||
```bash
|
||||
# Asenna CUDA toolkit (Ubuntu/Pop!_OS)
|
||||
sudo apt install nvidia-cuda-toolkit
|
||||
|
||||
# Muokkaa native-node/Cargo.toml:
|
||||
# candle-core = { version = "0.8", features = ["cuda"] }
|
||||
|
||||
# Aja — malli käyttää automaattisesti GPU:ta
|
||||
CARGO_TARGET_DIR=target-native HUB_URL=ws://localhost:3000/ws cargo run --release -p native-node
|
||||
```
|
||||
|
||||
## WebGPU-asetukset selaimessa
|
||||
|
||||
Reference in New Issue
Block a user