jaakko
3eb0c4d939
- docker-compose: Ollama-container GPU:lla + persistent volume malleille - native-node: Candle poistettu, kutsuu Ollaman HTTP API:a (async) - Dockerfile: yksinkertaistettu, ei CUDA SDK:ta (Ollama hoitaa GPU:n) - Tukee kaikkia malleja: qwen2.5-coder:1.5b/3b/7b/14b/32b - OLLAMA_MODEL ympäristömuuttujalla vaihdetaan malli - kpn models näyttää Ollama-mallit nopeustiedoilla Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
51 lines
1.3 KiB
YAML
51 lines
1.3 KiB
YAML
services:
|
|
agentic-poc:
|
|
build:
|
|
context: .
|
|
dockerfile: Dockerfile.dev
|
|
container_name: agentic_poc_dev
|
|
ports:
|
|
- "3000:3000"
|
|
volumes:
|
|
- .:/app
|
|
# Käännetään aina käynnistyksen yhteydessä varmuuden vuoksi Wasm uusimmista koodeista, ja päälle pyöräytetään Hub!
|
|
command: bash -c "cd node && wasm-pack build --release --target web --out-dir ../static/pkg && cd ../hub && cargo run"
|
|
|
|
# Ollama — LLM-inferenssi GPU:lla (NVIDIA/AMD/Apple)
|
|
ollama:
|
|
image: ollama/ollama:latest
|
|
container_name: kipina_ollama
|
|
ports:
|
|
- "11434:11434"
|
|
volumes:
|
|
- ollama-models:/root/.ollama
|
|
deploy:
|
|
resources:
|
|
reservations:
|
|
devices:
|
|
- driver: nvidia
|
|
count: all
|
|
capabilities: [gpu]
|
|
profiles:
|
|
- native
|
|
|
|
# Natiivisolmu — yhdistää hubiin ja käyttää Ollamaa inferenssiin
|
|
native-node:
|
|
build:
|
|
context: .
|
|
dockerfile: Dockerfile.native-node
|
|
container_name: kipina_native_node
|
|
environment:
|
|
- HUB_URL=ws://agentic-poc:3000/ws
|
|
- OLLAMA_URL=http://ollama:11434
|
|
- OLLAMA_MODEL=qwen2.5-coder:7b
|
|
- ALLOCATED_GB=4
|
|
depends_on:
|
|
- agentic-poc
|
|
- ollama
|
|
profiles:
|
|
- native
|
|
|
|
volumes:
|
|
ollama-models:
|