Inference Engineer - Stockholm

Varje flöde vi kör kostar pengar. De flesta kostar för mycket.

Vi använder de bästa modellerna från Anthropic, OpenAI och Google där de gör nytta. Men hälften av vad våra agenter gör – sammanfatta ett mejl, klassificera en förfrågan, extrahera data ur ett dokument – kan göras lika bra av en modell vi kör själva. Om någon sätter upp det rätt.

Den någonen är du.

Vår övertygelse: Inferens-kostnad är inte en eftertanke. Det är gränsen för hur mycket värde vi kan leverera per krona kunden betalar. Varje krona vi sparar går tillbaka till att bygga fler agentflöden, köra dem oftare, minnas mer, och låta fler människor få en AI som faktiskt arbetar åt dem.

Du bygger lagret som gör det möjligt.

Vad rollen innebär

Du äger hela inferens-stacken. Du bestämmer vilken modell som kör vilket flöde – vad som ska gå till frontier-labben och vad som kan köras billigare hos oss själva, hos Fireworks, Together eller på en egen GPU. Du finjusterar. Du kvantiserar. Du destillerar. Du bygger evals som faktiskt säger vilken modell som är bäst för varje specifikt flöde, inte vilken som är hajpad just nu.

Du är personen som ser till att varje agent vi shippar kör på rätt modell för rätt pris.

Tekniskt

Modellhosting & serving: Deploya och optimera open-weights-modeller med vLLM, SGLang, TGI eller llama.cpp. Kvantisering (AWQ, GPTQ, GGUF, FP8). Speculative decoding, prefix caching, continuous batching. Du vet skillnaden mellan throughput-optimering och latency-optimering och när man bryr sig om vilken.
Finetuning & destillation: LoRA/QLoRA och full fine-tuning när det krävs. Destillera frontier-modeller till mindre modeller för repetitiva flöden. Dataset curation, filtering, syntetisk data via större modeller.
Provider-routing: Bygg vidare på LiteLLM-lagret i OpenClaw Gateway. Route per flöde mellan Anthropic, OpenAI, Google, Fireworks, Together, Arcee, Ollama och våra egna endpoints. Automatisk fallback, budget-caps per tenant, per-flöde-policies.
Evals & regressionstester: Bygg eval-harnessar per agent-use-case. Kvalitet, latens och kostnad mätt per request, inte i efterhand. Snapshot-tester vid varje modellbyte så vi inte regredierar i tysthet.
Kostnadsoptimering: Caching (exact + semantic), prompt compression, request-batching, dynamisk modell-routing beroende på uppgiftens svårighetsgrad. Målet är att halvera spend utan att kvalitetsmätningen rör sig.
Infra: GPU-workloads på RunPod, Lambda, Modal eller Hetzner. CUDA-hygien, PyTorch flytande, Triton en fördel. Vi snålar inte på compute för experiment.

Vi jobbar snabbt

Det släpps en ny modell varje vecka. Vi vill ha benchmarks körda mot vår stack innan veckan är slut, inte när det blivit en paper. Taggad, inte stressad.

Du passar om du

Har tränat eller finjusterat en LLM som faktiskt sedan användes till något – inte bara en hackathon-demo. Kan läsa en paper på morgonen och ha en prototyp på eftermiddagen. Har åsikter om vilka modeller som är över- och underskattade, och varför. Tänker i pareto-fronter mellan kostnad, latens och kvalitet snarare än i "bästa modellen".

Du behöver inte ha jobbat med OpenClaw tidigare. Du behöver vilja bli en av de skarpaste på inferens i Sverige.

Vi erbjuder

Kontor i Stockholm. Ett team där inferens-kostnad är en första-klass-metrik. Full tillgång till frontier-modellerna, till en GPU-budget som faktiskt räcker för experiment, och till våra riktiga produktionsdata (under NDA).

Och möjligheten att om fem år kunna säga: jag var en av dem som byggde det.

Så här söker du

Klicka på "Apply for this role"-knappen och fyll i formuläret. Skicka gärna med en modell du finjusterat, en eval-harness du byggt, eller en benchmark. Vi vill se siffror. CV:t kan komma sen.