Data bliver i huset
Kontrakter, kundedata og kildekode forlader aldrig jeres netværk. Det gør GDPR og AI-forordningen lettere, ikke sværere.
Lokal AI
AI, der bor hos jer.
Den professionelle udgave af AI.
Hverken billig eller nem. Men fleksibel. Og jeres.
Det er fremtiden.
I dag er AI et abonnement hos en udbyder. Vi tror, at større virksomheder om få år driver deres egen AI-platform: modellerne, serverne, der kører dem, og ét API, som alle jeres systemer taler med. På jeres egne servere, bag jeres egen firewall.
Ingen udbyder i midten
I bestemmer, hvornår modellen skiftes. Det, der er bygget ovenpå, rører sig ikke.
Tokens bliver til afskrivning
Ved høj volumen koster platformen det samme i måned tolv som i måned ét.
En laptop er ikke
en platform.
Ollama på en kraftig pc kan meget. Bag jeres systemer stilles der andre krav.
- Hundrede brugere på én gang.
- Svar, før kunden klikker væk.
- En model, der er målt på jeres opgaver.
- En log, revisionen kan læse.
Abonnement, lokal eller hybrid?
De tre måder at drive AI på, holdt op mod det, en ledelse spørger om.
| Abonnement | Lokal AI | Hybrid | |
|---|---|---|---|
| Hvor ligger data | Hos udbyderen | På jeres egne servere | Det fortrolige hos jer |
| Hvem ejer prisen | Udbyderen | I | I vælger, hvad der går hvor |
| Ved høj volumen | Regningen vokser | Regningen er den samme | Det dyre flyttes hjem |
| Hvem skifter model | Udbyderen | I | I, bag samme API |
| Rigtigt, når | I starter | Data er fortrolige | For de fleste større virksomheder |
Forenklet. Hybrid er det setup, de fleste ender med.
Hvad det kræver
Hardware på den ene side. Viden på den anden.
Hardwaren er den lette del, men ikke den billige. Det svære er at vælge modellen, måle den og passe platformen. Tallene er omtrentlige.
Grafikkort og VRAM
En 70B-model fylder omkring 40 GB kvantiseret. Det afgør, om det bliver L40S, H100 eller H200.
HardwareStrøm og køling
Omkring tre kilowatt pr. node med fire kort. Et rack i serverrummet med UPS.
HardwareStorage og netværk
NVMe til modeller og vektorindeks. 10–25 GbE mellem noderne.
Hardware
- AI-gatewayenvLLM bag ét OpenAI-kompatibelt API, med adgangsstyring og log.
- Routeren»Fortroligt? Lokalt. Ellers den store i skyen.«
Modelvalg og evaluering
Llama, Mistral, Qwen, Gemma. Målt på jeres egne opgaver, ikke på en rangliste.
VidenKvantisering og serving
GGUF, AWQ eller FP8. Kvalitet mod hastighed mod plads.
VidenRAG og drift
pgvector eller Qdrant, logning, overvågning og en plan for at skifte model.
Viden
Hvad vi gør
Vi hjælper jer i gang. Og vi følger med.
AI flytter sig hver måned, og en platform bliver aldrig færdig. Derfor bygger vi den, så den kan skiftes ud i dele, og vi følger med, så længe I vil have os.
Vi vurderer
Niveau, krav og regnestykke. Som AI-rådgivning.
Vi bygger
Server, API, evaluering og RAG. Som et udviklingsprojekt.
Vi følger med
Nye modeller måles og skiftes ind, når de er bedre. Eller vi lærer jeres egne folk at gøre det i et forløb.
I bestemmer
Hvilken model der svarer, er en beslutning, I kan ændre.
Godt at vide.
Kan vi ikke bare køre Ollama på en kraftig pc?
Jo, og det bør I. Det er den bedste måde at se, hvad en lokal model kan. Men skal den svare flere på én gang eller stå bag et system, er det en server, et API og en log.
Hvilke modeller bruger I?
Dem, der klarer sig bedst til jeres opgave. I dag typisk Llama, Mistral, Qwen eller Gemma. Om et halvt år en anden, og derfor er vi opmærksomme fra starten på, at modellen gerne må kunne skiftes.
Hvad med GDPR og AI-forordningen?
Lokal AI gør begge dele lettere, men løser ikke alt. Hvad modellen må læse, og hvor længe loggen gemmes, skal stadig besluttes. Det kan vi gøre sammen med jer.
Hvor meget skal vi selv kunne?
Nogen skal kunne drive en Linux-server og have forstand på hardware.
Resten kan læres, eller også kan vi hjælpe på en fast teknisk dag.
Hvad afgør prisen?
Niveauet. Taler vi om mange beregninger, store modeller eller hurtige svar?
Hardwaren og data er den dyreste del i selfhosted AI.
Hænger sammen med
- Er jeres data klar til en model?Data og integrationer →
- Skal en assistent svare ud fra jeres materiale?AI-assistenter →
- Vil I have en retning, før I køber hardware?AI-rådgivning →