En LLM förutsäger text bit för bit utifrån det som finns i dess kontext — instruktionen, dokumenten och verktygssvaren som skickas med. Den vet inget om er verksamhet som inte står där, och den kan formulera fel lika övertygande som rätt. En LLM blir aldrig bättre än kontexten den får, och därför avgörs värdet oftare av data, verktyg och guardrails än av vilken modell som valts. En bra introduktion finns på Wikipedia.
I en produkt kopplas modellen till verkliga system via API:er och Model Context Protocol; i ett repo arbetar den som kodagent och läser en AGENTS.md för att förstå reglerna. LLM-baserade funktioner behöver testas, mätas och förbättras i verklig användning — precis som vilken annan funktion som helst.