LLM-appar i produktion
Utforma, lansera, observera och driva LLM-applikationer efter demostadiet.
17 innehållsposter (12 artiklar · 5 videor)
Börja här
Börja med några rekommenderade innehållsposter innan du går igenom hela flödet.
12 min läsningUtforma prompter för produktion: system-, utvecklar- och användarlager
Ett styrningsmönster för att skilja betrodda instruktioner, körningsdata och användarindata åt och sedan versionshantera, utvärdera, driftsätta och observera prompter i proportion till risken.
Avancerad
10 min läsningFellägen för AI i produktion: det som går sönder efter demon
Bygg ett fellägesregister för hallucinationer, inaktuell kontext, promptinjektion, osäker verktygsanvändning, schemadrift, bristfällig felhantering och luckor i observerbarheten.
AvanceradMer i detta ämne
8 min läsningHermes kontra n8n: välj efter arbetsuppgift (och när du ska använda båda)
Ett beslutsramverk för Hermes Agent och n8n: deterministiska flöden stannar i n8n, medan ett bearer-autentiserat Hermes API-steg eller en separat händelsewebhook hanterar avgränsat agentarbete.
Mellannivå
10 min läsningExperimentell stack med två DGX Spark-enheter, DeepSeek-V4-Flash, n8n och Hermes
Så utvärderar du en experimentell väg från användargemenskapen för DeepSeek-V4-Flash på två DGX Spark-enheter, med n8n för den deterministiska delen och Hermes för bedömningsuppgifter.
Avancerad
69 minuterAgentlandskapet – lärdomar från att driftsätta agenter i produktion
MLOps.community. Prosus AI-chef och en AI-utvecklare berättar vad som faktiskt gick sönder när de driftsatte agenter i koncernens portföljbolag: penetrationstestning av promptinjektion före lansering, en osäker skrivning när en Jira-agent inte kunde tolka mänsklig kortnotation, inaktuell kontext som hanterades genom att agenterna fick redovisa sina antaganden samt reservlösningar som slog samman eller stängde av agenter när dessa började öka den kognitiva belastningen. Det är som att se artikelns register över fellägen spelas upp som en direktsänd incidentanalys.
Avancerad
12 min läsningKostnadsoptimera inferens: promptcachning, routing och kontroll av utdata
Bygg en kostnadsmodell för inferens utifrån mätdata, optimera de största kostnadsposterna och visa att varje ändring bevarar kvaliteten i uppgiften.
Avancerad
13 min läsningFinjustering 2026: ett evidensbaserat experiment med LoRA och QLoRA
Avgör om parametereffektiv finjustering är motiverad, styr datahanteringen, lås ett reproducerbart experiment, jämför resultat på undanhållna data och säkerhetstester samt mät serveringen före driftsättning.
Avancerad
12 min läsningUtforma MCP-verktyg som LLM-modeller faktiskt använder rätt
De flesta MCP-verktyg vi ser är tekniskt korrekta men praktiskt oanvändbara. LLM-modeller ignorerar dem, använder dem fel eller anropar dem på olämpliga sätt. Här är principerna för att utforma verktyg som LLM-modeller tar till sig naturligt, med exempel på vanliga fel och hur de åtgärdas.
Avancerad
12 min läsningSå bygger du minne för långvariga agenter
Långvariga agenter behöver en persistenslösning med tydligt ansvar: proveniens, bekräftelse, isolering mellan kundorganisationer, tester av informationshämtning, lagringstid, korrigering och verifierbar radering.
Avancerad
10 min läsningFlermodellsorkestrering: routning efter kostnad, latens och kvalitet
Att routa olika uppgifter till olika modeller kan minska kostnader eller svarstid, men bara en arbetsbelastningsspecifik utvärdering kan visa om den ökade komplexiteten lönar sig. Mönster, mätningar och felkällor.
Mellannivå
12 min läsningObserverbarhet för LLM-appar: spårning, kostnader, svarstid och kvalitetsdrift
Utöka vanlig observerbarhet med flerstegsspår, hänförbar kostnad, prompt- och modellversioner, utvärderade kvalitetssignaler, integritetskontroller och aviseringar som härleds från arbetsbelastningen.
Avancerad
14 min läsningPromptinjektion och LLM-säkerhet: hotmodeller och djupförsvar
Promptinjektion är en permanent säkerhetsriskklass för LLM-system, inte ett misstag i promptskrivningen. En produktionsguide till hotmodeller, datagränser, verktygsbehörigheter, regressionstester, övervakning och incidenthantering.
Avancerad
12 min läsningVälj mellan promptning, RAG och finjustering (och när de bör kombineras)
Promptning, RAG och finjustering är de tre stora verktygen för att anpassa LLM-modeller till ditt problem. Var och en passar vissa problem och är fel för andra. Ett ramverk för valet, de realistiska kostnaderna och de produktionsmönster där kombinationer ger bäst resultat.
Avancerad
9 minuterLangSmith på 10 minuter
LangChain. En av LangChains medgrundare ger en guidad rundtur i ett LLM-spår, ett projekt och en datamängd – tokenkostnad, latens, felfrekvens, aggregering av återkoppling och fördjupning i ett enskilt spann för ett hämtningssteg. Det är den närmaste visuella motsvarigheten till det artikeln beskriver med ”varje anrop är ett spann” och varför strukturerade spår är bättre än loggning med utskrifter.
Avancerad
154 minuterInstrumentering och utvärdering av LLM:er
Hamel Husain. Hamel Husain, Eugene Yan, Brian Bischof, Harrison Chase och Shreya Shankar arbetar med spårning, logganalys, LLM som bedömare och arbetsflödet för att granska verkliga produktionsdata. Ge den samma uppmärksamhet som en lång podd. Det är den bästa enskilda djupgående genomgången på YouTube av artikelns tes ”titta på dina spår”.
Avancerad
77 minuterPromptteknik för AI: en djupdykning
Anthropic. Fyra promptingenjörer på Anthropic – inom forskning, anpassning, tillämpning och utvecklarrelationer – talar utförligt om vad de faktiskt gör till vardags: hur de redigerar prompter under press, hur de ser på ”ärlighet” i instruktioner, när XML-strukturer hjälper och när de inte gör det. Artikelns lagermodell stämmer väl överens med hur de beskriver arbetet. Det här är det bästa sättet att höra den mentala modellen formuleras högt.
Avancerad
25 minuterPromptning 101 | Code w/ Claude
Anthropic. En direktsänd byggsession där Anthropics Applied AI-team arbetar med en prompt för försäkringsanspråk. De börjar med en vag instruktion och itererar fram något som en utvecklare faktiskt skulle driftsätta, vilket visar den typ av ändringar i system- och utvecklarlagren som artikeln beskriver. Se den innan du läser om artikelns checklista för exempel, utdatastruktur och hantering av vägran.
Avancerad