Ämne

LLM-appar i produktion

Utforma, lansera, observera och driva LLM-applikationer efter demostadiet.

17 innehållsposter (12 artiklar · 5 videor)

Börja här

Börja med några rekommenderade innehållsposter innan du går igenom hela flödet.

Mer i detta ämne

8 min läsning
Artikel

Hermes kontra n8n: välj efter arbetsuppgift (och när du ska använda båda)

Ett beslutsramverk för Hermes Agent och n8n: deterministiska flöden stannar i n8n, medan ett bearer-autentiserat Hermes API-steg eller en separat händelsewebhook hanterar avgränsat agentarbete.

Mellannivå
10 min läsning
Artikel

Experimentell stack med två DGX Spark-enheter, DeepSeek-V4-Flash, n8n och Hermes

Så utvärderar du en experimentell väg från användargemenskapen för DeepSeek-V4-Flash på två DGX Spark-enheter, med n8n för den deterministiska delen och Hermes för bedömningsuppgifter.

Avancerad
69 minuter
Video

Agentlandskapet – lärdomar från att driftsätta agenter i produktion

MLOps.community. Prosus AI-chef och en AI-utvecklare berättar vad som faktiskt gick sönder när de driftsatte agenter i koncernens portföljbolag: penetrationstestning av promptinjektion före lansering, en osäker skrivning när en Jira-agent inte kunde tolka mänsklig kortnotation, inaktuell kontext som hanterades genom att agenterna fick redovisa sina antaganden samt reservlösningar som slog samman eller stängde av agenter när dessa började öka den kognitiva belastningen. Det är som att se artikelns register över fellägen spelas upp som en direktsänd incidentanalys.

Avancerad
12 min läsning
Artikel

Kostnadsoptimera inferens: promptcachning, routing och kontroll av utdata

Bygg en kostnadsmodell för inferens utifrån mätdata, optimera de största kostnadsposterna och visa att varje ändring bevarar kvaliteten i uppgiften.

Avancerad
13 min läsning
Artikel

Finjustering 2026: ett evidensbaserat experiment med LoRA och QLoRA

Avgör om parametereffektiv finjustering är motiverad, styr datahanteringen, lås ett reproducerbart experiment, jämför resultat på undanhållna data och säkerhetstester samt mät serveringen före driftsättning.

Avancerad
12 min läsning
Artikel

Utforma MCP-verktyg som LLM-modeller faktiskt använder rätt

De flesta MCP-verktyg vi ser är tekniskt korrekta men praktiskt oanvändbara. LLM-modeller ignorerar dem, använder dem fel eller anropar dem på olämpliga sätt. Här är principerna för att utforma verktyg som LLM-modeller tar till sig naturligt, med exempel på vanliga fel och hur de åtgärdas.

Avancerad
12 min läsning
Artikel

Så bygger du minne för långvariga agenter

Långvariga agenter behöver en persistenslösning med tydligt ansvar: proveniens, bekräftelse, isolering mellan kundorganisationer, tester av informationshämtning, lagringstid, korrigering och verifierbar radering.

Avancerad
10 min läsning
Artikel

Flermodellsorkestrering: routning efter kostnad, latens och kvalitet

Att routa olika uppgifter till olika modeller kan minska kostnader eller svarstid, men bara en arbetsbelastningsspecifik utvärdering kan visa om den ökade komplexiteten lönar sig. Mönster, mätningar och felkällor.

Mellannivå
12 min läsning
Artikel

Observerbarhet för LLM-appar: spårning, kostnader, svarstid och kvalitetsdrift

Utöka vanlig observerbarhet med flerstegsspår, hänförbar kostnad, prompt- och modellversioner, utvärderade kvalitetssignaler, integritetskontroller och aviseringar som härleds från arbetsbelastningen.

Avancerad
14 min läsning
Artikel

Promptinjektion och LLM-säkerhet: hotmodeller och djupförsvar

Promptinjektion är en permanent säkerhetsriskklass för LLM-system, inte ett misstag i promptskrivningen. En produktionsguide till hotmodeller, datagränser, verktygsbehörigheter, regressionstester, övervakning och incidenthantering.

Avancerad
12 min läsning
Artikel

Välj mellan promptning, RAG och finjustering (och när de bör kombineras)

Promptning, RAG och finjustering är de tre stora verktygen för att anpassa LLM-modeller till ditt problem. Var och en passar vissa problem och är fel för andra. Ett ramverk för valet, de realistiska kostnaderna och de produktionsmönster där kombinationer ger bäst resultat.

Avancerad
9 minuter
Video

LangSmith på 10 minuter

LangChain. En av LangChains medgrundare ger en guidad rundtur i ett LLM-spår, ett projekt och en datamängd – tokenkostnad, latens, felfrekvens, aggregering av återkoppling och fördjupning i ett enskilt spann för ett hämtningssteg. Det är den närmaste visuella motsvarigheten till det artikeln beskriver med ”varje anrop är ett spann” och varför strukturerade spår är bättre än loggning med utskrifter.

Avancerad
154 minuter
Video

Instrumentering och utvärdering av LLM:er

Hamel Husain. Hamel Husain, Eugene Yan, Brian Bischof, Harrison Chase och Shreya Shankar arbetar med spårning, logganalys, LLM som bedömare och arbetsflödet för att granska verkliga produktionsdata. Ge den samma uppmärksamhet som en lång podd. Det är den bästa enskilda djupgående genomgången på YouTube av artikelns tes ”titta på dina spår”.

Avancerad
77 minuter
Video

Promptteknik för AI: en djupdykning

Anthropic. Fyra promptingenjörer på Anthropic – inom forskning, anpassning, tillämpning och utvecklarrelationer – talar utförligt om vad de faktiskt gör till vardags: hur de redigerar prompter under press, hur de ser på ”ärlighet” i instruktioner, när XML-strukturer hjälper och när de inte gör det. Artikelns lagermodell stämmer väl överens med hur de beskriver arbetet. Det här är det bästa sättet att höra den mentala modellen formuleras högt.

Avancerad
25 minuter
Video

Promptning 101 | Code w/ Claude

Anthropic. En direktsänd byggsession där Anthropics Applied AI-team arbetar med en prompt för försäkringsanspråk. De börjar med en vag instruktion och itererar fram något som en utvecklare faktiskt skulle driftsätta, vilket visar den typ av ändringar i system- och utvecklarlagren som artikeln beskriver. Se den innan du läser om artikelns checklista för exempel, utdatastruktur och hantering av vägran.

Avancerad