Kümme mustrit ja jäika piiri AI-agentidele tootmises

Sa ei turva AI-agente lootusega.Sa turvad neid 10 konkreetse mustri ja jäikade piiridega.

(💾 Salvesta hilisemaks)

Enamik päris intsidente ei tule „halbadest mudelitest“.Need tulevad agentidest, millel on:

• liiga palju ligipääsu
• kaitsepiirded puudu
• null jälgitavust
• valideerimine puudu

Kui tahad agente tootmisse, pead arhitektuuri selle reaalsuse jaoks kohe alguses paika panema.

Päris ettevõtetes mõtlen sellest nii:

1) Minimaalsed õigused ja tööriistade vahendamine• Üks agent, üks ülesanne• Minimaalsed tööriistad, minimaalsed andmed• Iga tegevus läbib gateway, kus on lubatud nimekirjad, argumentide kontroll ja päringulimiidid

2) Konteksti piirid• Ranged otsinguulatused• Projektideülest mälu pole• Klientidevahelist jagamist pole• Tundlikele andmetele ajaliselt piiratud ligipääs

GDPR-i ja EU AI Acti eesmärgi piiritlemise põhimõte elab siin, mitte PDF-is.

3) Eskaleerimine ja inimjärelevalve• Agendid peatuvad, inimesed otsustavad.• Selged reeglid, millal eskaleerida: suur mõju, madal kindlus, ebaselge poliitika.• Järjekorrad, SLA-d, rikkalik kontekst üleandmisel.

4) Enne plaan, siis täitmine, ja väljundite filtreerimine• Mudel pakub välja plaani.• Deterministlik kiht kontrollib seda skeemide ja reeglite vastu.• Täidetakse ainult heakskiidetud samme.

5) Isoleerimine• Arutlus jookseb liivakastides ja piiratud võrkudes.• Tootmisega suhtleb ainult rangelt kontrollitud orkestreerimiskiht.

6) Sisendite kaitse• Käsitle iga sisendit vaenulikuna: prompte, e-kirju, dokumente, API-sid.• Nõua skeeme, eemalda juhtjadad, lükka veidrad struktuurid tagasi.

7) Poliitika kui töövoog• Poliitikad on kood töövoos, mitte slaidid esitluses.• Kes, millised andmed, mida logida, millal eskaleerida → jäigad kontrollid.

8) Audit ja jälgitavus• Kui sa ei suuda seletada, „miks agent seda tegi?“, pole sul süsteemi.• Sul on demo.

9) Identiteet ja saladused• Agendid on rollidega identiteedid, mitte superadminid.• Lühiajalised tokenid, saladused seifis, ei ühtegi mandaati promptides ega logides.

10) Pidev hindamine, monitooring ja red teamingVaenulikud promptid, kuritarvitusjuhtumid, lekketestid, poliitikast möödahiilimise testid.

Lisaks pidev monitooring:

• Jälgi veamäärasid, ülesannete õnnestumist ja ebaõnnestumist, eskaleerimiste sagedust
• Logi, millised ülesanded ebaõnnestusid ja miks - privaatsust austav telemeetria, jälgedes pole isikuandmeid
• Kasuta tõrkeanalüüsi, et uuendada reegleid, ulatusi ja järelevalve päästikuid

Sa ei saa parandada seda, mida sa ei mõõda.Ja sa ei saa kaitsta seda, mida sa pole testinud.

Agendid ei ole oma olemuselt ohtlikud.Nad on ohtlikud, kui disainid neid ilma mustrite ja piirideta.

Kui arendad agente tootmise jaoks, alusta nendest 10-st.

---

↳ Tead kedagi, kes viib agente tootmisse? Saada see talle.