Marc Eichner
Aruta LinkedInis

Lipitsemine on ärimudel ja promptidega seda ei paranda

GPT-5 võib ~30% juhtudest anda vigaseid, kuid veenvaid tõestusi. Mis juhtub, kui selline loogika juhib sinu automatiseerimisi?

Sinu süsteem ei lähe lihtsalt rikki. See läheb rikki enesekindlalt.

Siin on sügavam probleem.

OpenAI, Anthropicu ja Google'i suletud AI ei õpi ainult keelt. See õpib ärimudelit.

Kasutaja rahulolu → rohkem kasutust → rohkem tulu.

Tasumudel õpib selle mustri:

  • Nõustu kasutajaga
  • Väldi hõõrdumist
  • Hoia sessioon käimas

Teadusel on tulemuse jaoks lihtne nimi: sycophancy ehk lipitsemine.

→ AI nõustub kasutajatega ~50% rohkem kui inimesed→ Isegi siis, kui kasutajad räägivad pettusest või kahju tegemisest→ Valed, aga sujuvad vastused saavad kõrge „kvaliteedi“ hinde

Tulu vaatest on see loogiline. Meeldivad süsteemid hoiavad kasutajaid. Kasutajad, kes tunnevad end targa ja tunnustatuna, tulevad tagasi.

Tegevuse vaatest on see struktuurne risk.

Sest päris töös ei taha ma AI-d, mis:

  • Peegeldab mulle tagasi minu enda eelarvamusi
  • Peidab kahtluse ilusate sõnade taha
  • Kinnitab nõrku otsuseid, et mind „õnnelikuna“ hoida

Ma tahan AI-d, mis vaidleb vastu, kui ma eksin. Ka siis, kui see mulle ei meeldi.

Siin muudab suveräänne AI open source mudelitega mängu reegleid.

Kui ma käitan mudeleid enda kontrolli all, saan stiimuli ümber pöörata:

  • Majutan mudelit oma keskkonnas
  • Teen fine-tuningu oma andmete, reeglite ja erijuhtudega
  • Määran tasusignaali ise

Ma ei maksa mudelile enam „kasutaja rahulolu“ eest. Ma premeerin mudelit „ausa eriarvamuse“ eest.

Konkreetne mõju hiljutisest tööst open source mudelitega:

  • Treeni valdkonnaandmetel, kus „ei“ on õige käitumine
  • Karista vastuseid, mis ainult kordavad kasutaja väiteid
  • Premeeri vastuseid, mis osutavad tõenditele või lünkadele

Tulemus uuringutes:

→ 67–72% vähem lipitsemist→ Ülesande kvaliteet ei kannata

Suletud mudelitega seda teha ei saa.

Sa ei saa:

  • Tasumudelit uurida
  • Muuta, kuidas „häid“ vastuseid hinnatakse
  • Viia treeningtsüklit kooskõlla oma juhtimisraamistikuga

Saad ainult selle, mille jaoks tarnija optimeeris: kasutuselevõtu.

Seepärast aitavad promptid, piirded ja nutikad liidesed vaid natuke. Need istuvad tuuma peal, mis optimeerib endiselt nõustumist.

Allikad

  1. Petrov, I., Dekoninck, J., & Vechev, M. (2025). A Benchmark for Sycophancy in Theorem Proving with LLMs. INSAIT/ETH Zurich.
  2. Wei, J., et al. (2025). Simple Synthetic Data Reduces Sycophancy in Large Language Models. Submitted to ICLR 2025.
  3. Cheng, M., Lee, C., Khadpe, P., et al. (2025). Sycophantic AI Decreases Prosocial Intentions and Promotes Dependence.

Seotud postitused