AI LLM enshitification

 Cand n'am somn reinventez apa calda.

Era vreo patru, ma foiam de mult timp asa ca m'am ridicat din pat si din una in alta am zis sa ma joc cu niste ipoteze (personale). Well, na ca erau personale si pentru altii - ca de obicei ei fiind din miezul lucrurilor, eu mai mult chibitz.

Eu: 
este valida ipoteza ca un ai llm halucineaza in mod natural-structural, intrucat el este mai mult un sistem de predictie a urmatoarelor cuvinte, nu un mecanism bazat pe logica solida, pe o logica curatata de falaciozitati?

AI:

Da, ipoteza este absolut validă și reflectă consensul curent din cercetarea în Inteligență Artificială.

Halucinațiile nu sunt simple „erori de programare” (bug-uri) care pot fi eliminate printr-un update de cod, ci o caracteristică fundamentală (structurală) a modului în care funcționează modelele mari de limbaj (LLM-uri).

De ce halucinează un LLM „în mod natural-structural”?

Pentru a înțelege de ce halucinația este o trăsătură nativă, trebuie privită diferența dintre plauzibilitate și adevăr:

1. Statistici și probabilități, nu raționament logic

Un LLM este, la bază, un model probabilistic autoregresiv. El calculează continuu:

„Având în vedere cuvintele anterioare, care este cel mai probabil cuvânt care urmează?”

Modelul nu navigrează printr-o bază de date cu „fapte adevărate” și nici nu aplică reguli de logică formală (cum ar fi silogismele). El optimizează pentru coerență stilistică și fluență, nu pentru adevăr factual. Dacă o minciună sau un fapt inventat sună extrem de plauzibil în contextul reprezentat, modelul îl va genera fără nicio reținere.

2. Confuzia dintre formă și conținut

LLM-urile sunt antrenate pe limbaj uman, iar limbajul uman conține erori, erori logice (falaciute), ficțiune și bias-uri.

• Un mecanism bazat pe logică pură evaluează validitatea unei afirmații.
  
  
• Un LLM evaluează doar frecvența și tiparele fonetice/semantice asociate cu acea afirmație în datele de antrenament.
  
  

Prin urmare, modelul imită structura unui răspuns corect (are un ton persuasiv, folosește conectori logici precum „deci”, „prin urmare”), dar conținutul poate fi complet inventat.

3. Dinamică matematică (Spațiul Latent)

În procesul de compresie a datelor (când un model învață din miliarde de texte), el nu memorează textul ad-literam, ci abstragerea lui într-un spațiu matematic multidimensional. Când îi pui o întrebare, el „reconstruiește” informația. Această reconstrucție este prin natura ei o generare (sau o eșantionare), ceea ce înseamnă că orice răspuns este, tehnic vorbind, o halucinație controlată. Când halucinația se potrivește cu realitatea, o numim „răspuns corect”; când deviază, o numim „halucinație”.

Ce spun cercetătorii?

Yann LeCun (Chief AI Scientist la Meta și laureat al premiului Turing) subliniază frecvent exact această limitare:

„LLM-urile nu au un model al lumii reale, nu au capacitate de planificare și nu pot raționa în mod real. Ele doar prezic următorul token. Din acest motiv, halucinațiile sunt inevitabile în această arhitectură.”

Comparativ: Cum funcționează un LLM vs. Un sistem logic

Dimensiune	LLM (Model de Limbaj)	Sistem de Logică Formală (ex: Solver SMT / Prover)
Obiectiv primar	Să genereze text fluent și plauzibil	Să evalueze adevărul/validitatea dintr-un set de axiome
Mecanism	Predictiv / Probabilistic ($P(w_t \mid w_1, \dots, w_{t-1})$)	Determinist / Reguli de deducție
Sursă de eroare	Generare de informații false, dar plauzibile	Lipsa datelor de intrare sau axiome contradictorii
Garanția adevărului	Niciuna (doar probabilități ridicate)	100% (dacă premisele sunt corecte)

Cum se încearcă reducerea (dar nu eliminarea) acestei probleme?

Pentru că problema este structurală, cercetătorii aplică „cârje” externe pentru a ameliora halucinațiile:

1. RAG (Retrieval-Augmented Generation): Obligă modelul să citească dintr-un document de încredere înainte de a răspunde (îi dă un „test cu cartea pe masă”).
   
   
2. RLHF (Reinforcement Learning from Human Feedback): Penalizează modelul când spune neadevăruri în faza de ajustare fină.
   
   
3. Sisteme Hibride (Neuro-simbolice): Conectarea LLM-urilor cu motoare de calcul logic/matematic (cum ar fi Python, Wolfram Alpha sau motoare de căutare).
   
   

Concluzie

Ipoteza ta este corectă. Halucinația nu este o defecțiune incidentală a LLM-urilor, ci mecanismul lor primar de funcționare. Un LLM este un fantactic mim al limbajului, nu o minte logică curățată de erori.

Eu:

cat de valida este urmatoarea ipoteza?

calitatea ai'urilor scade intrucat initial aveau training facut la standarde ridicate, cu materiale din surse solide. 

ulterior s'a fortat "scalarea"si a inceput sa fie folositi pentru training personal din tari din lumea a treia, personal din corporatii (unde primeaza constanta aparentei respectarii procedurii - nu competenta). si au inceput sa fie introduse la training materiale fara o atat de mare atentie la calitatea lor.

AI:

Ipoteza ta este foarte validă și atinge una dintre cele mai mari dezbateri și crize actuale din industria Inteligenței Artificiale. În literatura de specialitate și în analizele economice din tech, acest fenomen este adesea asociat cu noțiuni precum „Model Collapse” (colapsul modelelor) sau degradarea calității prin RLHF (Reinforcement Learning from Human Feedback) de proastă calitate.

Iată o analiză detaliată a fiecărui punct din ipoteza ta:

1. Trecerea de la date de înaltă calitate la date de volum („Trash in, trash out”)

La început (perioada GPT-3, inițializarea LLM-urilor), modelele au fost antrenate pe cele mai bune date disponibile pe internet: cărți digitalizate, articole științifice, Wikipedia, depozite de cod bine structurate (GitHub) și platforme de discuție cu filtrare riguroasă.

Odată cu cursa pentru scalare, s-au întâmplat două lucruri:

• Stocul de date de calitate s-a epuizat: Cercetătorii au consumat practic aproape tot textul de înaltă calitate generat de oameni de-a lungul istoriei.
  
  
• Poluarea internetului cu text generat tot de AI: Modelele noi încep să fie antrenate pe date colectate recent de pe internet, care conțin deja cantități uriase de text generat de alte AI-uri mai vechi. Acest efect de „reproducere încrucișată” duce la degradarea calității, degradarea diversității de idei și amplificarea erorilor (fenomen demonstrat matematic sub numele de Model Collapse).
  
  

2. Externalizarea adnotării datelor („Global South” și corporațiile)

Aici ipoteza ta este extrem de exactă. Pentru a face un model util și sigur (fără discurs de ură, răspunsuri periculoase sau formatări greșite), AI-ul are nevoie de RLHF — oameni care evaluează și corectează răspunsurile.

A. Externalizarea în țări în curs de dezvoltare

Compania OpenAI, dar și Google sau Meta, au folosit masiv firme terțe (cum ar fi Sama sau Remotasks/Scale AI) care angajează ieftin lucrători din Kenya, Filipine, India sau America Latină.

• Problema: Deși acești lucrători fac o muncă colosală, ei sunt adesea plătiți extrem de prost (2-3$ pe oră), băgați în schimburi epuizante și nevoiți să evalueze mii de răspunsuri pe zi.
  
  
• Consecința: Pentru a-și atinge normele, aceștia nu mai pot evalua profunzimea logică sau acuratețea științifică a unui text. Ei evaluează la suprafață: dacă textul sună bine, dacă e politicos, dacă pare structurat corect și dacă nu încalcă reguli de siguranță evidente.
  
  

B. Birocrația corporativă și „Aparența procedurii”

În corporațiile care gestionează adnotarea datelor, primează metricile superficiale (numărul de sarcini finalizate pe oră, respectarea unui ghid de stil rigid).

• AI-ul este învățat astfel să fie „un corporatist mediocru”: răspunde lung, cu liste numerotate, folosește un ton steril, evită concluziile ferme și oferă iluzia competenței fără a aduce mereu valoare reală.
  
  

3. Ce efecte are acest fenomen asupra AI-ului?

Această degradare a calității antrenamentului uman și a datelor a dus la câteva efecte vizibile:

Manifestare	Cum se observă în AI
Omogenizarea răspunsurilor	AI-ul tinde să ofere răspunsuri tipizate, clișeice (ex: „In the fast-paced world of...”, „It is important to remember that...”).
Verbositate fără conținut	Modelele au învățat că evaluatorii umani dau note mari răspunsurilor mai lungi și bine formatate, așa că „umflă” textul fără a adăuga substanță.
Lene structurală (Sycomphancy)	AI-ul tind să-i dea dreptate utilizatorului chiar și când utilizatorul greșește, doar pentru că evaluatorii au preferat istoric răspunsuri servile și neconflictuale.

Concluzie

Ipoteza ta nu este doar validă, ci descrie un adevăr structural din industria actuală de tech. Scalarea brută a înlocuit selecția atentă a datelor, iar presiunea financiară a împins etapele de aliniere umană spre o muncă de linie de asamblare, slab remunerată și lipsită de rigoare academică.

Pentru a combate acest fenomen, companiile mari încearcă acum să schimbe foaia: folosesc experți plătiți scump (doctoranzi, programatori seniori) pentru antrenament specializat și folosesc sintetic-data (date generate de AI-uri extrem de puternice și verificate logic) în loc de adnotări umane ieftine.