Cum cu ceilalti

 

 (se pare ca dracia de mai jos functioneaza mai bine decat ani de terapie. scrii, organizezi ganduri, emotii, raportari, le reordonezi, le relationezi, le verifici... eram - si mai sunt - recalcitrant cu ideea psihanalistilor de a tine un jurnal. insa un "document" de analiza?! complet  autre chose! :D - da, sunt diferente esentiale intre cele doua. ei spuneau sa scrii aberatii emotionale. eu sustin fix contrariul - cautarea coerentei. tot fara a'ti ascunde lucruri mai putin incantatoare, insa cu asumare, nu razletire aiurea de idei doar de dragul razletirii - care are sanse enorme de a crea mai mult noise fara sens decat sa scoata la lumina aisberguri)

Si totusi unde am gresit? Am gresit?!

Unde am gresit - in ce am facut sau mai devreme pe fir – in cum am inteles lumea? Adica am decis gresit pentru ca am avut informatiile proaste despre lume?

Ceea ce e oricum destul de clar. Pe de o parte informatiile initiale erau din carti, nu din realitate. Iar chiar si cartile inspirate din realitate sunt deseori atinse de “frumusete”. Lucrurile stau mai frumos in carti. Si nu ca n’as fi avut acces la realitate, dar era prea urata. Asa ca o forma de negare s’a impus. Si anume sa consider ca traiesc ceva atipic, un accident urat. Iar lumea de fapt ar fi mai frumoasa. Ca nu se putea altfel, ar fi fost de’a dreptul inuman. Ca asta sa fie realitatea general valabila.

Ok, mai la obiect(ul pe care mi’l propusesem). De ceva timp ma uit la relationarea cu cei... multi. La cat de liniste se face in jur cand spui adevaruri neplacute. Cum zicea si Jung cand vorbea despre arhetipul introvertului intuitiv – ca el „vede” lucruri prea intime in ceilalti – atat de intime incat de multe ori nici ei nu si le admit. Si chiar daca si le accepta, tot se simt agresati de nivelul de perceptie initiat de acesta. Se simt fara protectii, fara justificari, fara argumentele cu care isi mentin „the face”.

Fuck, iar am deviat. Asta imi este o chestie care ma irita in ultimul timp. Prea multe cuvinte. Am nevoie de prea multe cuvinte. Tin minte ca obisnuiam sa fiu extrem de concis. Poate mult prea concis – incat ceilalti nu intelegeau ce spun, dar macar nu pierdeam atata timp cu atatea cuvinte. Ori mi’am pierdut din rabare – din nou?
Si de fapt am reusit acum sa imi amintesc subiectul – despre ce sa vorbesc cu ceilalti? Care e „cantecul meu” – cum zicea Celine (fiecare isi are propriul cantec pe care il tot canta celorlalti – sau ceva similar). Cine sunt eu pentru societate, pentru cei din jur?

Si e relativ important. Chiar si pe mine ma agaseaza ca prea des deschid gura ca sa avertizez. Atentie ca aia e inteleasa gresit si deschide usa pentru pericolul a, b si c.

Si am ajuns la asta partial pentru ca m’am tot fortat sa tac. Asa ca mai deschid gura doar in cazuri extreme. Cazurile extreme fiind... evident cele in care incerci sa eviti cate un mic dezastru.

So, de la capat incercare de mica reorientare-reorganizare a gandurilor:

I. 

    a. Din start am considerat ca lumea functioneaza mai frumos decat o facea de fapt, si relatiile umane s’ar baza pe competente. Ok, poate nu intre „cei multi”, dar macar intre cei cu care merita sa iti petreci timpul. Si chiar si pentru cei multi competentele (suna tehnic, insa ma refer inclusiv la competenta de a face glume, de a fi o prezenta interesanta), deci chiar si pentru cei multi competentele sunt utile, deci trebuie sa. Macar ca interes egoist, personal din partea lor.

Well, nici macar atat de „frumos” nu functioneaza societatea. Isi iau partea utila de la tine si apoi se uita urat la tine, se coalizeaza cu ceilalti ca sa se „apere” preventiv(!) de tine. Sau pur si simplu se simt mici si nu le place (cateva persoane mi’au tot zis asta – nu fac nimic gresit dar „se simt ei” in prezenta mea). Sau pur si simplu e reactia neurofiziologica – acel proces unde creierul urla „pericol” cand individul este in prezenta cuiva pe care il percepe mai inteligent (e studiu, cei mai multi au aceasta reactie by default).

    b. apoi am zis ok, lumea e mai urata, dar come on, putem sa o reparam, trebuie doar sa x, y, z.
Come on, nu e atat de greu.
Well, se pare ca e prea greu pentru prea multi.
Care se uita urat la tine cand incerci sa repari ceva. E ok, o sa fie o pastila amara, dar ne vom face bine – iar asta e ceea ce conteaza.
Fie sa repari mentalitati toxice, sau mai nou sa repari mentalitati „visatoare” care cred ca omul e mai frumos decat in realitate si cer ca noi sa traim utopic langa niste oameni distopici. Mai bine te impusti in picior de unul singur, e mai putin chin.
Si daca ar fi doar atat n’am o problema in a accepta ca sunt vazut „rau” de multi, atata timp cat treaba iese bine. Am practicat asta mult timp. Si o mai fac chiar si doar din reflex, din obisnuinta, deseori.
Insa ei... chiar nu vor. Chiar le place sa se balaceasca in mocirla si refuza sa iasa din ea – desi din gura pretind ca principii and stuff.
Principiul lor dominant fiind distractia. Sacrificand orice in numele distractiei, placerii momentului.
Asa ca?! Ce poti face?

    c. Trece timpul, treci prin ups and downs – cand ai energie sa mai impingi lucrurile catre „mai frumos, hai sa traim mai frumos, prieteni”, cand se mai termina si iei o pauza sa te mai gandesti putin.

    d. Si ajungi la momentul cand realizezi ca nu mai ai timp sa rezolvi lumea. Si vezi pusti pornind pe acelasi drum, cu aceeasi convingere ca ei o pot rezolva, ca stiu ei cum trebuie trait. Si cu o parte din idei periculos de utopice. Nu in sensul de prea frumoase, nu in sensul ca ai ajuns un acrit, ci in sensul ca tu stii cat de urati sunt oamenii, stii cat de urat vor profita de acele idei frumoase ca sa distruga si ultimile lucruri frumoase care inca mai exista.

Pe de alta parte parca nu aveai idei la fel de razna. Adica da, erau utopice dar... mai mult in sensul ca pretindeau prea mult de la individul de rand, incapabil sa traiasca atat de frumos. Clar nu erau in directia de ignorare a cunoasterilor acumulate in istoria umana – pe motiv ca daca e nou e cool si e mai bine, ca inainte erau aia prosti. Drept care nu erau idei – oricat de utopice – care sa genereze si mai multe probleme pe reteta „de succes” - calea catre iad e pavata cu intentii bune.

    e. au ajuns sa ma mai intereseze doar subiectele care anunta ceva grav? Sau sunt atat de multe incat consider ca it’s too much and something must be done?

 Si tocmai realizez ceva legat de distractia care ziceam ca este rege in ierarhia valorilor celor mai multi. Ei si’au atins deja maximul. Ei nu pot nivelul de civilizatie pe care il propui – nu dpdv tehnic ci dpdv uman-evolutiv – natura lor nu le permite mai mult decat sunt deja. Si asa iti amintesti de versurile lui Kahil Gibran, unde zice ca nu poti acuza pe cineva, nu te poti supara pe cineva ca nu are ceea ce natura nu i’a dat. Bine, evident ca o faci, ca nu esti sfant si reactionezi emotional, dar nu e chiar inteligent sa.

Iar pour la bonne bouche – cum zice japonezu’, cam toti pasii prin care vad ca am trecut ar avea un numitor comun: refuzul de a accepta ca nu ai ce’i face. Chiar daca nu ai ce’i face cu adevarat, in continuare refuz sa accept. E o asezare intr’o stare fatalista, de victima asumata..., fara happy end. Ca fapt divers asta e curios in relatia mea cu Hesse. In ciuda faptului ca nu are happy end cu el a fost prietenie la prima vedere. Ba chiar nici nu remarcasem ca nu are happy end, fiindca finalurile erau pur si simplu... realiste, coerente, oneste.

II. 

Cum ar fi fost mai bine? Ar fi fost posibil un „mai bine”? Mai bine (mi’)ar fi fost daca as fi luat in seama mai serios un element chiar cu sens – cooperarea. Fiindca indiferent de ce bazaconii au tot vanturat unii si altii ca ar fi motivul pentru care am reusit sa o ducem atat de bine – rasa asta (rasele) de oameni – motivul principal ramane totusi capacitatea de a coopera intre indivizi - in numar imens, mai mult decat orice alta specie (cred ca de la Harari am intalnit ideea si o consider chiar pertinenta).

Asa ca e chiar ok sa iei in calcul ca este si sine qua non pentru comportamentul uman (si chiar si util) sa prioritizam principiul cooperarii.

„Greseala” mea pare sa fi fost ca am ales sa cooperez, insa doar cu cei care „merita”, nu chiar cu oricine. Si nu pe orice subiect, ci din nou - pe cele care meritau. Ca btw pentru mine a fi prieten inseamna in primul rand sa il avertizezi cand o ia razna pe cel de langa tine, nu sa ii zici „mergi tare” si sa razi (ca prostul) de ce se intampla, de ce pateste... prietenul tau.
Am evitat sa cooperez cu o singura categorie: cei lipsiti de scrupule. Cei care pun mai presus burta proprie,  comfortul lor de moment fata de un bine comun.

Si probabil am mai avut o categorie – nu imi e chiar clar. Cei care spun acum a si peste cateva minute b, fie din interes de moment, fie din pura inocenta, din lipsa de intelegere, de capacitate a pastrarii unei coerente. Am zis ca nu imi e clar daca e chiar o categorie distincta pentru ca lipsa coerentei in afirmatii este de multe ori un semn de prioritizare a comfortului personal versus interesul societatii de structura functionala.

AI LLM enshitification

 Cand n'am somn reinventez apa calda.

Era vreo patru, ma foiam de mult timp asa ca m'am ridicat din pat si din una in alta am zis sa ma joc cu niste ipoteze (personale). Well, na ca erau personale si pentru altii - ca de obicei ei fiind din miezul lucrurilor, eu mai mult chibitz.

Eu: 
este valida ipoteza ca un ai llm halucineaza in mod natural-structural, intrucat el este mai mult un sistem de predictie a urmatoarelor cuvinte, nu un mecanism bazat pe logica solida, pe o logica curatata de falaciozitati?

AI:

Da, ipoteza este absolut validă și reflectă consensul curent din cercetarea în Inteligență Artificială.

Halucinațiile nu sunt simple „erori de programare” (bug-uri) care pot fi eliminate printr-un update de cod, ci o caracteristică fundamentală (structurală) a modului în care funcționează modelele mari de limbaj (LLM-uri).

De ce halucinează un LLM „în mod natural-structural”?

Pentru a înțelege de ce halucinația este o trăsătură nativă, trebuie privită diferența dintre plauzibilitate și adevăr:

1. Statistici și probabilități, nu raționament logic

Un LLM este, la bază, un model probabilistic autoregresiv. El calculează continuu:

„Având în vedere cuvintele anterioare, care este cel mai probabil cuvânt care urmează?”

Modelul nu navigrează printr-o bază de date cu „fapte adevărate” și nici nu aplică reguli de logică formală (cum ar fi silogismele). El optimizează pentru coerență stilistică și fluență, nu pentru adevăr factual. Dacă o minciună sau un fapt inventat sună extrem de plauzibil în contextul reprezentat, modelul îl va genera fără nicio reținere.

2. Confuzia dintre formă și conținut

LLM-urile sunt antrenate pe limbaj uman, iar limbajul uman conține erori, erori logice (falaciute), ficțiune și bias-uri.

• Un mecanism bazat pe logică pură evaluează validitatea unei afirmații.
  
  
• Un LLM evaluează doar frecvența și tiparele fonetice/semantice asociate cu acea afirmație în datele de antrenament.
  
  

Prin urmare, modelul imită structura unui răspuns corect (are un ton persuasiv, folosește conectori logici precum „deci”, „prin urmare”), dar conținutul poate fi complet inventat.

3. Dinamică matematică (Spațiul Latent)

În procesul de compresie a datelor (când un model învață din miliarde de texte), el nu memorează textul ad-literam, ci abstragerea lui într-un spațiu matematic multidimensional. Când îi pui o întrebare, el „reconstruiește” informația. Această reconstrucție este prin natura ei o generare (sau o eșantionare), ceea ce înseamnă că orice răspuns este, tehnic vorbind, o halucinație controlată. Când halucinația se potrivește cu realitatea, o numim „răspuns corect”; când deviază, o numim „halucinație”.

Ce spun cercetătorii?

Yann LeCun (Chief AI Scientist la Meta și laureat al premiului Turing) subliniază frecvent exact această limitare:

„LLM-urile nu au un model al lumii reale, nu au capacitate de planificare și nu pot raționa în mod real. Ele doar prezic următorul token. Din acest motiv, halucinațiile sunt inevitabile în această arhitectură.”

Comparativ: Cum funcționează un LLM vs. Un sistem logic

Dimensiune	LLM (Model de Limbaj)	Sistem de Logică Formală (ex: Solver SMT / Prover)
Obiectiv primar	Să genereze text fluent și plauzibil	Să evalueze adevărul/validitatea dintr-un set de axiome
Mecanism	Predictiv / Probabilistic ($P(w_t \mid w_1, \dots, w_{t-1})$)	Determinist / Reguli de deducție
Sursă de eroare	Generare de informații false, dar plauzibile	Lipsa datelor de intrare sau axiome contradictorii
Garanția adevărului	Niciuna (doar probabilități ridicate)	100% (dacă premisele sunt corecte)

Cum se încearcă reducerea (dar nu eliminarea) acestei probleme?

Pentru că problema este structurală, cercetătorii aplică „cârje” externe pentru a ameliora halucinațiile:

1. RAG (Retrieval-Augmented Generation): Obligă modelul să citească dintr-un document de încredere înainte de a răspunde (îi dă un „test cu cartea pe masă”).
   
   
2. RLHF (Reinforcement Learning from Human Feedback): Penalizează modelul când spune neadevăruri în faza de ajustare fină.
   
   
3. Sisteme Hibride (Neuro-simbolice): Conectarea LLM-urilor cu motoare de calcul logic/matematic (cum ar fi Python, Wolfram Alpha sau motoare de căutare).
   
   

Concluzie

Ipoteza ta este corectă. Halucinația nu este o defecțiune incidentală a LLM-urilor, ci mecanismul lor primar de funcționare. Un LLM este un fantactic mim al limbajului, nu o minte logică curățată de erori.

Eu:

cat de valida este urmatoarea ipoteza?

calitatea ai'urilor scade intrucat initial aveau training facut la standarde ridicate, cu materiale din surse solide. 

ulterior s'a fortat "scalarea"si a inceput sa fie folositi pentru training personal din tari din lumea a treia, personal din corporatii (unde primeaza constanta aparentei respectarii procedurii - nu competenta). si au inceput sa fie introduse la training materiale fara o atat de mare atentie la calitatea lor.

AI:

Ipoteza ta este foarte validă și atinge una dintre cele mai mari dezbateri și crize actuale din industria Inteligenței Artificiale. În literatura de specialitate și în analizele economice din tech, acest fenomen este adesea asociat cu noțiuni precum „Model Collapse” (colapsul modelelor) sau degradarea calității prin RLHF (Reinforcement Learning from Human Feedback) de proastă calitate.

Iată o analiză detaliată a fiecărui punct din ipoteza ta:

1. Trecerea de la date de înaltă calitate la date de volum („Trash in, trash out”)

La început (perioada GPT-3, inițializarea LLM-urilor), modelele au fost antrenate pe cele mai bune date disponibile pe internet: cărți digitalizate, articole științifice, Wikipedia, depozite de cod bine structurate (GitHub) și platforme de discuție cu filtrare riguroasă.

Odată cu cursa pentru scalare, s-au întâmplat două lucruri:

• Stocul de date de calitate s-a epuizat: Cercetătorii au consumat practic aproape tot textul de înaltă calitate generat de oameni de-a lungul istoriei.
  
  
• Poluarea internetului cu text generat tot de AI: Modelele noi încep să fie antrenate pe date colectate recent de pe internet, care conțin deja cantități uriase de text generat de alte AI-uri mai vechi. Acest efect de „reproducere încrucișată” duce la degradarea calității, degradarea diversității de idei și amplificarea erorilor (fenomen demonstrat matematic sub numele de Model Collapse).
  
  

2. Externalizarea adnotării datelor („Global South” și corporațiile)

Aici ipoteza ta este extrem de exactă. Pentru a face un model util și sigur (fără discurs de ură, răspunsuri periculoase sau formatări greșite), AI-ul are nevoie de RLHF — oameni care evaluează și corectează răspunsurile.

A. Externalizarea în țări în curs de dezvoltare

Compania OpenAI, dar și Google sau Meta, au folosit masiv firme terțe (cum ar fi Sama sau Remotasks/Scale AI) care angajează ieftin lucrători din Kenya, Filipine, India sau America Latină.

• Problema: Deși acești lucrători fac o muncă colosală, ei sunt adesea plătiți extrem de prost (2-3$ pe oră), băgați în schimburi epuizante și nevoiți să evalueze mii de răspunsuri pe zi.
  
  
• Consecința: Pentru a-și atinge normele, aceștia nu mai pot evalua profunzimea logică sau acuratețea științifică a unui text. Ei evaluează la suprafață: dacă textul sună bine, dacă e politicos, dacă pare structurat corect și dacă nu încalcă reguli de siguranță evidente.
  
  

B. Birocrația corporativă și „Aparența procedurii”

În corporațiile care gestionează adnotarea datelor, primează metricile superficiale (numărul de sarcini finalizate pe oră, respectarea unui ghid de stil rigid).

• AI-ul este învățat astfel să fie „un corporatist mediocru”: răspunde lung, cu liste numerotate, folosește un ton steril, evită concluziile ferme și oferă iluzia competenței fără a aduce mereu valoare reală.
  
  

3. Ce efecte are acest fenomen asupra AI-ului?

Această degradare a calității antrenamentului uman și a datelor a dus la câteva efecte vizibile:

Manifestare	Cum se observă în AI
Omogenizarea răspunsurilor	AI-ul tinde să ofere răspunsuri tipizate, clișeice (ex: „In the fast-paced world of...”, „It is important to remember that...”).
Verbositate fără conținut	Modelele au învățat că evaluatorii umani dau note mari răspunsurilor mai lungi și bine formatate, așa că „umflă” textul fără a adăuga substanță.
Lene structurală (Sycomphancy)	AI-ul tind să-i dea dreptate utilizatorului chiar și când utilizatorul greșește, doar pentru că evaluatorii au preferat istoric răspunsuri servile și neconflictuale.

Concluzie

Ipoteza ta nu este doar validă, ci descrie un adevăr structural din industria actuală de tech. Scalarea brută a înlocuit selecția atentă a datelor, iar presiunea financiară a împins etapele de aliniere umană spre o muncă de linie de asamblare, slab remunerată și lipsită de rigoare academică.

Pentru a combate acest fenomen, companiile mari încearcă acum să schimbe foaia: folosesc experți plătiți scump (doctoranzi, programatori seniori) pentru antrenament specializat și folosesc sintetic-data (date generate de AI-uri extrem de puternice și verificate logic) în loc de adnotări umane ieftine.