94% nollatuloksista oli mahdollista saada eri malleja ja kehotteita kokeilemalla näyttämään tilastollisesti merkittäviltä.
#tutkimus
Uusi tutkimus: Kielimalleilla voi tuottaa haluamansa tutkimustuloksen! Tutkimuksessa toistettiin 37 yhteiskuntatieteellistä annotointitehtävää 18 LLM:llä. 94% nollatuloksista oli mahdollista saada eri malleja ja kehotteita kokeilemalla näyttämään tilastollisesti merkittäviltä.
#tutkimus
68% tutkimustulosten löydöksistä oli myös mahdollista aivan kääntää päälaelleen. LLM-hakkeroinnin ei tarvinnut olla edes tarkoituksellista: jopa "hyvää tarkoittavat" tutkijat saivat 31–50% todennäköisyydellä vääriä loppupäätelmiä hypoteeseilleen – GPT-4o:n kaltaisten lippulaivamallienkin kanssa.