REAL

Vox Machinae: A tömegek bölcsessége gépi sokaságokban

Bartha, Zoltán (2026) Vox Machinae: A tömegek bölcsessége gépi sokaságokban. In: Statisztika+ Galton konferencia előadásai, 2026. szeptember 11. GEMI Műhelytanulmányok (WP07). Miskolci Egyetem, Gazdaságelméleti és Módszertani Intézet, Miskolc, pp. 20-37. ISBN 9789633584552

[img]
Preview
Text
Bartha_2026_Vox_Machinae.pdf - Published Version

Download (770kB) | Preview

Abstract

Galton klasszikus megfigyelése szerint a laikus becslések mediánja a valós érték jó közelítését adja. Jelen tanulmány ezt a kísérletet ismétli meg egy olyan sokaságon, amelynek tagjai nagy nyelvi modellek. Négy modellt kérdeztem le nyolc szerepkörben és két mintavételi beállítás mellett, kérdésenként 192 előrejelzést gyűjtve 47 valós Metaculus-kérdésre. A lekérdezés minden kérdésnél a lezárás napján, a kimenetel ismerete előtt történt, ami kizárja az adatszennyeződést. Az aggregálási hatás kimutatható: a bináris kérdéseken a sokaság mediánjának Brier-pontszáma 0,178, szemben az egyéni előrejelzések 0,211-es átlagával (p = 0,004). A hatás mértéke azonban jóval elmarad az eredetitől: a gépi medián az egyéni becslések 63,7 százalékát múlta felül, míg Galton sokaságán ez az arány mintegy 90 százalék volt. Az elmaradás oka a sokaság szerkezete: a sokféleség 95,6 százaléka egyetlen forrásból, a modellválasztásból származik, a modellek hibái pedig 0,90-es átlagos korrelációt mutatnak. Ebből következően a gépi sokaságnál az összetétel fontosabb a méretnél: a két gyengébb modell elhagyása javítja a pontosságot, miközben a sokaságméret-görbe már 16 előrejelzésnél ellaposodik. Az emberi közösségi előrejelzéshez mért hátrány lényegében a csaknem bizonyos kimenetelű kérdésekre korlátozódik.

Item Type: Book Section
Uncontrolled Keywords: tömegek bölcsessége, aggregálás, nagy nyelvi modellek, előrejelzés, Brier-pontszám
Subjects: H Social Sciences / társadalomtudományok > HA Statistics / statisztika
SWORD Depositor: MTMT SWORD
Depositing User: MTMT SWORD
Date Deposited: 17 Nov 2026 15:13
Last Modified: 17 Nov 2026 15:13
URI: https://real.mtak.hu/id/eprint/250284

Actions (login required)

View Item View Item