BEWIJS! Financiële studies rammelen aan alle kanten

Diederik Stapel keer miljoenmiljard
Diederik Stapel keer miljoenmiljard
Duizenden studies zijn er inmiddels gedaan door economen, studenten en investeringsfondsen naar die ene vraag: waarom geeft de ene investering een hoger rendement dan de ander? In de zoektocht naar de kip met het gouden ei blijkt dat er nog wel eens een te lichtzinnig wordt omgegaan met statistiek. Een nieuwe studie van Campbell R. Harvey (Finance Professor op Duke University), Heqing Zhu en Yan Liu (beide assistent professoren) laat zien dat de meeste studies naar financial economics fout zitten. Geïnspireerd door een studie uit 2005, die vaststelde dat de helft van alle bevindingen uit medische studies incorrect waren, reproduceerden Harvey et al. dit voor hun eigen vakgebied. In totaal werden 315 verschillende papers onder de loep gelegd die het rendement op aandelen probeerden te verklaren. Daaruit bleek dat statistische verbanden vaker dan niet puur toeval zijn, vanwege de enorme hoeveelheid 'voorspellende' variabelen (zoals leverage of price-to-earnings ratio) die gebruikt worden. Hoe meer hypotheses gebruikt worden in een studie, hoe groter de kans op een statistisch significante relatie zonder daadwerkelijke causale basis. Dat betekent in de toekomst nog strenger omgaan met significantietoetsen. Want door bijvoorbeeld niet meer een 5% maar een 0,5% 'significantie' (= waargenomen effect ontstaan door toeval) te accepteren is de mogelijkheid op onjuiste causaliteit veel kleiner. Ook al betekent 5% waarschijnlijk een vrij lage kans voor één experiment, bij het gebruik van honderden testen is de kans op significantie die niets meer voorstelt dan 'random noise' vrij groot. Vandaar dat de drie auteurs beweren dat 'most claimed research findings in financial economics are likely false.' Om hun analyse kracht bij te zetten werden 200 willekeurige variabelen gebruikt. Degene die een significant hoog rendement opleverde is donkerrood gekleurd in bovenstaande grafiek. Lijkt indrukwekkend, maar het gaat hier om het resultaat van pure willekeur! Tegenover Vox.com vergelijkt Harvey het met dartpijltjes gooien richting de aandelenpagina van de Wall Street Journal. Al kenden wij in Nederland natuurlijk allang BeursGorilla Jacko, die 13 van de 14 keer met zijn via bananen gekozen aandelenportefeuille beter presteerde dan de AEX. En zo komt de professor van Duke University tot de conclusie dat 'the broader insight is that some investment managers will appear to outperform - purely by luck.' Ouch!

Reaguursels

Inloggen

Statistisch gezien komt 90% v/d statistieken niet overeen met de werkelijkheid. Dus, waar hebben we het eigenlijk over.

Amstel | 23-10-14 | 13:40 | + 0 -

Je maakt hier dezelfde denkfout als het gros van de wetenschappers (de 315 papers). Van 5% naar 0.5% significantie betekent dat je een kleiner deel van de resultaten (random noise) als waarheid aanneemt. In de paper van Harvey et al. komt naar voren dat de best presenterende studies nog steeds gebaseerd zijn op toeval (random noise). Met andere woorden, je kiest nu papers die 'toevallig' goed presteren bij een significatie niveau van 0.5% in plaats van 5%. Dat is nog steeds een kwestie van geluk/toeval.

De oplossing ligt niet in het vinden van een juiste hoogte van significantie, maar in het vinden van een geschikte methode voor het voorspellen van toekomstige resultaten. De tegenhanger van resultaten voorspellen op basis van een significantie niveau is het theorema van Bayes. Nate Silver heeft hier een alleraardigst boek "The Signal and the Noise" over geschreven.

SebastiaanH | 23-10-14 | 13:31 | + 2 -

Voordat jullie deze studie gaan aangrijpen om te stellen dat economie geen wetenschap is het handig om te weten dat deze studie een replicatie is van een studie in de medische wetenschap. De bevinding was daar hetzelfde. Of is de medische wetenschap ook geen wetenschap?

Het probleem is hier de publish or perish cultuur. De concurrentie onder wetenschappers is zo groot dat dat er geen ruimte is voor ethiek. Wetenschap is daarmee gewoon een industrie zoals alle andere.

kleuterleider | 23-10-14 | 13:07 | + 2 -

PS: Als economie (en wat daar van afgeleid is) al een wetenschap te noemen is... is het niet de wetenschap van schaarste, handel of welvaart... maar de wetenschap van de massahysterie.

Myrkie | 23-10-14 | 03:36 | + 4 -

Economie is een pseudowetenschap. Ze vinden zichzelf echter the hottest thing since mathmatics en zien niet in dat hun "wetten" die moeten zeggen hoe de economie zou werken vooral terug worden gevonden omdat ze constant mensen wijs maken dat die wetten bestaan. Door mensen te vertellen dat iets op een bepaalde manier werkt, wordt daar naar gehandeld (letterlijk). Vervolgens roepen de economen "kijk! Precies zoals ik voorspeld heb!".
Mocht het dan ooit gebeuren dat de werkelijkheid even een andere wending neemt (crises, craches en recessies) dan zit ineens iedereen met de handen in het haar: "Hoe kon dit gebeuren".
Het kon gebeuren omdat we geloven in een ideologie die vloeit uit een pseudowetenschap gebaseerd op een sociale wetenschap die zichzelf een harde wetenschap waant, terwijl we allemaal geloven dat het die harde wetenschap is en niet de ideologie.
Economie is dood, de economen hebben haar vermoord.

Myrkie | 23-10-14 | 03:34 | + 8 -

het gaat er ook niet om of het allemaal wel klopt, het gaat erom dat je het in een mooi ogend product kunt gieten dat je aan je klanten kan verkopen, die het eigenlijke risico lopen.

Bamzaaiert | 23-10-14 | 01:31 | + 0 -

1) Beleggingsdeskundigen (mensen die structureel bovengemiddelde rendementen behalen) bestaan niet, dat is al vele malen aangetoond.
2) Als er een echte deskundige zou bestaan, gaat die zijn deskundigheid echt niet voor andere mensen inzetten. Hij zou wel gek zijn.
3) Als er echte deskundige zou bestaan die bereid is voor jou te werken, dan zul je hem nooit vinden, want er zijn duizenden mensen die zeggen dat zij de echte deskundige zijn.

bintang | 23-10-14 | 01:17 | + 6 -

@pollodepiemel,
Volgens mij zul je deze heel leuk vinden, www.tylervigen.com/
Correlatie is geen causatie, zoveel is duidelijk!

M.H.Roberts | 23-10-14 | 00:33 | + 2 -

@Huisregel,
Als ik dat zo bekijk leren ze bij de Radboud vooral prof. Sent regurgiteren... Experimentele data, waar laat je die? Of kunnen ze na de observatie beter gewoon direct naar huis gaan volgens jou?

M.H.Roberts | 23-10-14 | 00:28 | + -1 -

@Huisregel. Economie heeft als basisaanname dat het waardevrij is. Ik zou liever zeggen: economie is waardeLOOS. Een tweede aanname is dat mensen rationele keuzes maken.
Van deze tweede aanname is onderhand wel duidelijk dat die onjuist is. Economie is dus deels gebrekkig en deels onjuist.
Jammer dat politici dit nog steeds niet inzien, en politieke keuzes maken die 'goed zijn voor de economie', welke keuzes dus heel slecht kunnen zijn.

KlaasGoudsekaas | 23-10-14 | 00:08 | + 3 -

Het beroemde voorbeeld van het (statistische)verband tussen het aantal ooievaars en het aantal geboorten in een regio schiet mij te binnen.

pollodepiemel | 22-10-14 | 23:54 | + 3 -

En eens te meer blijkt dat er een absolute noodzaak is voor meer kwalitatief onderzoek in plaats van kwantitatief onderzoek. Van alle universiteiten in Nederland is de Radboud Universiteit de enige universiteit die dit lijkt te begrijpen. Kwantitatief onderzoek in relatie met economie = bullshit. Per definitie. Economie gaat over individuen. Mensen die allemaal van elkaar verschillen en hun gedrag zal een zekere ontwikkeling vertonen die niet te voorspellen is. Pluralisme in wetenschappelijk onderzoek is noodzakelijk om meer kennis te vergaren over de economie en haar ontwikkeling. Hierbij zal er een zekere uitwisseling plaats moeten vinden tussen bijvoorbeeld economie, biologie en psychologie. Dat is ook het gebied waar economie thuis hoort. Niet tussen wiskunde, natuurkunde en scheikunde. Dat is namelijk wel echte 'harde' wetenschap. Economie is een sociale wetenschap.

Huisregel | 22-10-14 | 23:13 | + -5 -

En eens te meer blijkt dat er een absolute noodzaak is voor meer kwalitatief onderzoek in plaats van kwantitatief onderzoek. Van alle universiteiten in Nederland is de Radboud Universiteit de enige universiteit die dit lijkt te begrijpen. Kwantitatief onderzoek in relatie met economie = bullshit. Per definitie. Economie gaat over individuen. Mensen die allemaal van elkaar verschillen en hun gedrag zal een zekere ontwikkeling vertonen die niet te voorspellen is. Pluralisme in wetenschappelijk onderzoek is noodzakelijk om meer kennis te vergaren over de economie en haar ontwikkeling. Hierbij zal er een zekere uitwisseling plaats moeten vinden tussen bijvoorbeeld economie, biologie en psychologie. Dat is ook het gebied waar economie thuis hoort. Niet tussen wiskunde, natuurkunde en scheikunde. Dat is namelijk wel echte 'harde' wetenschap. Economie is een sociale wetenschap.

Huisregel | 22-10-14 | 23:13 | + 9 -

Die financieel experts zijn duur zat. Kunnen ze geen cursus statistiek betalen?
Overfitten met vage variabelen: de beste manier om het verleden perfect te voorspellen...

frank87 | 22-10-14 | 23:12 | + -1 -

Die financieel experts zijn duur zat. Kunnen ze geen cursus statistiek betalen?
Overfitten met vage variabelen: de beste manier om het verleden perfect te voorspellen...

frank87 | 22-10-14 | 23:12 | + -2 -

je kan natuurlijk ook concluderen dat financials vooral goed zijn in het voorspellen van het verleden, en dat de toekomst NIET te voorspellen is. Dat er dus nooit enig verband is, gewoon omdat de wereld om ons heen in de tussentijd veranderd is. Daar hoef je geen professor voor te zijn, gezond verstand hebben is genoeg. Maar omdat het om veel geld gaat willen mensen een evrband zien, ook als dat er niet is.

FW Ta-183 Huckebein | 22-10-14 | 22:43 | + 0 -

In enkel 5% van de gevallen een ander resultaat kunnen verwachten is al streng genoeg hoor. Het probleem zit niet in de criteria maar in de methodes. Wat moet gebeuren is dat de resultaten op meer subsets van de data gevalideerd worden, bijvoorbeeld met bootstrapping. Data is er namelijk sowieso zat, al helemaal met dagelijkse data. Andere data dan dagelijkse gebruiken moet direct ook verboden worden, dan loopt men namelijk tegen het probleem aan dat de metingen van abnormal return te veel afhangen van de definitie van expected return.

M.H.Roberts | 22-10-14 | 22:21 | + -4 -

Maar vooral Investment Managers veel bonussen blijven geven hoor, want daar gaan ze beter van presteren (zeggen ze zelf).
(if you pay peanuts, you'll get monkeys, maar die presteren blijkbaar net zo goed)

--sql error-- | 22-10-14 | 22:05 | + 12 -

Volgens mij is de samenvatting hierboven niet helemaal correct. Het feit dat ten onrechte hypothesen niet verworpen worden betekent niet dat er causale verbanden worden verondersteld die er in werkelijkheid niet zijn. Wat het betekent is dat er bepaalde correlaties verondersteld worden die in de werkelijkheid niet bestaan. Om oorzakelijke verbanden aan te tonen kun je niet zomaar op het type analyse dat Harvey et al kritiseren vertrouwen.

Dit laat onverlet dat doorgaans geen rekening gehouden wordt met het feit dat als meerdere hypothesen tegelijkertijd getoetst worden er een correctie toegepast moet worden op de drempelwaarde vanaf waar een hypothese verworpen wordt. Bijvoorbeeld een Bonferoni correctie.

Dat doen zou echter niet heel veel oplossen omdat men dan gewoon een significante correlatie per paper gaat presenteren. Alle analyses waar niets uitkwam worden niet gerapporteerd terwijl die natuurlijk wel een invloed hebben op de juiste drempelwaarde voor het verwerpen van een hypothese.

Ergo, nagenoeg al het gepubliceerde empirisch onderzoek is en zal niet waar zijn.

Aldous | 22-10-14 | 21:39 | + 13 -

in 1995 heb ik samen met een collega aangetoond dat de beweging van toenmalige AEX een opmerkelijk hoge correlatie had met de beweging van de dagelijkse hoogwaterstanden bij Vlissingen. De conclusie was even verbazend als uiteraard zinloos. Het probleem is echter dat de meeste analisten hun onderzoek niet beter doen maar dat niet toegeven. Logisch dat ze veel mis zitten. Voor iedereen die koopt zit ergens iemand die de stukken verkoopt! Op basis van dezelfde gegevens. Een gemiddelde analist zal dus op den duur ergens rond de 50% "goed voorspeld" uitkomen alhoewel in het recente boek "denken als een Freak" een empirische studie uitwijst dat het 47% is. Kortom, het opgooien van een willekeurige munt doet het dan nog iets beter dan analisten. Laat u al uw beslissingen aan een beleggingsadviseur over? Dan hoort 50% van de aandelen in uw portefeuille er volgens bovenstaande redenatie niet in thuis.... Nu nog even zien welke dat zijn

jan-lul-de-behanger | 22-10-14 | 21:35 | + 26 -

REAGEER OOK

Linktip: Energie vergelijken