Topic: [Theorie] De mol zoeken met Dempster-Shafer theorie

[henk1987]

Hallo allemaal,

Inleiding

Dempster-Shafer theorie is een methode uit de statistiek om met behulp van een aantal bewijsstukken de meest waarschijnlijke hypothese te kiezen uit een set van hypothesen. Meer informatie is te vinden op http://en.wikipedia.org/wiki/Dempster%E2%80%93Shafer_theory en http://fitelson.org/topics/shafer.pdf

Het leek me een leuk idee om deze theorie toe te passen op het WIDM probleem. Voor Dempster-Shafer theorie zijn er drie essentiële componenten: de hypothesen, de bewijsstukken en het bewijs wat uit de bewijsstukken voortvloeit.

Methode

In ons geval zijn de hypothesen de kandidaten. Slecht één hypothese kan waar zijn, en dat is logisch: maar één van de mensen die dit jaar mee doet is daadwerkelijk de mol. In de programmatuur wordt de set weergegeven met enkele letters, waar “a” correspondeert met Aafke, etc.

Bewijsstukken geven bewijs, door punten toe te kennen aan (combinaties) van hypothesen. De bewijsstukken die ik heb gekozen zijn

a) het 'follow the money' bewijs, zoals te zien op http://www.wieisdemol.com/index.php?p=widm14-overzicht-molgeldzak en
b) de 'mol acties' zoals te zien op http://www.wieisdemol.com/index.php?p=widm14-overzichten-molacties.

Bij het 'follow the money' bewijs worden punten toegekend aan de set van kandidaten die lijken te mollen. Bijvoorbeeld, bij de verlaten TV studio opdracht, is er geld verdiend, maar niet door Aafke, Daphne, Jan-Willem en Suzan. Dit kan wijzen naar het mol-zijn van één van deze kandidaten. Het 'mol-actie' bewijs werkt op ongeveer dezelfde manier. Als voorbeeld: bij de schijnwerper opdracht is de persoon die de widm website bijhoudt dit opgevallen: “Freek en Tygo denken in het begin dat de groene lasers de andere kandidaten zijn terwijl dit eigenlijk een lichtshow is. Dit kost tijd. “ Dit is bewijs voor het mol-zijn van Freek of Tycho.

Op zichzelf zijn bovenstaande bewijzen natuurlijk niet genoeg om de mol aan te wijzen. Het  voordeel van Dempster-Shafer theorie is dat het te gebruiken is om een grote hoeveelheid bewijs samen te voegen, en te zoeken naar overlap tussen bewijsstukken. Een tweede voordeel is dat er een betrouwbaarheid aan elk bewijsstuk toegekend kan worden.

Resultaten

In mijn model heb ik op bovenstaande wijze bewijsstukken verzameld. Ik heb het 'follow the money' bewijs een betrouwbaarheid van 75% gegeven, en de losse molacties (omdat de regiseur m.i. veel meer invloed heeft op wat we daar wel/niet zien) een betrouwbaarheid van 25%.

Met deze gegevens kom ik op deze gemiddelde scores:
Aafke: 0.57
Daphne: 0.05
Freek: 0.06
Jan-Willem: 0.18
Jennifer: 0.01
Maurice: 0
Owen: 0
Sofie: 0.12
Suzan: 0.02
Tycho: 0.04

Grafiekje met onder- en bovengrenzen van deze schattingen: https://www.dropbox.com/s/boeyvy2m6p8hded/widmbasecase.png

Door te spelen met de betrouwbaarheid die we aan de bewijsstukken toekennen, zien we dat de conclusie “Aafke of Jan-Willem is de mol” op basis van wat we nu gezien hebben, wellicht best te trekken is. Zelfs als we elk bewijs maar 10% betrouwbaar vinden, blijft dit nog de beste conclusie: https://www.dropbox.com/s/duicmbctqql5tyh/DSwidm.png

Conclusie

Nu zijn er natuurlijk een hoop haken en ogen aan deze methode. Allereerst zijn we natuurlijk afhankelijk van een gegevensbron die probeert ons te misleiden, en ons niet te laten weten wie de mol is. Hoe dan ook geeft dit ons een overzicht van wat men ons wíl laten zien. Verder kunnen we gedeeltelijk voor misleiding compenseren door een lagere betrouwbaarheid te geven aan makkelijk te manipuleren fragmenten. Verder zullen de echte kandidaten af en toe ook domme dingen doen, bedoeld danwel onbedoeld.

Ik ben benieuwd hoe zich dit verder ontwikkeld, en of het toepassen van dit soort modellen überhaupt werkt op een spel als WIDM. Naderhand zal het leuk zijn om de voorspellende waarde te berekenen.

Voor mensen die hier ook wel eens mee willen spelen (bijv zelf bewijsstukken toevoegen of aan de betrouwbaarheid van bewijzen sleutelen), heb ik het scriptje bijgevoegd. Het is geschreven voor het programma Rstudio (www.rstudio.com). Ik kan ook nog wel wat doorrekenen als mensen concrete getallen hebben.

groetjes!
Henk  

[Joss]

Mag ik alleen even melden dat het niet heel stom is om nu Aaf te verdenken! 

[Jelsir]

“Aafke of Jan-Willem is de mol”

De kans dat Aaf de Mol is is 57% en Jan-Willem 18%?

[Yaco]

Ik ben benieuwd hoe zich dit verder ontwikkeld, en of het toepassen van dit soort modellen überhaupt werkt op een spel als WIDM. Naderhand zal het leuk zijn om de voorspellende waarde te berekenen.

De taartdiagrammen van G-Root werkten op min-of-meer dezelfde principes, allen had hij er wat meer factoren bij dan jij hier nu gebruikt hebt (verdenkingen van erkende molspeurders bijvoorbeeld). Deze zat vaak naar het einde van het seizoen toe aardig in de richting.

Volgens wat ik weet van statistiek en kansen wordt het resultaat ook betrouwbaarder als je meer verschillende factoren gebruikt. (Ik zou alleen zo snel niet weten welke je hieraan toe moet voegen)

Dit soort theorien werken vaak het best als je ze afstelt op empirische resultaten. Je zou bijvoorbeeld van vorige seizoenen het model kunnen maken en kijken met welke combinatie van factoren en wegingen je het beste uitkomt. (lijkt me wat veel werk)
OF je zou het voor dit seizoen op wat verschillende manieren kunnen doen en kijken wat het beste/eerste resultaat oplevert. Dit geeft dan weer een uitgangspositie voor een volgend seizoen.

Hoe dan ook vind ik dit wat leuker om te volgen dan de eindeloze stroom aan 'hints'. In de eerste plaats vind ik de meeste hints hier veel te vergezocht. In de tweede plaats heb ik vaak als de hints in de laatste aflevering worden uitgelegd een licht teleurgesteld: "was dat het echt?"gevoel, maar dat zal wel aan mij liggen gezien het eindeloze hintspeuren hier...

[Edeholland]

Lightmans theorieën toevoegen? 

[Jaapie]

Kun je ook niet iets met de verschillende polls doen? Die van hier, die van de avro zelf, etc. Mogelijk kun je ook de poll 'wie is NIET de mol?' mee laten tellen als een soort vrijpleitend bewijs. Zomaar wat ideetjes om meer input te geven.

[Joss]

Ik hou ook van wetenschap en alles en super tof zo'n systeem en ook leuk om te zien dat de scores van de mollen 100% overeen komen met mijn verdenkingen!! Tot het getal achter de komma.

Maar...

Je bent eigenlijk gewoon steeds goede data van ONS speurders in het systeem aan het proppen. Zodat je op een gegeven moment een systeem hebt ontwikkelt dat onze Hive-mind als Borg-achtig efficiency monster in een model stopt. Een model waar anderen zich weer tegen gaan verzetten, terwijl het een goed model is.

Noem me een azijnpisser, noem me doom denker of wat dan ook, maar: ik ben niet voor om zo'n systeem te ontwikkelen. Omdat ik denk, dat het werkt!!

[Yaco]

Je bent eigenlijk gewoon steeds goede data van ONS speurders in het systeem aan het proppen. Zodat je op een gegeven moment een systeem hebt ontwikkelt dat onze Hive-mind als Borg-achtig efficiency monster in een model stopt. Een model waar anderen zich weer tegen gaan verzetten, terwijl het een goed model is.

In de eerste plaats: wat jij noemt zou waar zijn als hij inderdaad de polls, verdenkingen op de site enz mee zou nemen, dat doet hij momenteel echter niet. Gebruikte data is redelijk objectief (voor zover dat mogelijk is met wat de productie en de opzet van het spel dat mogelijk maakt natuurlijk) Bovendien is de kans dat zoiets binnen 1a 2 seizoenen meteen goed zit niet al te groot. (en gaat zeker niet iedereen het geloven, ook al klopt het wel)

Verder heb je grote kans op een kip-ei verhaal: wordt iemand (mede)verdacht omdat omdat mensen het model volgen of volgen mensen het model?
De taarten van G-Root zaten vaak goed na een tijdje, maar zo af en toe ook niet.
Tenslotte: denk je dat het het molspeuren voor je zou verpesten, dan kijk je toch gewoon niet in dat topic? makkelijk zat

[Joss]

In de eerste plaats: wat jij noemt zou waar zijn als hij inderdaad de polls, verdenkingen op de site enz mee zou nemen, dat doet hij momenteel echter niet. Gebruikte data is redelijk objectief (voor zover dat mogelijk is met wat de productie en de opzet van het spel dat mogelijk maakt natuurlijk) Bovendien is de kans dat zoiets binnen 1a 2 seizoenen meteen goed zit niet al te groot. (en gaat zeker niet iedereen het geloven, ook al klopt het wel)

Verder heb je grote kans op een kip-ei verhaal: wordt iemand (mede)verdacht omdat omdat mensen het model volgen of volgen mensen het model?
De taarten van G-Root zaten vaak goed na een tijdje, maar zo af en toe ook niet.
Tenslotte: denk je dat het het molspeuren voor je zou verpesten, dan kijk je toch gewoon niet in dat topic? makkelijk zat

Prima, ik ben er niet op tegen. Maar ik denk dat een toekomstig model tussen [Spoilers] komt te staan.

[Bodejos]

Ik denk dat het gewoon een variant is op wat hier al jaren gedaan wordt. G-root doet dit namelijk al seizoenenlang met zijn overheerlijke taarten.

Dus eigenlijk niets nieuws onder de zon.

[henk1987]

De taartdiagrammen van G-Root werkten op min-of-meer dezelfde principes, allen had hij er wat meer factoren bij dan jij hier nu gebruikt hebt (verdenkingen van erkende molspeurders bijvoorbeeld).

Ik denk dat het gewoon een variant is op wat hier al jaren gedaan wordt. G-root doet dit namelijk al seizoenenlang met zijn overheerlijke taarten.

Dus eigenlijk niets nieuws onder de zon.

Heb je daar een linkje van? Klinkt leuk!

Maar...

Je bent eigenlijk gewoon steeds goede data van ONS speurders in het systeem aan het proppen. Zodat je op een gegeven moment een systeem hebt ontwikkelt dat onze Hive-mind als Borg-achtig efficiency monster in een model stopt.

Check, het model is maar zo goed als wat je er in stopt

Als ik een keer zin/tijd heb zal ik het eens toepassen op eerdere seizoenen. Iemand een idee waar goede databronnen daarvoor zijn? Ik ben niet echt een echte molloot, vooral een gewone kijker...

[Joss]

Heb je daar een linkje van? Klinkt leuk!

Check, het model is maar zo goed als wat je er in stopt

Als ik een keer zin/tijd heb zal ik het eens toepassen op eerdere seizoenen [...]

Ik ben niet echt een echte molloot, vooral een gewone kijker...

Beschrijf de definitie van molloot? Welkom...

[Pac]

Ik vind het een top-theorie

Heb je daar een linkje van? Klinkt leuk!

2013
2012
2011
2010
Begrijp ik het goed dat het ook een combinatie van factoren, maar dan een wetenschappelijkere formule?

[Bodejos]

Ik kan vanaf mijn tablet even geen linkjes plaatsen, gelukkig zijn er hulpvaardige medeforummers, zoals Pac, die dit probleem oplossen.

Mijn dank is groot.

[henk1987]

Ik vind het een top-theorie 2013
2012
2011
2010
Begrijp ik het goed dat het ook een combinatie van factoren, maar dan een wetenschappelijkere formule?

Bedankt voor de links, ziet er interessant uit Ben benieuwd hoe het precies in elkaar zit.

Ik weet niet hoe je 'wetenschappelijkheid' zou moeten meten, denk dat het vooral gewoon een andere methode is. Grootste voordeel van dit soort modellen zal zijn het samenbrengen van meerdere bronnen, en dat doet G-root ook neem ik aan. Samenbrengen van meerdere bronnen is voordelig, want in ons hoofd gaat dat soms nogal eens mis (e.g. http://en.wikipedia.org/wiki/Cognitive_bias. Regisseurs spelen daar, neem ik aan, ook op in.

Update: heb aflevering 4 toegevoegd. Met mijn eerder weegfactoren van follow-the-money en molacties kom ik nu op de top 5 als volgt:

$jan-willem
[1] 0.5920963

$aafke
[1] 0.2247546

$sofie
[1] 0.05753353

$freek
[1] 0.02276182

$suzan
[1] 0.01511165

Nu "is" Jan-Willem dus het meest de mol... jammer dat dit model staat of valt bij de betrouwbaarheid van de inputs (af 4 zat vol "molacties" van JW, dat maakt nogal uit. Als ik de betrouwbaarheid daarvan naar 10% zet, staan Aafke en JW ongeveer gelijk), en dat inschatten is erg lastig!

[Pac]

Voor een betrouwbaardere ofwel bredere blik op de punten is het misschien handig molsheid te ontleden in Molacties, Voorkennis, Afstreepmogelijkheden, Gedrag, Sterke hints, etcetera.  Maar ja, zelfs áls je de Mol wilt 'berekenen', houdt je de subjectiviteit. Bijvoorbeeld: is het versturen van de enveloppen vlak voor een gokopdracht ontzettend verdacht of juist ontzettend onmols?Ik zie gelijk visioenen voor me met molpuntpollachtige systemen, maar misschien loop ik wat hard van stapel

[G-root]

Ah, "Alles Combineren" heet dus eigenlijk "Dempster-Shafer"  . Erik TKS (ook al zo'n wetenschapper) had mij ook al eens verteld dat mijn taarten wetenschappelijk gezien zeker ergens op sloegen, maar ik had de term Dempster-Shafer nooit gevonden.

In ieder geval, tijdens het lezen van de eerste post was mijn meteen duidelijk dat dit idee hetzelfde is als het idee achter mijn taarten, maar goed om te zien dat ook andere mensen dat zagen, is er toch iets blijven hangen van wat ik deed  . Dus dank, Yaco, Jos en Pac  .

Ik heb zelf denk ik iets van 20 factoren/bronnen geprobeerd, ieder jaar had ik er zeker 12. Dan paste ik het volgende jaar de factoren en de wegingsfactoren aan aan hoe goed de bronnen de vorige jaren werkten. En ja, vorig jaar was lightman ook 1 van mijn bronnen.

Ik geloof nogsteeds zeer in deze theorie en het heeft 4 jaar behoorlijk goed gewerkt. Maar het kost heel veel tijd, daarom doe ik het dit jaar niet.

Maar goed om te zien dat iemand het opnieuw probeert  .

[MoleShowdown]

(...)
Nu "is" Jan-Willem dus het meest de mol... jammer dat dit model staat of valt bij de betrouwbaarheid van de inputs (af 4 zat vol "molacties" van JW, dat maakt nogal uit. Als ik de betrouwbaarheid daarvan naar 10% zet, staan Aafke en JW ongeveer gelijk), en dat inschatten is erg lastig!

Tja, nu zijn het Wimpie, Aafke, Fietje, Freekie en Sannie; morgen zijn het Tygie, Sannie, Jennie, Wimpie en Fietje. (Of dacht je echt dat ze 'Aafke' heette?  )

'Tis maar net wat je erin stopt (als molactie). En als je dat dan weer 'bij gaat draaien' om het 'betrouwbaarder te maken' zet je het eigenlijk alleen maar nog meer naar je hand…

In feite komt het dus gewoon neer op een persoonlijke, subjectieve manier om de mol op te sporen.
 …….en is dat nou niet precies wat we allemaal doen? 


 

[Yaco]

Tja, nu zijn het Wimpie, Aafke, Fietje, Freekie en Sannie; morgen zijn het Tygie, Sannie, Jennie, Wimpie en Fietje. (Of dacht je echt dat ze 'Aafke' heette?  )

Inderdaad hoe durf je haar Aafke te noemen!

'Tis maar net wat je erin stopt (als molactie). En als je dat dan weer 'bij gaat draaien' om het 'betrouwbaarder te maken' zet je het eigenlijk alleen maar nog meer naar je hand…

In feite komt het dus gewoon neer op een persoonlijke, subjectieve manier om de mol op te sporen.
 …….en is dat nou niet precies wat we allemaal doen? 

Op dit moment worden lijsten gebruikt die door iemand anders worden opgesteld, zoals in de eerste post staat (niets persoonlijks aan dus). Verder heeft niemand het hier over het 'bijdraaien' van acties maar hooguit over het bijstellen van de betrouwbaarheid/weging. Zeker als je dit doet op basis van data uit eerdere seizoenen is er niets subjectiefs aan en is er zeker geen sprake van 'het naar je hand zetten'.
Zelfs al worden de polls/meningen hier op het forum meegenomen, dan nog is het objectief (je verwerk namelijk niet je eigen mening/preceptie). Dus nee, dit is niet wat we allemaal doen.

Ontopic: Wat het inderdaad lastig maakt is dat je (zelfs na 9 afleveringen) met maar 2 parameters relatief weinig datapunten hebt. Dit zorgt er inderdaad voor dat de betrouwbaarheid die je meegeeft en eventuele 'uitschieters' in een bepaalde aflevering een erg groot effect hebben. Daarom stelde ik ook al voor om te proberen meer factoren te zoeken. 'Waardevolle' factoren en de bijbehorende wegingen bepalen zijn, samen met het verzamelen van data, echter de zaken die zoiets erg tijdrovend maken zoals G-root al aangaf.

[G-root]

Op dit moment worden lijsten gebruikt die door iemand anders worden opgesteld, [...]

Hier zit ik ook wel eens aan te denken, op die manier kost het heel veel minder tijd. Een nadeel is wel dat je afhankelijk bent. Ik heb 3 jaar lang de uitkomst van de Stemwijzer hier op de site meegenomen (die klopt vaak verrassend goed), maar die Stemwijzer loopt nogwel eens achter, dus dan kon ik mijn taart niet plaatsen ...