In de VS zijn de universiteiten verwikkeld in een hevige concurrentiestrijd met elkaar en met buitenlandse opleidingen. Voeg daarbij het gegeven dat er door de veranderende demografie straks minder studenten zullen zijn en je zult begrijpen dat ze er hard aan moeten trekken. Dus grijpen ze nu naar de CRM tools en predictive analytics, aldus het artikel Educational institutions turn to CRM, predictive analytics op DM News. Hiermee proberen ze ook te voorspellen welke studenten het waarschijnlijk niet gaan redden en dus hulp nodig hebben.

Wat dat laatste betreft zijn er overeenkomsten met het peperdure systeem ($80 mln!) dat op scholen in New York wordt geimplementeerd, waarover ik eerder heb bericht.

De Amerikaanse overheid heeft sinds de 9/11 aanslagen 14 data mining programma’s lopen, waarvan er tien zeer waarschijnlijk persoonlijke informatie gebruiken, zoals belgedrag en financiele transacties.

Nutteloos en een schadelijke verspilling van (belasting)geld en tijd stellen Jeff Jonas en Jim Harper in het interessante artikel Effective Counterterrorism and the Limited Role of Predictive Data Mining, waarbij ook nog eens onnodig inbreuk wordt gemaakt op de privacy.
Redenen:

• Door het relatief kleine aantal aanlagen of pogingen daartoe is er te weinig historische data om patronen in planning en voorbereiding van een aanlag te ondekken. Citaat: “The one thing predictable about predictive data mining for terrorism is that it would be consistently wrong”
• Zelfs een uitstekend model zal nog teveel vals positieve resultaten opleveren. Bij Direct Marketing is dit niet erg (een goed model levert een winst op in de kosten/baten verhouding), bij terrorismebestrijding zal het er op neer komen dat je miljoenen mensen onder de loep moet nemen die ten onrechte zijn gekenmerkt als potentieel terrorist.

Daarbij maken de auteurs pijnlijk duidelijk dat met ambachtelijk speurwerk, wat meer inzet, betere samenwerking en het delen en gemakkelijker toegankelijk maken van bepaalde informatie de aanslagen wellicht wel waren te voorkomen: Van twee kapers wisten ze dat ze in het land waren, dat ze banden hadden met al-Qaeda en dat ze mogelijk betrokken waren bij de aanslagen op ambassades en de USS Cole. Veel moeite om zich te verstoppen, deden ze niet: ze gebruikten hun eigen naam om rijbewijzen aan te vragen en rekeningen te openen. De plegers stonden geregeld met elkaar in contact.
Zie ook het artikel Data mining: The new weapon in the war on terrorism? dat ik eerder aanstipte op deze blog.

Bronnen:

CATO: Effective Counterterrorism and the Limited Role of Predictive Data Mining

FCW.com: Data mining: The new weapon in the war on terrorism?

Twee leuke initiatieven voor datanerds: Swivel en Data360. Het zijn beiden sites waar je datasets kunt uploaden, visualiseren, becommentarieren, delen met anderen en crossen met andere data. De oprichters van Swivel typeren hun site toepasselijk als de “Youtube voor data”.

Datasets kunnen met elkaar worden vergeleken om mogelijke correlaties te ontdekken. Swivel vergelijkt zelfs automatisch jouw dataset met de andere datasets om vervolgens crossings voor te stellen.

Swivel en Data360 lijken elkaar weinig te ontlopen, al ziet Swivel er wat toegankelijker uit. Heb ze nog niet geprobeerd, maar ga dat zeker in de toekomst doen!

Leuke slogan van Swivel: “Swivel is a place where curious people explore all kinds of data.”

Datavisualisatiegoeroe (leuk scrabblewoord) Stephen Few heeft overigens wel wat commentaar op de presentatie van de data op beide sites (zie hier en hier), maar dat mag de pret niet drukken.

Linktips:

• Swivel
• Data360

“Crime Idol” list, zo noemt Privacy International het initiatief van de Engelse politie om met behulp van daderprofielen een lijst samen te stellen van de honderd meest gevaarlijke potentiele verkrachters en moordenaars. Je leest het goed: het gaat hier om personen die deze misdaden nog niet hebben begaan, maar die waarschijnlijk zullen begaan. Aldus een artikel in The Times. Hoe waarschijnlijk wordt er niet bij gezegd.

Het model dat patronen in crimineel gedrag moet voorspellen, gebruikt hiervoor als input verklaringen van ex-partners, psychiatrisch/maatschappelijk werker en eerdere aanklachten. De politie en andere instanties willen deze gegevens gebruiken om verdachten te identificeren voordat ze vervallen tot ernstige(re) misdaden. Vooral plegers van huiselijk geweld worden op de korrel genomen omdat hier het risico op nog ernstigere misdrijven hoger is. Acties die dan ondernomen kunnen worden, zijn het voorbereiden van arrestaties of het alarmeren van maatschappelijke instanties.

Het zal geen verassing zijn dat de privacy instanties niet laaiend enthousiast reageren. Het risico dat onschuldigen in het bestand komen is niet geheel denkbeeldig en het artikel trekt een parallel met de film/boek Minority Report.

Bron:

The Times: Police target dangerous suspects before they can offend

Goed, nu kan je die hele nare dingen tegen je baas zeggen, die je altijd al had willen zeggen want binnenkort heb je hem en die luizige paar Euro’s die hij je betaalt toch niet meer nodig!

Netflix, een online videotheek – of beter: dvd ‘o -theek – looft een prijs uit van een miljoen dollar als je beter kan voorspellen dan hun Cinematch systeem. Het moet dan wel 10% beter.

Dit systeem vraagt klanten/bezoekers 20 films te beoordelen om vervolgens op basis hiervan een profiel te creeeren met films die zij dan ook zullen waarderen.

Overigens houden ze er rekening mee dat dit jaren kan duren, de sluitingsdatum is in 2011. Daarbij geven zo ook een jaarlijks voortgangsprijs weg van 50 duizend dollar.

Dus, stop met het lezen van deze saaie blog en ga aan de slag!!Â

Bron:

 Juice Analytics: America’s Next Top Predictive Modeler

Schreef ik op de kop af een week geleden over een artikel van Evan Levy op het Business Intelligence Network waarin hij enkele vervolgstappen behandelt op clickstreamanalyses, blijkt Bill Inmon (niet bepaald de minste) exact dezelfde dag op hetzelfde Business Intelligence Network een artikel te hebben geplaatst met de veelzeggende titel: What Ever Happened to Clickstream Data? Ik kan de teneur van het artikel zo’n beetje samenvatten met 1 citaat:

“In our recent past, there was much ado about clickstream data, but what do you hear today? Absolutely nothing. Clickstream is stone-cold dead.”

Ik uitte vorige week nog mijn twijfels of de infrastructuur van de meeste bedrijven de door Levy geschetste vervolgstappen wel kunnen uitvoeren, blijkt uit het stuk van Inmon dat clickstreamanalyse an sich al een heidens karwei is vanwege de enorme hoeveelheid data waarvan slechts een klein deel bruikbaar is.

Bronnen:

DBM Café: Clickstreamanalyse, en dan?

b-eye network: Hot Clicks! A Refresher on Clickstream Analysis (Levy)

b-eye network: What Ever Happened to Clickstream Data? (Inmon)

Welke routes volgen de bezoekers van uw website, waar haken zij af. Standaard vragen die beantwoord kunnen worden met een clickstream analyse. Een plaatje met de verschillende routes naar de pagina van bestemming.

Maar dan volgt het grote WAAROM. Van de wat, waar, hoe en waarom is de laatste het lastigste uit een database te halen, als dit al mogelijk is zonder marktonderzoek. In een aardig artikel van Evan Lecy op het Business Intelligence Network, beschrijft hij enkele next steps op een clickstream analyse. Hij pleit voor een combinatie van clickstream data met andere gegevens, zoals de inhoud en de waarde van het winkelmandje van de (bijna-) klant als hij/zij het aankoopproces afbreekt. Komen deze artikelen ook in het mandje van andere defectors voor? Vallen de winkelmandjes in dezelfde omzetcategorie? Etc.

Het idee lijkt me niet vernieuwend, maar ik kan mij voorstellen dat bij veel bedrijven de data-infrastructuur dit soort analyses slechts moeilijk toelaat. En dat is natuurlijk doodzonde. Ben benieuwd wat voor mooie data er bij de grote e-tailers beschikbaar is en wat er mee gedaan wordt.

Bron:

b-eye network: Hot Clicks! A Refresher on Clickstream Analysis

Wapenbezit, kerkbezoek, welke magazines iemand op is geabonneerd, giften aan goede doelen en natuurlijk stemgedrag. Ondermeer deze variabelen heeft de Republikeinse partij beschikbaar in haar database. Deze gegevens – afkomstig uit eigen onderzoek, overheidsbestanden en aangekochte bestanden – worden in verkiezingstijd aangewend om de laatste twijfelende kiezers over de streep te trekken.

Waar men voorheen alleen deur-aan-deur ging in wijken waar minimaal 65% van de bewoners op de republikeinen stemt, kan men zich nu richten op specifieke adressen. De republikeinen mikken daarbij vooral op huishoudens met bepaalde “anger points”, bijvoorbeeld kiezers die bang zijn voor het te voeren abortusbeleid als de tegenpartij aan de macht komt. De gedachte hierachter is dat vooral angst/onvrede de sterkste motivators zijn om mensen naar de stembus te krijgen. Daarbij wordt de boodschap aangepast op deze specifieke pijnpunten.

De democraten, die in 2004 met lede ogen moesten aanzien dat de republikeinen veel succes hadden met deze nieuwe strategie, nota bene in haar territorium, is er op gebrand de achterstand in te halen. Zij heeft reeds $7,5 mln van de minimaal benodigde $11,5 mln opgehaald om te investeren in een nieuw datawarehouse om bij de verkiezingen in 2008 te kunnen concurreren met de republikeinen. Dit heeft geleid tot een stammenstrijd binnen de partij onder wiens verantwoordelijkheid dit project moet worden opgezet.

Wanneer zullen “onze” politici creatiever worden op dit vlak, ipv alleen te posteren en op stadspleinen prullaria uit de delen?

Bron:

Washington Post: Democrats’ Data Mining Stirs an Intraparty Battle

Ook voor een terrorist geldt: Wie tot 10 kan tellen, kan de hele wereld bellen. Het is wel oppassen, want de kans is aanwezig dat je belgedrag door een inlichtingendienst wordt geanalyseerd, zie het artikel: Data mining: The new weapon in the war on terrorism?

Goed er zijn nog wat privacy issues, maar met het plaatsen van meerdere “tabs” is al aangetoond dat de Amerikaanse regering hier niet veel moeite mee heeft.

Genoeg leuke banen bij de Amerikaanse overheid, dunkt me.