Als je snel een eerste gevoel wil hebben van de data in een tabel, heb je met SQL een probleem. Bij bijvoorbeeld SPSS is dit een eitje, je selecteert alle kolommen die je wilt in het menu “Explore” en je krijgt van alle (numerieke) data het aantal records, minimum, maximum, standaard deviatie, etc, etc. Erg fijn als je een dataset voor het eerst onder handen hebt.
In SQL ben je dan wel even bezig, voorwaar geen leuke taak. Daarom heb ik enige tijd een stored procedure geschreven die automatisch voor alle kolommen in een tabel (of view) metadata laat zien. Informatie over de variabelen zelf (datatype, is het een primary index, etc.) en statistieken over de inhoud. Ik heb het script nu aangepast zodat je meer statistieken op kan vragen. Naast het aantal records, missings, min, max, gemiddelde, etc. heb je nu ook de mogelijkheid om de kwartielen op te vragen, alsook de mediaan, kurtosis en skew.
Ook is het nu mogelijk om alleen een subset van kolommen als input te geven.
Web data extraction, screen scraping, web crawling, web harvesting. Zelf noemen ze het bij Mozenda liever “comprehensive web data gathering”. Ik noem het webdata grazen (want dan kan ik eindelijk een plaatje van een koe laten zien).
Mozenda is een tool waarmee je “agents” kan maken die geautomatiseerd data van websites plukt, om het vervolgens keurig voor je in een bestandje weg te schrijven. En dat alles via een razend makkelijke GUI, je hoeft dus niet te programmeren. Het is geen gratis tool (voor de goedkoopste versie betaal je 100 dollar per maand), maar er is wel een trial versie beschikbaar om het eens uit te proberen.
Uitproberen, dat is precies wat ik eens ben gaan doen. In no-time heb ik vandaag een agent gemaakt die, geautomatiseerd, de volgende stappen doorloopt:
Inloggen in Linkedin;
naar mijn “groups” pagina gaat;
een groep selecteert waar ik lid van ben;
de ledenpagina opent van die groep;
vervolgens van elk lid de naam, functie en aantal “followers” wegschrijft in een bestand;
van elk lid ook de profielpagina opent en ook daar nog wat data van wegschrijft in het bestand;
vervolgens op de “next” knop drukt om de volgende 20 leden te “grazen”, net zo lang tot er geen “next” knop meer is.
En zo had ik van complete linkedin groepen alle leden met relevante info in een keurig .csv bestandje. Nou ja, helaas niet alle leden van de grotere groepen, Linkedin laat nooit meer dan 500 leden zien.
Nu kan je natuurlijk wel nuttigere toepassingen bedenken. Wat te denken van periodiek (je kan je agents ook schedulen), de assortimentpagina’s van je concurrenten afstruinen om je prijspositie in de markt te bepalen? Of meningen over jouw product op vergelijkings-sites?
Al met al een leuke tool, ik sta verbaasd hoe simpel het allemaal gaat.
Hieronder een leerzaam filmpje van de tool, waarin ze reviews van een bepaalde productgroep gaan grazen.
Ik heb mij overigens in de aanloop naar de kamerverkiezingen wild geïrriteerd aan de debatten die steeds werden onderbroken om een hippe redacteur, met laptop in de aanslag natuurlijk, te laten vertellen wat die voor de nederlandse bevolking volledig a-typische groep van twitteraars van het debat vond.
Toch valt niet te ontkennen dat twitter een interessante (en realtime) bron van informatie kan zijn. Leuk artikel hierover in de Harvard Business Review: Six Ways to Find Value in Twitter’s Noise. In dit artikel laten ze een aantal mogelijkheden zien, door ten tijde van de launch van de Ipad te kijken welke woorden werden getweet in combinatie met het woord Ipad. Ze gebruikten hiervoor een “steam graph”, die de frequentie van de gebruikte woorden in de tijd laat zien.
Het aardige is dat diegene die deze grafiek voor de Harvard Business Review heeft gemaakt, op zijn site een interactieve versie heeft staan, waar je zelf een trefwoord kan opgeven. Onderstaande heb ik gemaakt met zijn Twitter SteamGraphs tool, voor het keyword “bavaria”. Tijdens de huldiging is Bavaria in context met Heineken genoemd, zie de reacties onder in het plaatje.
Het download gedeelte van DBM Café is uitgebreid met een aantal tools die niet zullen misstaan in jouw gereedschapskist!
www.dbmcafe.nl/downloads bevat nu naast de tools die ondergetekende heeft gemaakt ook tools die door derden worden aangeboden.
Ik wil dit overzicht graag nog verder uitbreiden. Dus gebruik jij programma’s, stukjes script, excel sheets, etc. die je collega database marketeers goed van pas komen, laat het ons ajb weten! Mail naar info@dbmcafe.nl.
Ik heb een zwak voor kaartjes. En dat terwijl ik nauwelijks kaartjes maak. Dus als ik een mail krijg van GfK met een link naar een gratis testversie van hun geo marketing tool RegioGraph dan kan ik mij niet bedwingen. Testen dus.
Eerder schreef ik hier een review over de geo marketing tool van Geodan: Geodan Mapper. Conclusie: Absoluut een fijn programma als je zo af en toe een kaartje moet maken, vooral door de eenvoud en heldere werking. Een blik op de site van RegioGraph leert ons dat we hier wel met een stuk uitgebreider programma te maken hebben. Maar ik ben geen geo-analist, ik wil gewoon af-en-toe een thematisch kaartje kunnen maken. Is RegioGraph hiervoor geschikt?
Deze pagina is alleen toegankelijk voor leden. Login. Heeft u nog geen account? Registreer nu!
Geef je mening over dit artikel: 1 stem(men)
Loading ...
Het YouTube kanaal van RoughSea Ltd (een Engels database consultancy bedrijf) bevat enkele geweldige filmpjes over SQL en vooral SQL performance. Geweldig, want ze zijn -naast nuttig- vooral grappig. De meeste filmpjes zijn ingesproken door de Franse directeur van het bedrijf (Stéphane Faroult, auteur van The Art of SQL en Refactoring SQL Applications). Zijn accent geeft de filmpjes nog een extra Allo Allo! gehalte. Leuk en nuttig dus, altijd een goede combi.
Hieronder één van de filmpjes, maak kijk vooral ook even rond in het YouTube channel!
Vorige maand schreef ik over het uitstekende YouTube channel van StatSoft. Tijd om eens te kijken wat een andere leverancier er van bakt: SQL Server. Want ja, ook Microsoft kan niet meer om Google heen.
Enfin, het SQL Server channel op YouTube opent met een soort CNN parodie. Wat al te lollig naar mijn mening, maar misschien ben ik onnodig aan het zuurpruimen.
De filmpjes die ik heb bekeken zijn nogal oppervlakkig. Veel bekeken worden de meeste filmpjes ook niet, gemiddeld misschien een paar honderd keer. Al met al kan het SQL Server channel niet tippen aan die van StatSoft.
Hieronder een filmpje uit het SQL Server Channel. Het geeft een beeld van de analyse mogelijkheden van Excel 2007 in combinatie met SQL Server 2008.
Voordat ik het filmpje zag, dacht ik: Het uitbrengen van apps voor de iPad is gewoon een goedkope marketingstunt van BI leveranciers om hun product onder de aandacht te brengen. Echter, nu ik het filmpje heb gezien denk ik: Het uitbrengen van apps voor de iPad is gewoon een goedkope marketingstunt van BI leveranciers om hun product onder de aandacht te brengen.
Je zag het toen de iPhone werd uitgebracht, en nu ook met de iPad: In no-time tuimelen alle BI leveranciers over elkaar heen om een app uit te brengen. Zullen ze nou echt veel van deze apps verkopen? Of is het gewoon meeliften met de mediahype van Apple om het eigen product te promoten?
Toch is mijn introductie een beetje flauw. Kijk maar eens naar het filmpje, sommige dingen zien er echt wel handig uit. Zoals het inzoomen in de grafieken en het snel switchen tussen verschillende grafieken. Verder wel erg veel eye candy, niet echt voor de datavisualisatie purist dit filmpje.
Misschien zit ik er naast, maar ik zie ons de komende jaren toch niet en masse met een iPad op het werk door rapportjes te worstelen. Neemt natuurlijk niet weg dat ik er graag één zou willen hebben. Dus mocht er een leverancier meelezen: Ik ben meer dan bereid jullie iPad App te testen. Graag wel leveren met iPad.
Handige software hoeft niet veel geld te kosten. Soms is het zelfs (legaal) gratis! Met MicroCharts en Sparkmaker kon je al tegen een milde vergoeding prachtige “in cell graphs” maken, zoals Tufte’s sparklines en Stephen Few’s bullet graphs. Maar nu ben ik een gratis Excel add-in tegengekomen die dit ook kan en nog meer, zoals treemaps, horizon graphs, boxplots en heatmaps. Lees verder voor een korte test!
Deze pagina is alleen toegankelijk voor leden. Login. Heeft u nog geen account? Registreer nu!
Geef je mening over dit artikel: 3 stem(men)
Loading ...
Van Gartner’s magische BI kwadrant gaan we moeiteloos door naar de golf van Forrester: Predictive Analytics And Data Mining Solutions, Q1 2010.
SAS staat mooi bovenaan in “current offering” en “strategy” en heeft het rapport van Forrester in zijn geheel op de eigen site geplaatst. Overigens laat het rapport alleen maar “Strong performers” en “Leaders” zien, geen zwakke broeders dus onder de negen pakketten die Forrester heeft onderzocht.
Web data extraction, screen scraping, web crawling, web harvesting. Zelf noemen ze het bij 
Het download gedeelte van DBM Café is uitgebreid met een aantal tools die niet zullen misstaan in jouw gereedschapskist!
Ik heb een zwak voor kaartjes. En dat terwijl ik nauwelijks kaartjes maak. Dus als ik een mail krijg van GfK met een link naar een gratis testversie van hun geo marketing tool 
Deze pagina is alleen toegankelijk voor leden.
Loading ...
Nieuwsbrief 
Loading ...
RSS