Jag var av annan uppfattning/tolkning och utan att vara juridisk expert så tänkte jag återge min tolkning, i synnerhet för att nyttja Azures Hadooptjänst i webbanalyssyfte.

PUL förklarat av Datainspektionen:

"PuL är en förkortning av personuppgiftslagen. Personuppgiftslagen innehåller regler som ska skydda människor mot att deras personliga integritet kränks genom behandling av personuppgifter. Lagen gäller för behandling av personuppgifter i hela samhället - för verksamhet som bedrivs av såväl myndigheter som enskilda..."

Vad är en personuppgift enligt Datainspektionen:

"All slags information som direkt eller indirekt kan knytas till en fysisk person som är i livet räknas enligt personuppgiftslagen som personuppgifter. Även bilder (foton) och ljudupptagningar på individer som behandlas i dator kan vara personuppgifter även om inga namn nämns. Krypterade uppgifter och olika slags elektroniska identiteter, som exempelvis IP-nummer, räknas som personuppgifter om de kan kopplas till fysiska personer."

Med andra ord räknas kund-id, order-id, medlemskapsnummer, m.m. som personuppgifter då dessa indirekt kan knytas till en person. Så lagras dessa för analyssyfte så måste företaget leva upp till PUL.

Vilka regler gäller för överföring av personuppgifter till tredje land?

 "EU:s dataskyddsdirektiv kräver att alla medlemsstater har regler som ger ett likvärdigt skydd för personuppgifter och personlig integritet. Detta gäller även EES-länderna. Därför kan personuppgifter föras över fritt inom detta område utan begränsningar. Eftersom det inte finns några generella regler som ger motsvarande garantier utanför EU/EES har man ansett att överföring till sådana länder bör begränsas. Personuppgifter får därför föras över endast om det finns en adekvat skyddsnivå i mottagarlandet eller om det finns särskilda garantier för att uppgifterna och de registrerades rättigheter skyddas."

Med andra ord är det fullt möjligt att nyttja molntjänster baserade i EU för nämnda ändamål. Men för molntjänster i andra länder gäller särskilda regler. Datainspektionen har en lista över vilka länder som har adekvat skyddsnivå. Eftersom Microsofts Hadoop-tjänst i dagsläget endast finns tillgänglig i deras amerikanska datacenter (US-North) så gäller Safe Harbor-principerna.

Det är en samling frivilliga regler om personlig integritet och dataskydd som har tagits fram och beslutats av USA:s handelsdepartement (Department of Commerce - DoC). Organisationer i USA kan anmäla till departementet att de ansluter sig till dessa regler. EU-kommissionen har bedömt att reglerna (med tillhörande frågor och svar) utgör en adekvat skyddsnivå. Det är därmed tillåtet att föra över personuppgifter från EU/EES till organisationer i USA som har anslutit sig till reglerna. På USA:s handelsdepartements webbplats finns en lista över företag som anslutit sig till Safe Harbor-principerna.

I fallet Microsoft Azure så går det att läsa att de uppfyller nämnda principer. Jag tolkar sålunda att det är fritt fram att nyttja Azure HDInsight för webbanalys, givet att:

"Den personuppgiftsbehandling som sker i Sverige måste fortfarande följa reglerna i personuppgiftslagen. Det innebär att uppgifter bara får föras över om den personuppgiftsansvarige i Sverige har följt övriga krav i personuppgiftslagen, till exempel de grundläggande kraven på personuppgiftsbehandling och reglerna om när sådan behandling över huvud taget är tillåten."

When you have signed up for azure blob storage it is time to upload your raw data (your web server log files). The easiest way to do it is by using a Azure blob storage client, I've mostly been using Cloudberry Explorer for Windows Azure. AZCopy is an alternative I've used when I needed command line access from a Talend job collecting files from a server and compressing those (7zip) before uploading to Azure blob storage. The explorer software is great becuase you can easily create a directory structure with folders and subfolders, you can't do that from the Azure web interface yet (only containers). You want to set up a tier0 folder for your raw data and one or more staging folders (ex. tier1). For production use you want to set up an automatic job to collect your web data, either in a streaming fashion (flume, scribe, etc.), logging directly from your .net web application, scheduled transports of log files or perhaps let enable logging on a gif-object in the blob storage and analyse those log files. I will have to write a separate post on that.

To access your blob storage containers you specify what container to use when setting up your cluster. If you want to access more than one container I advise you to read the excellent post by Denny Lee. But wait, isn't Hadoop all about moving compute to data vs. traditionally moving data to compute, so why should I use blob storage instead of local disk HDFS?  Denny Lee describes that as well, in short it is all about the network: the performance of utilizing HDFS with local disk or HDFS using ASV (blob storage) is comparable (if your cluster is smaller than 40 nodes).

The other challenge is to set up persistent storage of meta data. The best option is to use Azure SQL Server for that. In the Hadooponazure.com preview it was straight forward to make that setup when launcing your cluster, but not so in HDInsight feature preview (yet).  Actually, when spinning up a cluster, Azure set up a temporary SQL Server as your meta store behind the scenes. We will set up our own database, prepare it with the correct tables and point the cluster to use that as meta store instead.

1) This step is only necessary the first time you set up your own SQL Server as meta store. Create a Azure SQL Server instance and make a note of server name, database name, user and password. Remote desktop to your HDInsight cluster and open a terminal window. From your terminal window, replace the parameters with yours and run:

%HIVE_HOME% CreateHiveMetaStoreOnSqlAzure.cmd SERVER_NAME DATABASE_NAME USER PASSWORD %HIVE_HOME%

Now your SQL Server is populated with the needed tables to run as a hive meta store, make sure to check that the tables are created before moving forward.

2) It is time to point your cluster to your newly created meta store. Locate your hive-site.xml file (C:\apps\dist\hive-0.9.0\conf) and open it. Locate the properties (SERVER_NAME, DATABASE_NAME, USER, PASSWORD) below and change them according to your credentials, (keep a local copy of your new hive-site.xml and copy-replace the next time you spin up your cluster).

<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:sqlserver://SERVER_NAME.database.windows.net:1433;database=DATABASE_NAME;encrypt=true;trustServerCertificate=true;create=false</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
 <name>javax.jdo.option.ConnectionUserName</name>
 <value>USER@SERVER_NAME</value>
</property>
 <property>
 <name>javax.jdo.option.ConnectionPassword</name>
 <value>PASSWORD</value>
</property>

Then you likely need to restart your Hive server. Go to the bin folder (C:\apps\dist\hive-0.9.0\bin) and run stop_daemons followed by start_daemons. The easiest way to check if your changes have taken effect is to:

1. Launch your hive client

 %HIVE_HOME%/bin/hive

2. Create a table

CREATE EXTERNAL TABLE IF NOT EXISTS campaigns_tier1(
session_id STRING
) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

3. Check if the table exist in your SQL Server database (log in to your sql database management portal).

Now you should have a HDInsight cluster with persistent data and meta data storage. If you have any feedback, questions or tips to further improve the setup, please add a comment.

If you missed part one on Azure HDInsight.

Why would you like to run your Hadoop cluster in the cloud? Well, there may be several reasons for that. Perhaps you don't have resources (time, money and skills) to operate a Hadoop cluster inhouse or your demand fluctuates frequently, the arguments are the same as for cloud services in general. The important part when applying this to Hadoop is how to keep your data and meta data when taking down your Hadoop cluster. Also, it is preferable that the service doesn't take to long to spin up your cluster.

I have tried out both Amazon Elastic MapReduce and Azure HDInsight, and I'm impressed by both offerings. However, being more comfortable and experienced with Windows than Linux and working for a company that run pretty much all systems on Microsoft technology (even BI), the choice was never hard when deciding on a service for my Proof of Concept. I look forward to a GA-release of Azure HDInsight to fully recommend it as ready for production use cases.

So, how do you get started? First, apply for the Azure HDInsight feature preview (you need to log in to Azure first), it may take a while to get granted access, so don't wait, just do it. Second, download the local HDInsight distribution to start develop on your local machine before throwing your code on a bigger dataset.

If you don't already have a good use case for your Big data/Hadoop pilot I suggest that you start analysing your web logs. Reason, even if you don't have tens of TB:s in web logs, the data is of such nature that it suits well for practicing development and analysis on Hadoop. The data doesn't change once it is written and it is pretty easy to transport and parse. Also, in most businesses nowadays, the web presence is a crucial part of business. That use case may even be your Trojan Horse to get a Hadoop implementation through the Finance department as some web analytics solutions are rediculously overpriced data collection tools. Cost savings usually serves as a stronger argument than strategic objectives, perhaps there is som truth in "it is easier to save a buck than earning one". Example, it is not unusual that a proprietary web analytics SAAS solution may cost 200 000 USD annually. That is approximate what you would pay for a 25-30 node cluster running 24/7, and that is a lot of computing power for a standard web analytics implementation at a medium/large company.

I strongly suggest you get your hands on "Programming Hive" and "Programming Pig" to accompany you on your big data journey. If you are interested in operating a Hadoop cluster inhouse, then "Hadoop - the definitive guide" is probably a good investment as well.

But this blog serie will focus on Hadoop in the cloud or more specifically:

• - Azure HDInsight as Hadoop compute cluster
• - Azure Blob storage for persistent data storage
• - Azure SQL Server as persistent metastore
• - Excel PowerPivot and PowerView as analytics frontend
• - Pig for data processing/enhancement
• - hCatalog for meta data management
• - Hive for analysis

Please, comment, connect or send me a message if you have feedback or questions. Let the big data journey begin.

Därefter en intressant paneldiskussion m representanter från eBay, HSBC och Neustar. Samtliga berättar om den stora besparingen i kostnad/TB som Hadoop möjliggör och att det varit avgörande för införandet av Hadoop i stor skala. Det bekräftar att besparingen är den "trojanska hästen" för att få go på en Hadoop-implementation i ett företag även om det finns många andra vinster och strategiska skäl till att implementera Hadoop, men de är svårare att få igenom finansavdelningen. Panelens önskelista: data governance, direct access to production cluster from IDE, interactive queries, easier to operate and maintain clusters to reduce OPEX.

Panelens råd: 
- Just give hadoop a try and get hands-on experience.
- Test, start small and grow as you learn.
- Be brave and trust your engineers, let them take risks to figure out solutions to issues.

Därefter blev det 3 sessioner med maskininlärning. Först ut var Ted Dunning som visade hur man med Hadoop + Mahout + Solr ganska enkelt kan applicera maskininlärning på Big Data för att skapa rekommendationer. Därefter visade Datameer hur man skapar linjära modeller i Hadoop mha deras verktyg, såg smidigt ut om man är beredd att investera tid och pengar i ytterligare ett verktyg. Därefter var det dags för en av de sessioner jag sett fram emot mest, "Scaling big data mining infrastructure" av Jimmy Lin (Twitter). Jag blev inte besviken, om jag blir hälften så bra data scientist är jag helnöjd. Jimmy gav många bra tips på vad man bör göra för att undvika att lägga massor av tid på "data cleansing" och istället fokusera på data mining. Dessutom visade han hur man kan använda Pig för maskininlärning med modeller som baseras på SGD, det mesta också beskrivet här (PDF). 

Jimmy Lin HS2013

Sista sessionen jag gick på var HDInsight on Azure, Microsofts molntjänst för Hadoop. Visst, det fattas en del saker och man vill ju gärna se en GA-release med SLA innan man kör sitt produktionskluster i Azure. Men det ser lovande ut, kan nog vara språngbrädan för Hadoop som pilotprojekt i enterprisesegmentet. Hoppas det inte dröjer för länge.

Ser fram emot att ta del av de inspelade sessionerna, för det var svårt att välja spår emellanåt.

För dig som läser och är intresserad av Hadoop kan jag varmt rekommendera Hadoop Summit till nästa år. Hoppas verkligen att jag får se fler från Sverige nästa år. Hör gärna av dig om du vill prata Hadoop, ffa data mining och analys av stort data.

I dagens första key note fick vi bl.a. se statistik på hur efterfrågan på Hadoop-kompetens utvecklats senaste tre åren i jmf med DW/BI-kompetens och de råder ingen tvekan om den utvecklingen. Bekymmersamt är hur långt efter Europa är i jmf. ffa USA men också Asien mätt i antal linkedIn-medlemmar som uppger att de arbetar med Hadoop. Och då ska vi inte prata om Sverige på den kartan. Faktum är att av 500 deltagare så uppskattar jag att vi är 3-4 st på plats som arbetar i Sverige. En av dem är Johan Pettersson som jag hade chans att prata med en stund, vilket var både trevligt och lärorikt. Han är en av få verksamma i Sverige som kan säga att han utvecklat en stor Hadoop-lösning från grunden (King.com, samlar ca. 3 miljarder rader om dagen).

Nu ska jag bege mig till Heineken EC, rapporterar om dag 2 imorn.

First, find the functions.php in your theme. Add the following function in it:

if ( !function_exists( 'before_tag_manager' ) ) {
function before_tag_manager() { 
global $query_string, $post;
$post_id = $post->ID;
 if( have_posts() ) : 
 while( have_posts() ) : the_post();
 $output[]= array( 'title' => get_the_title(), 'date' => get_the_date());
 endwhile;
 endif;
 if(isset($output)){ 
 echo "<script>dataLayer =" . json_encode($output) . "</script>";
 }
 }
} // endif

Then you need to add the function call to your theme's header template (usually header.php). Locate the body start tag and add the function call immediately after that, then add the GTM-script:

</head>
<body <?php body_class(); ?>>
<?php before_tag_manager(); ?>
<!-- Google Tag Manager -->
<noscript><iframe src="//www.googletagmanager.com/ns.html?id=GTM-9Q8B"
height="0" width="0" style="display:none;visibility:hidden"></iframe></noscript>
<script>(function(w,d,s,l,i){w[l]=w[l]||[];w[l].push({'gtm.start':
new Date().getTime(),event:'gtm.js'});var f=d.getElementsByTagName(s)[0],
j=d.createElement(s),dl=l!='dataLayer'?'&l='+l:'';j.async=true;j.src=
'//www.googletagmanager.com/gtm.js?id='+i+dl;f.parentNode.insertBefore(j,f);
})(window,document,'script','dataLayer','<YOUR CONTAINER ID>');</script>
<!-- End Google Tag Manager -->

If you want to play with other variables in the data layer than "title" and "date", you can easily add context by using the built in template tags in wordpress and put them in the $output variable in the before_tag_manager function call. If you view the source code on one of your blog posts you will now see a dataLayer containing both the "title" and "date" of the post. The variables are now easily accessed from the Google Tag Manager Macros as Data Layer variables.

Google Tag Manager - Data Layer

1. Skaffa ett konto hos Amazon.

2. Sätt upp SSH antingen med Cygwin eller PuTTY (jag föredrar PuTTY). Du måste ladda ner  PuTTY och PuTTYgen. Gå därefeter in på http://console.aws.amazon.com/ec2/home och logga in. Klicka på "Amazon Elastic EC2" i huvudmenyn. Välj region (antagligen Europa om du läser detta). Klicka därefter på länken "Key Pairs" och sedan på knappen "Create Key Pair". Spara filen. Starta PuTTYgen, välj "Load" och leta upp filen du precis sparade (PuTTY visar bara filer av typen *.ppk default så välj "All Files" för att se din .pem-fil). Välj din fil och klicka på "Open" och du bör få ett meddelande att PuTTYgen lyckats importera nyckeln men att du måste spara nyckeln i PuTTYs egna format. Så välj "Save private key" och PuTTY kommer fråga om du vill spara nyckeln utan passphrase, välj "Yes". Spara filen med samma namn på .pem-filen och PuTTY kommer automatiskt lägga till filändelsen .ppk. Nu har din nyckel rätt format för att kunna använda PuTTYs SSH-klient för koppla upp dig mot Amazon EMR.

3. Gå till http://console.aws.amazon.com/elasticmapreduce/home (logga in om du behöver det). Klicka på MapReduce i huvudmenyn och välj "Create New Job Flow". Skriv in ett namn på ditt job flow och välj "Pig Program" som typ av job. "Continue". Välj "Start an Interactive Pig Session". En interaktiv Pig session är lämpligast om man vill köra analys ad-hoc, utforma skript eller köra flera olika jobb utan att stänga ner Hadoop-klustret däremellan. "Continue". I nästa steg väljer du hur många noder/instanser du vill starta upp i klustret. Välj small som master, 1 small core och 0 task. "Continue". Här väljer du det EC2-nyckelpar du precis skapat och strunta i VPC subnet och loggningen denna gång. "Continue". I det här steget kan du välja att köra Bootstrap Actions för att anpassa konfigurationen eller installera särskild mjukvara innan du startar ditt jobflow. Men det ska vi inte göra denna gång. "Continue". Kolla igenom att dina val stämmer. "Continue". Nu tar det några minuter innan ditt Hadoop-kluster är redo för att köra dina jobb. Kom ihåg att manuellt avsluta ditt kluster när du är klar, annars kommer Amazon debitera dig för varje maskintimme som klustret är uppe, oavsett om det kör några jobb eller inte. Du avslutar klustret genom att markera aktuellt jobb i managementkonsolen och välja "Terminate".

4. När det gått några minuter kan du klicka på ditt job flow i managementkonsolen och skrolla ner i det nedre detaljfönstret tills du ser Master Public DNS Name. Kopiera det. Starta PuTTY, klistra in ditt Master Public DNS Name som Host Name, välj SSH>Auth, klicka på "Browse" och leta upp och välj din ppk-fil du skapade tidigare m.h.a. PuTTYgen. Välj "Open" och det startar en kommando-promt samt en alertruta som frågar om du litar på den host du kopplar upp dig mot, välj "Yes". Kommando-prompten kommer be dig att logga in, använd användarnamnet "hadoop". Du är nu uppkopplad mot masternoden i ditt Hadoop-kluster.

5. För att köra en interaktiv Pig-session så startar du kommandoprompten (heter passande nog Grunt) genom att helt enkelt skriva "Pig".

grunt>

Pig stödjer kommandona "pwd", "cd", "ls" and "cp" för att interagera med filsystemet. Du kan enkelt byta katalog till en av dina buckets på S3 där du kanske sparat upp de datafiler du önskar bearbeta eller analysera.

grunt> cd s3://<bucket>/<folder>
grunt> ls

Hur du laddar upp filer till S3 lämnar jag utanför den här guiden. Den finns tonvis med guider och verktyg för att underlätta det arbetet.

Ofta när man arbetar med Pig så vill man använda funktioner som finns i ett tilläggsbibliotek av öppen källkod för Pig som kalla Piggybank. Elastic MapReduce kopierar Piggybank till noderna när den sätter upp Pig. För att kunna använda de funktionerna så måste du för registrera jar-filen genom att skriva:

grunt> register file:/home/hadoop/lib/pig/piggybank.jar

För att ladda in data rad för rad som egna element så kan man använda TextLoader.

grunt> RAW_DATA = LOAD 's3://<bucket>/<folder>/<file>' USING TextLoader as (line:chararray);

Vill du ladda in alla filer under en viss folder så utelämnar du bara <file>.

Nu har du startat upp ett Hadoop-kluster i ett interaktivt Pig-läge och du har laddat upp data som du kan börja analysera, men det låter jag dig själv experimentera med.

Användbart på vägen är Amazons egna guider, Clouderas instruktionsvideos, wiki för Apache Pig samt O'Reillys ofps Programming Pig.

Lycka till!

"Det är lätt att hitta det man söker på den här webbplatsen?". Det är ju onekligen lite svårt att svara på när man precis anlänt och och den enda action man hunnit ta är att man vill svara på enkäten. De skriver iofs att man ska "hoppa över frågan om man ej har erfarenhet av och/eller kan bedöma - hoppa över det". Men varför trigga en enkät på första sidvisningen om den innehåller den här typen av frågor? Om du vill göra en webbplatsundersökning och enkätverktyget inte erbjuder möjlighet att styra triggning av enkät antingen efter ett visst antal sidvisningar, antal besök eller on exit så är det dags att byta enkätverktyg. Allra helst bör enkätverktyget också integrera med webbanalysverktyget så att det går att samköra webbstatistik (kvantitativ data) med enkätsvar (kvalitativ data) för att identifiera segment och skillnader dem emellan.

Jag vet inte alls hur denna information används men det skulle kunna nyttjas för både prissättning och produktplacering på samma sätt som en e-butik. Om man loggar produktscanningar (istället för produktsökningar eller produktvisningar) och ställer det i relation till antalet köp av samma varor så får man ett ganska intressant underlag både vad gäller exponeringen av varan men också konverteringsgraden. Rätt använd kan den här informationen vara vägledande i både produktplacering (vilken hylla och var på hyllan) och prissättning (höj eller sänk pris beroende på konverteringsgrad).

Om man skulle ta det hela ändå lite längre skulle varje butiksbesökare kunna scanna QR-koder på hyllorna istället för att hämta scanners. Då skulle man kunna göra intressanta analyser om vilka varor som scannas av samma användare (dvs. Association rule learning) eller erbjuda personliga rabatter eller erbjudanden.

Kundcasen kändes tyvärr lite för "enkla" för att vara matnyttiga, vet inte om det beror på att det var case som skulle marknadsföra konsulterna och därav ett snävt utbud, att företagen inte vill avslöja sina bästa case eller att webbanalysmognaden generellt är låg i Sverige.

Slående var att ingen av kundföretagens representanter presenterade sig som webbanalytiker, det var webbdesigner, webbutvecklare och ansvarig för digitala kanaler... Men det kanske är helt naturligt då de tar hjälp av konsultbolag. Jag hade nog iaf förväntat mig försäljningsansvarig/e-commerce manager. Dessvärre är det nog inte många av deltagarna som har webb/data/kund/digital analys som sin huvuduppgift (även om de önskar det) utan är något som ska skötas vid sidan av andra huvuduppgifter.