Test driving Azure Data Factory v2 and Azure SQL Database

I decided to test drive Azure Data Factory v2, which has been in public preview since 25.9.2017, so quite long time. Main improvement from my point of view in this version 2 is support for SSIS packages. Basically you can now do your SSIS package ETL development with Visual Studio as before, but deploy and execute those packages in the cloud.

Jatka lukemista “Test driving Azure Data Factory v2 and Azure SQL Database”

Custom maps/visuals in your Power BI report

Today I’m writing about relatively new Power BI visualization called Synoptic Panel. It allows to draw your own “maps” from your own images and use those “maps” to interact with your data. I’m using quotation marks around word “maps”, because basically your image can describe whatever you want – a car, a warehouse, a human body or custom map. I think most typical use case would be using custom map, where reporting areas are not supported by Bing maps.

Jatka lukemista “Custom maps/visuals in your Power BI report”

Azure Machine Learning retrain, running R scripts with Power BI and some DAX

This time I decided to write my blog in English, because this is a little bit deep s**t. I’m not describing how I created my machine learning project for predicting ice hockey results, because I have written about that in previous blogs, but I’m describing how I semi-automated the retraining process, which has to be done after every round.

First I needed those results and statistics from played games. I have described that process over here. In my training data I duplicate every game – one row for home team and one row for away team.

Jatka lukemista “Azure Machine Learning retrain, running R scripts with Power BI and some DAX”

Liigan vedonlyöntikertoimia Azure Machine Learning:in avulla

Nyt olen testaillut eri vedonlyöntimalleja marraskuusta lähtien ja uskallan julkaista jotain tuloksia. Itse asiassa pyöritin kolmea eri mallia – Dixon & Coyles -mallia (tämä on ilmeisen suosittu malli ainakin fudisvedonlyönnissä), joka pohjautui tehtyihin maaleihin, neuroverkkomallia, joka pohjatui laskennallisiin maaleihin (ottaa huomioon maalien, laukauksien ja aloituksien määrän) sekä neuroverkkomallia, joka perustui puhtaasti voitto/tasapeli/tappio tietoon eli edellisten pelien maalimäärää ei huomioitu. Lisäksi hetken aikaa pyöritin edellisten pelien tehtyihin maalimääriin pohjautuvaa neuroverkkomallia, mutta tuo laskennallisiin maaleihin pohjautuva malli vaikutti paremmalta.

Jatka lukemista “Liigan vedonlyöntikertoimia Azure Machine Learning:in avulla”

Uudet autot 1-9 2017

Uudet autot

Päätin paketoida aikaisemmat analyysini uusiin kuoriin eli hyödynsin Trafin dataa uusien autojen erilaiseen analysointiin sekä joulukuun myyntimäärien ennustamiseen. Tällä kertaa en kuvaa teknistä suoritusta ollenkaan, koska samat asiat on kuvattu jo aiemmissa blogeissa.

Itse analyysiin pääset klikkaamalla tästä. Eli jos kiinnostaa miten markkinat jakautuvat hybridien tai ruumisautojen osalta, niin nyt saat vastauksen näihin askarruttaviin kysymyksiin! Jatka lukemista “Uudet autot 1-9 2017”

Koneoppimista Azure Machine Learningin avulla

Päätin kokeilla miten Microsoft Azure Machine Learning (ML) palvelu toimii pilvessä. Ja hyvinhän se toimi! Valitsin dataksi jo aikaisemmin hyödyntämäni Helsingin pyöräilijämäärät -aineiston, joka kattoi 1.1.2014-31.3.2017 välisen ajan. Päätin ennustaa Baanan pyöräilijämääriä päivämäärä ja tuntitasolla. Houkuttelevaa olisi ollut lisätä säätietoja ennustamiseen, mutta en tässä yhteydessä jaksanut sitä urakkaa tehdä, vaikka data sinällään olisi saatavilla ja olisi ehdottomasti parantanut ennustemallin luotettavuutta.

score 1

Jatka lukemista “Koneoppimista Azure Machine Learningin avulla”

Power BI – tietolähdevirheiden käsittely Power Queryssa (M kieli)

Päätin jatkojalostaa Liiga-dataani aloitusdatalla, koska erään blogin mukaan aloituksien määrällä on positiivinen korrelaatio maalimääriin. Käytin taas web scraping menetelmää tietojen hankintaan, mutta sitten iski ongelma. Aloitustiedot eivät olleet aina samassa taulukossa. Nollapelien osalta taulukoita oli nettisivulla vähemmän. Jatka lukemista “Power BI – tietolähdevirheiden käsittely Power Queryssa (M kieli)”