Tekniikan kehittyessä tiedon kerääminen on tullut entistä helpommaksi ja sitä kerätään entistä enemmän. Käsite ”big data” kuvaa hyvin nykytilannetta, jossa datan määrä kasvaa helposti suureksi ja joissain tapauksissa jopa hallitsemattomaksi. Big datan tarkoitusta ei tulisi missään vaiheessa unohtaa – kerätty data pitäisi pystyä käsittelemään ja sen tulisi tuottaa lisäarvoa sen kerääjälle.
Ruotsalaislähtöiset yritykset Klarna ja Spotify ovat reagoineet kasvavaan datan määrään kehittämällä arkkitehtuuria datan käsittelyn helpottamiseksi. Klarnan haasteena on riskiarvioinnin monet eri tietolähteet, kun taas Spotifylla laaja käyttäjäkunta (kuukausittain noin 40 miljoonaa aktiivista käyttäjää) kerryttää
suuria määriä dataa.
Jotta kerättyä dataa pystyttäisiin hyödyntämään tarkoituksenmukaisesti, on sen käyttöön kehitetty avoimen lähdekoodin ohjelmia. Esimerkiksi maksuratkaisujen tarjoaja Klarna ja musiikinjakopalvelu Spotify hyödyntävät molemmat avoimen lähdekoodin datankäsittelyohjelmia, joita ovat esimerkiksi Kafka, Spark ja Cassandra. Lisäksi Spotify on myös kehittänyt oman avoimen lähdekoodin ohjelman, Luigin, jota se käyttää jokapäiväisessä toiminnassaan. Kuten Spotifyn tuoteomistaja Mårdell sanoo, avoin lähdekoodi on Spotifyssa suosittu ja sitä hyödynnetään paljon.
Edellä mainittujen ohjelmien lisäksi on myös monia muita datankäsittelyohjelmia,
kuten Hadoop ja Lambda. Oikeiden ohjelmien avulla suurista tietomassoista on mahdollista erottaa oleellinen ja muuttaa se hyödynnettävään muotoon. Koska organisaatioiden tilanteet ja tarpeet vaihtelevat aina tapauskohtaisesti, tulee myös ohjelmien käyttö suunnitella sen mukaan. Oikean ohjelman valitseminen onkin avainasemassa big datan käsittelyssä.
”We like open source and use it a lot at Spotify. You get help from the community to develop the open source software – it’s a win-win situation”
(Jimmy Mårdell, Spotifyn tuoteomistaja)
Lue lisää:
Computer Weekly
Wikipedia