Nos últimos anos o volume e a variedade de dados tem crescido em grande escala
nos mais diversos setores: saúde, educação, negócios, redes sociais. Há 2,5 quintilhões
bytes de dados criados a cada dia e para termos uma ideia, em 2011 uma reportagem da
International Data Corpotation (IDC), estimou que o volume de dados criados e copiados
pelo mundo estava em torno de 1.8ZB (1 Zettabyte = 10 21 Bytes) [Chen et al. 2014]. A
estimativa de crescimento é de 40% ao ano, com a previsão de atingir os 44ZB em 2020.
Big data é um termo recente para um destino inevitável da internet, ele trás con-
sigo a ideia de descrever os colossais conjunto de dados existentes, e os que vierem a
existir. Comparado a conjunto de dados pequenos, a principal diferença e talvez a mais
significativa é o fator de que esses grandes conjuntos são desestruturados. Isso traz à
tona a necessidade de se realizar uma análise para extrair informação e o consequenteconhecimento que podem possuir. Tendo em vista essas questões, o big data traz novas
oportunidades para se estudar a organização e o gerenciamento de um grandes volumes
de informações.
As grandes corporações como Google, Facebook, Microsoft, Amazon atestam o
valor da tecnologia devido às suas necessidades inerentes. Imagine a quantidade de dados
que o Facebook gera diariamente: cada clique, cada comentário e cada postagem são pe-
quenos exemplos de informações que são geradas pelos usuários e coletada pelo sistema
a cada segundo. Google, que é a empresa que possui o maior numero de Data Center no
planeta, realiza 40000 querys 1 por segundo resultando em aproximadamente 3.5 bilhões
de pesquisa por dia[Stats 2014], sendo que ainda possui serviço de Google Cloud e Go-
ogle Drive que possuem serviços utilizados por milhões de pessoas e empresas, similar a
AWS(Amazon Web Service) e Azure(Microsoft) além de possuir grandes bancos de dados
de consumo próprio, disponibilizam serviços de servidores para empresas terceiras, que
realizam podem realizar diversas tarefas entre elas o consumo e gerenciamento de Big
Data.
A primeira pergunta e mais capciosa que podemos trazer à tona é: como organizar,
extrair e analisar dados relevantes disso tudo? É possı́vel e viável em termos computa-
cionais e de capital? Imagine a necessidade de analisar e prever comportamento dos
seus usuários no meio disso tudo. Serviços tais como a Netflix tentam prever o que seus
usuários desejam acessar ou assistir com base em recomendações. É uma ferramenta
poderosa para manter seus clientes conectados constantemente, plenamente satisfeitos e
oferecendo o melhor serviço possı́vel. Não só os setor de negócios tem utilizado big data.
A tecnologia tem alcançado áreas como a saúde, educação e até mesmo dentro de nossas
próprias casas através da Internet das Coisas.