Estima-se que, do início da civilização até 2003, a humanidade criou 5 exabytes (um quintilhão de bytes) de informação. Atualmente, criamos esse mesmo volume a cada dois dias. Um estudo da consultoria IDC indica que, de 2012 até 2020, o volume de dados armazenados na internet deverá dobrar a cada dois anos.

As razões por trás desta explosão de dados são simples de entender. A proliferação das redes sociais, o crescimento do e-commerce e a crescente penetração de dispositivos móveis são fenômenos relativamente recentes e que tendem a se intensificar nos próximos anos. Além disso, estima-se que, já em 2015, teremos 25 bilhões de dispositivos conectados, que vão de PCs e smartphones a dispositivos sensoriais como câmaras de monitoramento e medidores de velocidade, gerando uma enxurrada de dados complexos.

A expressão "Big Data" refere-se a estes enormes conjuntos de dados caracterizados por grandes volumes (por ordem de magnitude), de grande variedade, dado que se originam de diversas fontes de dados, e gerados em alta velocidade, pois podem ser obtidos ao mesmo tempo em que se originam. Estes três características principais são, por vezes descritas como o “três Vs”“ do Big Data.

Quando se fala de "Big Data", sob o ponto de vista empresarial, a grande oportunidade que as empresas têm é a de extrair efetiva inteligência de negócios a partir destes dados. Ferramentas de análise específicas, também conhecidas como "Analytics", permitem implementar estratégias para conhecer e fidelizar melhor seus clientes, reduzir custos operacionais e melhorar seus produtos. 

No mundo corporativo, existem exemplos notáveis de criação de vantagem competitiva a partir de estratégias baseadas em técnicas de "Big Data". Empresas de E-Commerce utilizam dados do perfil de seus consumidores e seu perfil de navegação para definir, em tempo real, produtos a serem oferecidos a seus clientes. A Netflix tem, por exemplo, aproximadamente 2/3 de suas vendas feitas através de recomendações customizadas. Grandes operadoras de Telecom correlacionam dados de perfil de uso de seus clientes e seu perfil de tarifação para definir estratégias para redução de "churn". Empresas do mercado financeiro correlacionam dados publicos de multiplas fontes de seus clientes de modo a auxiliar a construção de seu perfil de crédito. Empresas do setor de varejo buscam seus pontos de venda usando ferramentas que correlacionam dados complexos de demografia, fluxo de pessoas e consumo setorial.

O mercado de "Big Data" ainda é relativamente incipiente se comparado a seu potencial. Em 2013, pesquisas de mercado indicam que o mercado global movimente aproximadamente US$10 bilhões, sendo que aproximadamente 30% deste volume é representado por software, enquanto o restante é dividido entre hardware e serviços. Apesar de relativamente pequeno, é um dos segmentos de maior crescimento projetado no setor de tecnologia, com taxas superiores a 50% ao ano nos próximos anos. No Brasil, o segmento de "Analytics" deve movimentar mais de US$260 milhões este ano, um crescimento de 70% em relação ano passado, segundo dados da consultoria Frost & Sullivan.

O fenômeno do Big Data, em conjunto com a computação em nuvem – o "cloud computing" – tem potencial para ser disruptivo para a indústria de software. Depois de um período de "maturação", as soluções de "Analytics" permitirão que as companhias obtenham insights importantes sobre seus mercados, competidores e seu negócio, o que representará um elemento competitivo importante bem como criará ganhos de produtividade e inovação. Existe um desafio relevante – e longe de ser resolvido – de se simplificar as soluções de "Analytics" a ponto que sejam utilizadas por usuários de negócio, e não por engenheiros-especialistas e estatísticos. No entanto, a despeito deste desafio e de toda excitação – por vezes exagerada – natural de novas tecnologias, as perspectivas são muito positivas e são corroboradas pela fértil atividade de investimento por parte de fundos de Venture Capital e Private Equity neste setor, inclusive em empresas emergentes brasileiras. Desde 2008, mais de 500 empresas já foram investidas no setor globalmente, em uma alocação superior a US$4.9 bilhões, segundo a CB Insights.