Big Data: o que é e como funciona

5 V's do Big Data: como se aplicam no seu negócio

Temos a certeza de que você já ouviu falar muitas vezes sobre Big Data, inclusive por aqui: já fizemos um infográfico para explicar o poder do Big Data. Agora chegou a hora de explorarmos os 5 V’s do Big Data e o significado de cada um deles.

Afinal, você já deve ter ouvido que “dados são o novo petróleo”. Uma estimativa aponta que o volume de novas informações digitais criadas deve alcançar a marca de 175 zettabytes (ZB) até 2025, de acordo com a International Data Corporation (IDC).

Sabendo disso, achamos que chegou o momento de explorarmos melhor o tema. Assim, você compreenderá todas as possibilidades que os 5 V’s do Big Data que, quando bem trabalhados, trazem ao seu negócio — não importa seu setor ou o porte da sua empresa.

Continue a leitura!

O que são os chamados 5 V’s do Big Data

Se você pesquisar no Google ou outros buscadores, vai encontrar os 7vs, 8vs do Big Data, e por aí vai. Mas para este artigo, nós escolhemos os 5 principais, que eluciam os desafios de lidar com o volume gigantesco dos dados existentes e facilitam o entendimento sobre o conceito do Big Data.

São eles: Volume, Velocidade, Variedade, Veracidade e Valor.

5 V’s do Big Data: entenda cada um deles

1. Volume

Segundo dados do SBG (Social Good Brasil), o volume de dados criado nos últimos anos é maior do que a quantidade produzida em toda a história da humanidade. A produção de dados dobra a cada dois anos e a previsão é de que ainda neste ano sejam gerados 350 zettabytes de dados. Em outras palavras, 35 trilhões de gigabytes.

E como agora não são apenas os humanos que geram essas informações, pois praticamente qualquer objeto conectado à internet está abastecendo o Big Data. Ou seja, quanto mais desenvolvida for a Inteligência Artificial (AI) e a Internet das Coisas (IoT), mais dados serão criados.

Este foi o primeiro dos 5 V’s do Big Data. Agora vamos ao próximo!

2. Velocidade

Quando falamos no uso estratégico do Big Data, pode-se afirmar que a velocidade é até mais importante que o volume em determinadas situações. Isso porque ela é a força que rege a vantagem competitiva.

Além disso, pode ser mais interessante ter uma quantidade um pouco menor de dados em tempo real, do que uma enorme quantidade que só poderá ser disponibilizada para uso depois de um tempo considerável.

Mas é claro que cada vez mais vemos soluções para o problema do timing correto de captação, organização e análise de dados: já existem plataformas totalmente automatizadas.

Elas utilizam Data Mining para capturar somente os dados estratégicos e relevantes, em real time, de acordo com a natureza do negócio e os objetivos de cada empresa.

3. Variedade

Os dados provêm de diversas fontes: redes sociais, aplicativos, e-mails, gps, cookies, IoT, bancos de dados públicos, revendedores autorizados etc. O que significa que eles não seguem os mesmos padrões e nem fornecem os mesmos tipos de informação. Assim, torna a tarefa de compilação e organização de dados bastante desafiadora.

E, assim como o volume, a variedade de fontes de dados só tende a aumentar com o avanço tecnológico. Mas assim como a velocidade, já existem ferramentas que são capazes de lidar com a heterogeneidade de dados e conseguem processá-los e agrupá-los de forma coerente.

4. Veracidade

Esse assunto tem sido pauta recorrente, especialmente nos últimos meses. Com tantos dados disponíveis, como separar os verdadeiros dos falsos? Aproveite para reler o post que fizemos sobre como detectar uma fake news na era do Big Data.

A melhor forma para garantir a veracidade é ao contratar uma empresa que seja comprometida com a veracidade das informações fornecidas e que esteja de acordo com todas as normas da LGPD e GDPR.

5. Valor

Chegamos finalmente ao valor, o último e mais importante “V” do Big Data. Por valor, entende-se transformar um verdadeiro tsunami de informações em dados que efetivamente podem ser utilizados nos negócios.

Ou seja, de nada adianta ter acesso a um volume massivo de dados, se você não puder gerar valor para a sua organização, não é mesmo?

Algumas empresas realizam iniciativas de geração de valor por meio do Big Data, ao oferecer serviços de inteligência de mercado, por exemplo, a Cortex, que capta dados de mais de 17 mil fontes públicas em mais de 150 países.

Além da captação, a plataforma oferece análises que permitem que empresas de todo o mundo utilizem a inteligência de dados para prever riscos, identificar oportunidades e guiar seus times de marketing e comercial para tomar decisões mais precisas.

Agora que você conhece os 5 V’s do Big Data. Como você pode utilizar o dados em seu negócio?

Todas essas informações coletadas enquanto estamos conectados são de grande valor, como já mencionado acima. Para os negócios, as informações profissionais, como os dados de empresas, são capazes de:

mostrar oportunidades que ainda não foram exploradas;

ajudar a identificar que um determinado investimento deveria ser feito em outro mercado;

captar possíveis clientes que realmente estejam em busca do seu produto ou serviço;

e muito mais!

A análise de dados, quando é realizada com inteligência, pode ajudar todos os segmentos de mercado a conquistar mais receita, cortar custos e diminuir o ciclo de venda dos times comerciais.

Os dados, na prática, vão ajudar o seu negócio a fazer análises mais precisas, que mostrarão quais são as regiões do país ou do mundo que a sua empresa tem mais fit, o número de funcionários que esses propects têm, quais as tecologias que eles já utilizam e se a sua poderia agregar valor também.

Essas informações em tempo real diminuem também o tempo gasto dos seus profissionais, que procuram os contatos certos para vender mais, uma vez que poderão focar nos tomadores de decisão com potencial para fechar negócio.

É como falamos por aqui na Cortex, data is not guessing – dados não é “achismo”. Então comece agora mesmo a traçar o seu planejamento estratégico com a ajuda dos 5Vs do Big Data e seja mais preciso na tomada de decisões!

Sobre a Cortex

A Cortex é a empresa número 1 em soluções de inteligência para crescimento. Caso queira saber como prospectar clientes com inteligência de dados, conheça nossa plataforma de Vendas e Mercado.

Ou, se tiver urgência, não perca tempo: agende uma conversa com a equipe de especialistas Cortex e descubra como economizar centenas de horas dos times de inteligência.

Big Data: o que é, para que serve e o que são os 5 V's?

Se existe uma palavra no vocabulário de muitos profissionais que causa arrepios constantes é “análise”.

Já podemos ver daqui pessoas se escondendo, mudando de tela ou indo buscar um café…

Mas não se assuste!

Aparentemente, não é apenas no mundo do marketing que analisar dados gera algum desconforto.

O analytics está cada vez mais presente no dia a dia de diversos segmentos e um dos principais motivos para isso é o crescimento constante do Big Data.

A cada dia mais de 2,5 exabytes (25.000.000.000.000.000.000 de bytes) são criados e esse número praticamente dobra a cada 3 anos, desde 1980.

Constantemente mais empresas entendem como — e por que — o Big Data é importante e passam a adotar estratégias que envolvam mais análises de dados e insights a partir dessa análise.

E chegou a hora de você fazer o mesmo!

Para isso, explicaremos os seguintes pontos que geram mais dúvidas sobre Big Data:

Preparado? Vamos começar!

O que é Big Data

Big Data é o conjunto de informações presentes nos bancos de dados de servidores e empresas, que pode ser acessado e possui interligações entre si.

Ou seja, que está disponível na rede mundial de computadores e pode ser acessado remotamente.

Para ficar mais claro, o Youtube é um exemplo de BD, disponibilizando diversos vídeos presentes em um banco de dados disponível para usuários acessarem.

Outro exemplo é Wikipédia, com textos disponíveis em bancos de dados para consultas online. Porém, o Big Data não se resume apenas a bancos de dados e informações online.

Segundo a Lisa Arthur, contribuidora da revista Forbes, diversos CMO’s e CIO’s concordam que Big Data é todo e qualquer dado que pode ser coletado sobre uma empresa ou um assunto.

É uma coleção de informações de fontes tradicionais e digitais internos e externos à sua empresa, que representam uma fonte de descoberta e análise contínuas.

Apesar de os meios digitais reinarem quando o assunto é acúmulo de dados, as grandes empresas afirmam que não devem deixar de lado informações de compra e venda, registros financeiros e canais de interação não-digitais, como call centers e até telemarketing.

Tudo isso pode ser fonte de dados para ajudar a sua empresa a crescer.

Qual a história do Big Data

Apesar de o termo Big Data ser relativamente novo, a premissa de reunir e armazenar informações é consideravelmente antiga.

Pense em bibliotecas, por exemplo!

Porém, o conceito ganhou uma abordagem nova no começo dos anos 2000, quando Doug Laney escreveu um artigo que hoje é a definição mais conhecida de Big Data.

Doug separou a ideia em 5 V’s que vamos ver logo abaixo.

A crescente dos dados disponíveis e os modelos just in time de negócio, tornaram indispensáveis uma forma de análise em tempo real de grandes quantidades de dados.

Que é a grande diferença entre aplicar a ideia de BD na sua empresa, e armazenar informações sem qualquer tipo de organização ou análise.

O que são os 5 V’s do Big Data

Atualmente, podemos dividir o Big Data em 5 V’s que formam a base para a implementação do conceito em qualquer empresa.

São eles: Volume, Velocidade, Variedade, Variabilidade e Vínculo.

Vamos explicar em detalhes cada um deles abaixo.

Volume

Volume é o ponto de partida para entender o BD.

Os 2,5 quintilhões de dados criados diariamente causa um volume de informações impressionante das mais diversas fontes.

Acompanhamento de leads e clientes, redes sociais, interações em sites e blogs, histórico de compra, cliques e muito, muito mais.

O volume de informações influencia em dois pontos principais: armazenamento e análise.

Com a expansão diária de servidores, ficou muito mais fácil armazenar esses dados, principalmente com a compressão de arquivos e possibilidade de disponibilizá-lo na nuvem.

Já a análise se torna cada vez mais simples, principalmente com o uso de ferramentas próprias para o Big Data.

Velocidade

Dados são transferidos, armazenados e baixados em velocidades altíssimas!

E não estamos falando da velocidade da sua conexão com a internet, mas sim como esse conteúdo é trabalhado, atualizado e expandido rapidamente.

Cada vez mais fontes fornecem dados, o que torna necessário o gerenciamento dessas informações em tempo real, de forma ápida e segura.

Variedade

Dados aparecem com todas as formas, cores e tamanhos. Podem ser planilhas, dados estruturados, ou somente documentos de texto, vídeos e imagens.

É preciso entender as variedades existentes e como cada uma deve ser analisada e armazenada.

Variabilidade

A velocidade e variedade dos dados crescem constantemente, mas, adicionalmente, esses elementos mudam e não são necessariamente consistentes.

Imagine as mídias sociais, como elas vão gerar informações de forma regular?

Elas são totalmente dependentes das ações dos usuários e, mesmo parecendo, não ficamos 24 horas por dia conectados na web.

A ideia de variabilidade também pode ser aplicada a dados diários, sazonais e relativos a eventos específicos, o que gera um grande volume de informações e traz desafios no gerenciamento.

Vínculo

Com um volume tão grande de dados, é muito provável que você perca o controle de tudo na hora que realmente precisar.

Um dos principais motivos disso é a dificuldade de conectar e transformar informações através de diferentes plataformas.

Portanto, é preciso conectar e correlacionar os elementos, criar hierarquias e ligações múltiplas para os dados, ou seja, criar vínculos entre eles.

Por que Big Data foi criado

O volume incrivelmente alto de informações gerados diariamente — e acumulado de outros anos — passou a ser visto como uma fonte de insights e não só um apanhado de dados.

Logo, foi preciso pensar em um modelo de análise que ajude as empresas a encontrar ideias valiosas no meio de tantos bytes.

O Big Data ajuda empresas a encontrarem oportunidades não só onde elas estão claras, mas em correlações e cruzamento de dados complexos, na decupagem de dados estruturados, não estruturados e multi-estruturados.

Como interpretar dados

É muito provável que você já entendeu a importância dos dados para Big Data. Afinal, já falamos sobre eles diversas vezes.

Existe mais de um tipo de dado.

Basicamente, qualquer informação pode ser definida assim, mas existem diferentes formatos que podem facilitar, dificultar ou direcionar a análise feita pelas empresas.

Os dados são divididos em dois tipos: estruturados e não estruturados. Vamos conhecer um pouco mais sobre cada um deles?

Dados não estruturados

Com o passar dos anos, os bancos de dados passaram a interpretar com mais facilidade dados.

Isso aconteceu muito pelo fato de esses bancos armazenarem informações similares, como planilhas, cálculos, funções e números, o que facilita a forma como esse conteúdo é analisado.

Porém, novos formatos chegaram e eles não são tão facilmente interpretados como antes.

Eles são chamados de dados não estruturados, informações que não estão organizadas ou que não são facilmente entendidas pelos bancos de dados tradicionais e formatos conhecidos de dados.

Geralmente, esses elementos são, predominantemente, textos. Metadata de blogs, imagens, e tuítes são exemplos de dados não estruturados.

Dados estruturados (ou multi-estruturados)

Em contrapartida, existem dados que são facilmente reconhecidos pelos bancos e facilitam a análise e processamento. Eles são chamados de dados estruturados (ou multi-estruturados).

Eles são derivados das interações entre pessoas e máquinas, como aplicações na web e mídias sociais.

Um bom exemplo são dados resultantes do comportamento dos usuários na web — também conhecidos como logs.

É uma mistura de texto, imagens e dados estruturados como formulários ou informações transacionais.

O avanço digital transformou muitos desses dados, trazendo ainda mais formatos para os considerados estruturados.

Com a constante evolução das relações entre marcas, consumidores e plataformas, a tendência é que essas informações continuem evoluindo e se alterando.

Quais são as aplicações do Big Data em diferentes setores?

Atualmente, o que faz o Big Data ser tão bem-sucedido é a sua aplicação em inúmeros contextos. Podemos ver usos da análise de grandes volumes dados para efeitos diversos, muitos deles vinculados à geração de melhores resultados de lucratividade nas empresas.

A seguir, destrinchamos algumas aplicações concretas do Big Data. Acompanhe!

Comportamento do usuário

O comportamento do usuário pode ser rastreado e coletado com o apoio do Big Data. A equipe pode dispor os dados de forma organizada em dashboards para visualização e compartilhamento. A partir do uso de sistemas de analytics, é possível intuir determinadas ações do usuário de acordo com esse comportamento prévio.

Com base em históricos de compras, em interações e em sessões de atendimento, o sistema pode predizer, por exemplo, a possibilidade de um cliente pedir o cancelamento dos serviços contratados.

No Marketing, o Big Data pode ser o combustível para a análise preditiva, que busca prever como um cliente vai reagir a determinadas táticas. É viável, por exemplo, amplificar sua mensagem e obter anúncios otimizados para gerar o máximo de conversão e de vendas ao estudar quais formas de comunicação ressoam melhor com o público.

Além de prever, é possível personalizar a abordagem para afunilar a comunicação. Desse modo, a empresa pode satisfazer e fidelizar os seus consumidores, para obter melhores resultados.

Logística

Na logística, o uso de análise de dados ajuda a gerar eficiência na definição das melhores rotas para levar um produto de A a B. É possível otimizar o transporte e gerenciar melhor os riscos nessa frente. Da mesma forma, a empresa consegue antecipar demandas para preparar os seus estoques.

Saúde

Na saúde, existe uma longa frente tecnológica que adota soluções de Big Data. Uma delas busca prever doenças nas pessoas com base em uma série de dados históricos, de monitoramento. Além disso, é possível detectar as chances de algum quadro clínico ocorrer de acordo com padrões de outras doenças envolvendo características de cada paciente.

Nesse nicho, é importante destacar a presença da internet das coisas, IoT. Os dispositivos da IoT conseguem monitorar e acompanhar as condições de um paciente, gerando uma quantidade significativa de dados que podem ser analisados.

Portanto, a IoT produz informações que devem ser enviados a sistemas analíticos que ajudam no tratamento e controle de doenças.

Detecção de fraudes

Com dados diversos acerca de operações financeiras e possíveis ocorrências de fraudes, torna-se viável detectar esses riscos e antecipá-los de forma proativa.

Dessa forma, quaisquer sinais que indicam a possibilidade de uma atividade fraudulenta já levantam um alerta para a empresa, que pode agir de forma preventiva para combater as consequências.

Sistemas de recomendação

Outro uso do Big Data associado ao varejo ou ao marketing é em sistemas de recomendação.

Nesse caso, são coletados dados variados acerca dos usuários e de suas preferências, de modo a gerar recomendações para pessoas semelhantes.

O sistema analítico chega a uma probabilidade para indicar algo a alguém, que pode ser um produto ou um filme a ser assistido. É o mecanismo utilizado pela Netflix nas telas iniciais de cada usuário!

Otimização de preços

Podemos mencionar também o uso de sistemas que processam e analisam dados para chegar a uma otimização dinâmica de preços.

Assim, em vez de somente definir valores estáticos, o sistema consegue analisar questões da concorrência, preferências do usuário, contexto socioeconômico e outras variáveis para mudar o preço sempre que for necessário. Essas ações são feitas para maximizar as vendas e a lucratividade em tempo real.

Assistentes virtuais

Os assistentes virtuais são um ótimo exemplo de como transformar os dados em aplicações inteligentes. Nesse sentido, são coletados dados de interações com o usuário para análise de sistemas analíticos que geram um resultado capaz de dialogar e interagir de maneira espontânea com os clientes.

É viável ainda personalizar a abordagem de comunicação de acordo com a conversa e transmitir emoções variadas, que sejam coerentes com o tom de voz da marca e o perfil do cliente ideal.

Manutenção preditiva

Também associada com a IoT, a manutenção preditiva se destaca por oferecer novamente uma capacidade preventiva para as empresas.

Com a análise dos sensores, é possível coletar uma quantidade enorme de dados para processamento. Uma vez que esses dados são coletados, a empresa é capaz de fazer reparos inteligentes antes que determinada máquina pare de funcionar.

Qual a relação entre Big Data, Machine Learning e Inteligência Artificial?

As aplicações que mencionamos anteriormente combinam Big Data, Machine Learning e Inteligência Artificial. É preciso, portanto, saber a diferença principal entre esses conceitos e a relação entre eles.

Basicamente, o que chamamos de Big Data (dados estruturados ou não, em grande volume, gerados rapidamente e com formatos variados) é a base para os treinamentos de modelos de Machine Learning (ML).

Todo sistema de ML precisa de um treinamento, seja ele supervisionado, não supervisionado ou por reforço. Dessa forma, é preciso uma etapa anterior ao seu funcionamento para “ensinar” o modelo.

Esse treinamento é feito com base em dados diversos. Quanto maior a complexidade do nosso problema de ML, maior deve ser essa base. Com os sistemas de ML modernos, temos a vantagem de poder coletar dados em diferentes formatos, já que os algoritmos aceitam uma variedade maior de opções.

Assim, podemos coletar uma tabela estruturada do Excel ou tweets do Twitter tranquilamente. Esses dados são logo preparados, convertidos e transformados para servir como base para o treinamento do modelo inteligente.

Ou seja, com as bibliotecas e as ferramentas de manipulação, conseguimos lidar com dados de todos os tipos, não somente os relacionais e estruturados. Por isso, o ML gerencia perfeitamente os dados que chamamos de Big Data.

Deep learning

Dentro do conceito de Machine Learning, temos um tipo específico de algoritmo chamado de redes neurais. Além disso, existe um meio mais complexo de rede neural que é chamado de deep learning, que é caracterizado por precisar de ainda mais dados para o seu treinamento. Por isso, se alimenta também do Big Data.

Relação com a inteligência artificial

O machine learning, por sua vez, é um subcampo da Inteligência Artificial (IA), que praticamente monopolizou o debate sobre IA nos últimos anos. Além disso, é um dos meios mais modernos e bem-sucedidos da IA.

MLOps

Como uma das características do Big Data é a sua natureza constantemente mutável, temos que abordar também a questão do MLOps e do pipeline de dados.

Nesse tipo de projeto, o modelo é retreinado sempre que houver uma atualização nos dados, de modo a manter a acurácia das predições e a consistência dos resultados. Isso é feito de forma automática, acompanhando a volatilidade das fontes de entrada.

Big Data e Marketing: como se conectam?

Não se engane, marketing (e vendas) podem se beneficiar do Big Data tanto quanto qualquer outro setor. Talvez até mais do que qualquer outro!

Isso acontece porque empresas que baseiam seu marketing em dados — também conhecido como data-driven marketing — dominam o mercado, sem sombra de dúvidas.

Os times de marketing mais eficientes são aqueles que colhem as informações recolhidas através das leads, do comportamento dos usuários e das experiências do time, e as transformam em ações que ajudam a alcançar resultados.

Separamos 5 aspectos do marketing que são favorecidos com o uso de Big Data. Confira!

Interpretação de dados

Empresas que tomam decisões a partir de dados são mais felizes.

É verdade!

Elas são mais felizes por que essas resoluções são baseadas em análises, dados e relatos que ajudam na sua eficiência.

Uma decisão tem mais chances de trazer os resultados esperados quando é baseada em dados que comprovam sua eficiência projetada.

Uma pesquisa da KPMG Capital mostrou que 99% dos entrevistados acreditam no Big Data como importante parte da tomada de decisão.

Porém, 85% deles alegam que têm dificuldade em interpretar os dados e apenas 25% aplicam os insights obtidos através da análise.

Logo, é preciso de um profissional capacitado para interpretar devidamente as informações e ajudar a empresa a tomar as decisões certas.

Para essa interpretação, as ferramentas são tão importantes quanto os profissionais.

Em sua maioria, são plataformas de organização e decupagem de dados, que facilitam a inferência deles em um futuro próximo.

Análises de mercado

A intuição e experiência dos profissionais direcionou empresas ao sucesso.

Mas nem sempre o caminho foi tão tranquilo assim. Muitos erros, testes e dinheiro foram gastos no processo.

Muito disso aconteceu porque não é possível adivinhar o que o seu público quer e o Big Data é uma mão na roda nessa hora.

As personas — perfis semificcionais — são indispensáveis para uma estratégia de marketing digital de qualidade, e para criar boas personas você precisa ter informações sólidas sobre o que elas gostam, onde estão presentes e qual conteúdo desejam consumir.

Nessa hora, encontrar padrões de comportamento entre os clientes da sua empresa e como eles atuam dentro do mercado seria bem interessante, não é mesmo?

Análises descritivas de eventos, correlações e ideias geradas a partir dos dados são as fontes de conhecimento que o Big Data fornece para a sua estratégia de marketing.

Experiência de compra

A tomada de decisão de compra pode ser um grande mistério.

O que leva uma pessoa a escolher a sua empresa?

Os motivos podem ser vários e se você está envolvido no mundo do trade marketing, venda direta ou marketing multinível, Big Data pode ser a sua melhor amiga — e talvez você nem saiba.

Analisar esses dados ajuda o seu negócio a encontrar os melhores meios de distribuição para os produtos, técnicas de PDV (ponto de venda) e fornecer a experiência de compra que o cliente espera.

Em mercados multinível, existe uma demanda grande por personalização por parte do cliente e você precisa de conhecimento estratégico para atender as necessidades da sua persona.

Mais fontes de dados para a sua empresa

No início do Big Data, as fontes de dados estavam limitadas a informações geradas por algumas empresas em alguns programas.

Claramente, nós vimos como o volume de referências aumentou exponencialmente ao longo dos anos. E isso não é nem um pouco negativo.

Claro, agora, é preciso ser um especialista para conseguir as estatísticas realmente relevantes a partir dos dados disponíveis, mas, ao mesmo tempo, a variedade desses elementos é cada vez maior.

Twitter, Facebook, Instagram e diversos aplicativos fornecem dados diariamente.

Um varejista pode utilizar dados meteorológicos para comprar os produtos certos na hora certa.

Um organizador de eventos pode escolher a melhor data para uma ação através da previsão do tempo, e assim por diante.

Todas as fontes de informação ajudam a sua empresa a tomar as melhores decisões, encontrar as melhores soluções para seus clientes e impulsionar as vendas.

Os logs da web foram expandidos e se tornaram o conteúdo das redes sociais, dados de ferramentas de BI (Business Intelligence), relatórios, indicadores macroeconômicos e muito mais.

Cada vez mais fontes fornece informações relevantes para empresas.

Automação de marketing

A nossa velha conhecida automação de marketing não é só indispensável para estratégias de marketing de conteúdo e inbound marketing de sucesso.

Elas são mais fontes de dados e também fazem análises interessantes para as empresas.

Se pensarmos bem, as plataformas de automação armazenam informações sobre o usuário, características de comportamento, e até métricas de rendimento de campanhas e ações.

Logo, é mais uma parte do Big Data altamente relevante para a sua empresa.

Além disso, são ferramentas com muitas integrações e que te ajudam a ter uma visão cada vez mais ampla do material que você tem disponível para análise.

O que é Big Data Analytics

Com certeza você já percebeu que é preciso analisar para crescer. Aliás, foi esse fato que motivou tanto o crescimento do conceito de Big Data.

Logo, o lado analista não pode ser deixado de lado.

Big Data é o conjunto dos dados dentro dos bancos, já Big Data Analytics é colocar a mão na massa e encontrar os insights sobre tendências do mercado, comportamento dos consumidores e suas expectativas.

O que é o analytics faz é pegar todas as fontes de dados que nós já vimos anteriormente — a matéria-prima de tudo — e criar as correlações, inferências e vínculos entre as informações.

Assim, é possível encontrar as métricas relevantes para a sua empresa, usar números para tomar decisões e criar estratégias mais eficientes.

Identificando padrões

Padrões são bem importantes.

Os padrões da sua audiência te ajudam a montar a sua persona, usuários que se comportam de forma similar e se tornam clientes dão insights sobre as ações que você deve executar para conquistar mais clientes desse tipo.

O remarketing é um bom exemplo desses padrões e análises. Depois de se interessar por um livro, quantas ofertas semelhantes você já recebeu após isso?

Essa é uma das aplicações do conhecimento obtido através desse diagnóstico.

Concorrência

Conhecer e entender o que a sua concorrência está fazendo é bem importante para o sucesso do seu negócio.

Não necessariamente você vai atacar todos os seus competidores, mas a verdadeira vantagem está em aprender com os erros deles.

A análise de dados é uma excelente ferramenta para encontrar os melhores caminhos à serem percorridos, tomando como base as ações dos seus concorrentes que não apresentaram os resultados esperados.

Grande parte desses insights vem do comportamento do seu público e te ajuda a criar promoções específicas para o seu mercado.

Big data analytics no marketing e vendas

Métricas são importantes para ambos os times.

O marketing precisa entender quais ações estão gerando mais resultados — gerando mais leads, quais tem o melhor ROI quais atraem mais tráfego — e o time de vendas precisa encontrar as ações e processos que convertem mais leads em clientes.

A análise já faz parte do dia a dia da maioria desses times e se não faz parte dos times da sua empresa, é hora de começar!

Big Data ajuda as empresas a entender padrões de comportamento e de respostas às ações realizadas.

Muitas empresas usam essa análise para reduzir o seu Custo de Aquisição por Cliente (CAC), customer lifetime value (CLTV), otimizar preços, descontos e muito, muito mais.

O segredo das empresas de sucesso é tornar o Big Data Analytics uma parte ativa do cotidiano dos times.

O Walmart critou o Walmart Labs, que ajuda a empresa a criar ferramentas de relacionamento com o público através dos dados colhidos sobre os clientes.

O MIT utilizou o MIT Media Lab para mapear quantas pessoas se encontravam no maior centro de compras dos EUA em um determinado momento, durante a Black Friday.

A Nike utiliza o seu app de corrida para incentivar seus usuários a praticarem esportes e compartilharem nas redes sociais, e ainda recolhe diversas informações relevantes para o negócio.

Bem interessante, não é?

Conclusão

A ideia de Big Data procura transformar tudo o que as empresas coletam no dia a dia de seus clientes — em forma de dados e informações — em oportunidades valiosas para o negócio.

Afinal, com tanto conteúdo disponível, tanto dos seus próprios clientes quanto de visitantes e desconhecidos, não aproveitar essa chance de melhorar a sua empresa realmente não é a melhor opção.

Clicando aqui você pode ler sobre como o Big Data pode ser usado para automatizar a produção de conteúdo!

O poder de analisar cada vez mais criou oportunidades para mais profissionais analíticos no mercado, mas que também precisam conhecer o segmento do negócio e, ainda mais importante, entender como aplicar o que foi aprendido na empresa.

Você não precisa fazer parte de uma grande empresa para aplicar a ideia do Big Data.

Ferramentas gratuitas como o Google Analytics e até mesmo outras de gerenciamento de redes sociais, email marketing e automação de marketing podem render insights interessantes.

Tanto que um dos principais pontos de qualquer estratégia de análise de qualidade é exportar os relatórios certos.

Então separamos para você um post especial com os 13 tipos de relatórios de Analytics que todo profissional de marketing deve acompanhar. Boa leitura e até a próxima!

Big Data: o que é e como funciona

Introdução

Você já parou para pensar na quantidade de dados que geramos todos os dias? Bancos, lojas, companhias aéreas, operadoras de telefonia e redes sociais são apenas alguns dos numerosos exemplos de organizações que administram grandes volumes de dados. Mas tê-los não basta. É preciso saber usá-los. É aí que o conceito de Big Data entra em cena.

Nas próximas linhas, você descobrirá o que Big Data significa, entenderá o porquê de o conceito estar tão presente em ambientes de Tecnologia da Informação (TI) e conhecerá as suas vantagens para empresas, governos e outras instituições.

- O que é Big Data?

- Por que Big Data é tão importante?

- Os cinco 'Vs' do Big Data

- Soluções de Big Data

- O que é Hadoop?

- Exemplos de uso de Big Data

O que é Big Data?

Big Data é o conceito que descreve conjuntos de dados extremamente amplos e que, por esse motivo, precisam ser tratados com ferramentas específicas para grandes volumes. Assim, toda e qualquer informação nesse conjunto pode ser encontrada, analisada e aproveitada em tempo hábil.

Explicando de um jeito mais simples, a ideia pode ser compreendida como a análise de grandes quantidades de dados para geração de resultados relevantes que, em volumes menores, dificilmente seriam alcançados.

Não é difícil entender o cenário em que o conceito se aplica: trocamos milhões de e-mails todos os dias; milhares de transações bancárias acontecem no mundo a cada segundo; sistemas sofisticados gerenciam a cadeia de suprimentos de várias fábricas neste exato momento; soluções de ERP coordenam os setores de inúmeras companhias.

Exemplos não faltam. Se te perguntarem, você certamente será capaz de apontar outros, sem fazer esforço.

Big Data — imagem: Geralt/Pixabay

Informação é poder, logo, se uma organização souber utilizar os dados que tem em mãos, poderá entender como melhorar um produto, criar uma estratégia de marketing mais eficiente, produzir mais em menos tempo, evitar desperdício de recursos, superar um concorrente, oferecer serviços personalizados e assim por diante.

Perceba que estamos falando de fatores que podem até ser decisivos para o futuro de um negócio. Mas Big Data é um nome relativamente recente. Isso significa que somente nos últimos anos as empresas descobriram a necessidade de melhorar o uso de seus grandes bancos de dados?

Pode ter certeza que não. Há tempos que departamentos de TI contemplam aplicações de Data Mining, Business Intelligence e CRM (Customer Relationship Management), por exemplo, para tratar justamente de análise de dados, tomadas de decisões e outros aspectos relacionados ao negócio.

A proposta de uma solução de Big Data é oferecer uma abordagem ampla no tratamento do aspecto cada vez mais "caótico" dos dados. Essa é uma forma de tornar as mencionadas aplicações e todas as outras mais eficientes ou precisas.

Para tanto, o conceito considera não somente grandes quantidades de dados, mas a disponibilização destes, a velocidade da análise, além da possível relação entre diferentes volumes.

Por que Big Data é tão importante?

Lidamos com dados desde os primórdios da humanidade. Mas, nos tempos atuais, os avanços computacionais nos permitem guardar, organizar e analisar dados mais facilmente e com frequência muito maior em relação às épocas em que computadores não estavam disponíveis.

Esse panorama está longe de deixar de ser crescente. Basta observar, por exemplo, que vários dispositivos em nossas casas — TVs, alto-falantes, termostatos, entre outros — já podem ficar online ou se comunicar com outros equipamentos do ambiente. É o que se conhece como internet das coisas.

Se olharmos para o que temos hoje, veremos uma grande mudança em relação às décadas anteriores. Pense na quantidade de dados que é gerada diariamente apenas nas redes sociais. Reflita sobre o imenso número de sites na web. Perceba que você é capaz de fazer compras por meio do celular.

A evolução tecnológica levou ao aumento exponencial da quantidade de informações no mundo e, agora, as organizações precisam lidar com essa "explosão" de dados.

Big Data é uma abordagem que se propõe a ajudar nessa tarefa, pois os recursos computacionais usados tradicionalmente para gestão de dados podem não ser suficientes para isso.

Os cinco 'Vs' do Big Data

No intuito de deixar a ideia de Big Data mais clara, algumas organizações, a exemplo da IBM, resumem o assunto em cinco aspectos principais. São os cincos 'Vs': volume, velocidade e variedade, com os fatores veracidade e valor aparecendo posteriormente. Vamos a eles.

Volume

O aspecto do volume você já conhece. Estamos falando de quantidades de dados realmente grandes, que crescem exponencialmente e, não raramente, são subutilizados por estarem nessas condições.

Velocidade

Velocidade (velocity) é outro ponto que você já assimilou. Para dar conta de determinados problemas, o tratamento dos dados (obtenção, gravação, atualização, enfim) deve ser feito em tempo hábil — muitas vezes em tempo real.

Se o tamanho do banco de dados for um fator limitante, o negócio pode ser prejudicado. Imagine, como exemplo, o transtorno que uma operadora de cartão de crédito geraria se demorasse horas para aprovar transações pelo fato de o seu sistema não conseguir analisar rapidamente os dados que podem indicar uma fraude.

Variedade

Variedade (variety) é outro aspecto importante. Os volume de dados que temos hoje são, em parte, efeito da diversidade de informações existentes.

Temos dados em formato estruturado — armazenados em bancos como PostgreSQL e Oracle — e dados não estruturados oriundos de inúmeras fontes, como documentos, imagens, áudios e vídeos. É necessário tratar a variedade como parte de um todo — um tipo de dado pode ser inútil se não for associado a outros.

Veracidade

O aspecto da veracidade (veracity) também pode ser considerado. Não adiante lidar com a combinação "volume + velocidade + variedade" se houver dados não confiáveis. É necessário que haja processos que garantam a consistência dos dados, tanto quanto possível.

Voltando ao exemplo da operadora de cartão de crédito, imagine o problema que a empresa teria se o seu sistema bloqueasse uma transação genuína por analisar dados não condizentes com a realidade.

Valor

Informação não é só poder. Informação também é patrimônio. A combinação "volume + velocidade + variedade + veracidade", além de todo e qualquer outro aspecto que caracterize uma solução de Big Data, se mostrará inviável se o resultado não trouxer benefícios significativos. Esse é o aspecto do valor (value).

Um pouco mais sobre os cinco 'Vs'

É claro que o conjunto com os cinco aspectos não precisa ser interpretado como uma definição perfeita. Há quem acredite, por exemplo, que a combinação "volume + velocidade + variedade" seja suficiente para transmitir uma noção aceitável do Big Data.

Nesse sentido, os aspectos da veracidade e do valor seriam desnecessários, pois já estariam implícitos no negócio. Qualquer entidade séria sabe que precisa de dados consistentes; nenhuma organização toma decisões e faz investimentos se não houver expectativa de retorno.

O destaque para os últimos dois pontos talvez seja realmente desnecessário por fazer referência ao que parece óbvio. Por outro lado, a sua consideração pode ser relevante por trazer à tona cuidados importantes.

Por exemplo, uma empresa pode analisar redes sociais para obter uma avaliação da imagem que os clientes têm de seus produtos. Mas será que essas informações são confiáveis a ponto de a adoção de procedimentos mais criteriosos não ser necessária?

De todo modo, os três primeiros 'Vs' — volume, velocidade e variedade — podem até não oferecer a melhor definição do conceito, mas não estão longe de fazê-lo.

Entende-se que uma solução de Big Data trata apenas de enormes quantidades de dados. Porém, você pode ter um volume não muito grande, mas que ainda se encaixa no contexto por causa dos fatores velocidade e variedade.

Soluções de Big Data

Além de lidar com volumes extremamente grandes de dados, dos mais variados tipos, soluções de Big Data precisam trabalhar com distribuição de processamento e elasticidade. Em outras palavras, é importante suportar aplicações com volumes de dados que crescem substancialmente em pouco tempo.

O problema é que bancos de dados tradicionais, especialmente os que exploram o modelo relacional, como o MySQL, o PostgreSQL e o Oracle, nem sempre atendem a esses requisitos.

Isso acontece porque, normalmente, bancos de dados relacionais se baseiam em quatro propriedades que tornam a sua adoção segura e eficiente: atomicidade, consistência, isolamento e durabilidade.

Essa combinação é conhecida como ACID, sigla para o uso desses termos em inglês: Atomicity, Consistency, Isolation e Durability, respectivamente. Vejamos uma breve descrição de cada um:

Atomicidade : toda transação deve ser atômica, isto é, só pode ser considerada efetivada se executada completamente;

: toda transação deve ser atômica, isto é, só pode ser considerada efetivada se executada completamente; Consistência : todas as regras aplicadas ao banco de dados devem ser seguidas;

: todas as regras aplicadas ao banco de dados devem ser seguidas; Isolamento : nenhuma transação pode interferir em outra que esteja em execução ao mesmo tempo;

: nenhuma transação pode interferir em outra que esteja em execução ao mesmo tempo; Durabilidade: quando a transação for concluída, os dados consequentes não devem ser perdidos.

Esses são aspectos importantes para um banco de dados tradicional. O problema é que esse conjunto de propriedades tende a ser muito restritivo para uma solução de Big Data. A elasticidade, por exemplo, pode ser inviabilizada pela atomicidade e pela consistência.

É neste ponto que entra em cena o conceito de NoSQL, denominação que muitos atribuem à expressão em inglês "Not only SQL", que em tradução livre significa "Não apenas SQL". Em tempo, SQL é a sigla para Structured Query Language. Trata-se, em poucas palavras, de uma linguagem própria para se trabalhar com bancos de dados relacionais.

O NoSQL faz referência às soluções de bancos de dados que possibilitam armazenamento de diversas formas, não se limitando ao modelo relacional tradicional.

Bancos de dados do tipo são mais flexíveis, sendo inclusive compatíveis com um conjunto de premissas que "compete" com as propriedades ACID: a BASE (Basically Available, Soft state, Eventually consistency — Basicamente disponível, Estado Leve, Eventualmente consistente).

Não é que bancos de dados relacionais tenham ficado ultrapassados. Eles foram e continuarão sendo úteis em uma série de aplicações. Mas, de modo geral, quanto maior um banco de dados se torna, mais custoso e trabalhoso ele fica. É necessário otimizar, acrescentar novos servidores, empregar mais especialistas em sua manutenção, enfim.

Via de regra, escalar (tornar maior) um bancos de dados NoSQL é mais fácil e menos custoso. Isso é possível porque, além de contar com propriedades mais flexíveis, bancos do tipo já são otimizados para trabalhar com processamento paralelo, distribuição global (vários datacenters), aumento imediato de sua capacidade, entre outros aspectos.

Além disso, há mais de uma categoria de banco de dados NoSQL. Isso faz soluções do tipo atenderem a uma grande variedade de dados, tanto estruturados quanto não estruturados: bancos de dados orientados a documentos, bancos de dados chave/valor, bancos de dados de grafos e assim por diante.

Exemplos de bancos de dado NoSQL são o Cassandra, o MongoDB, o HBase, o CouchDB e o Redis. Mas, quando o assunto é Big Data, apenas um banco de dados do tipo não basta. É importante também contar com ferramentas que permitam o tratamento dos volumes. Nesse quesito, o Hadoop é uma grande referência.

Bancos de dados NoSQL

O que é Hadoop?

O Hadoop é uma plataforma open source (de código-fonte aberto) desenvolvida especialmente para processamento e análise de grandes volumes de dados, sejam eles estruturados ou não estruturados. O projeto é mantido pela Apache Foundation, mas conta com a colaboração de várias companhias de tecnologia, como Microsoft, Intel, Google e Nvidia.

Pode-se dizer que o projeto teve início em meados de 2003, quando o Google criou um modelo de programação que distribui o processamento a ser realizado entre vários computadores para ajudar o seu mecanismo de busca a ficar mais rápido e livre da necessidade de servidores poderosos (e caros). Essa tecnologia recebeu o nome de MapReduce.

Alguns meses depois, o Google apresentou o Google File System (GFS), um *sistema de arquivos preparado para lidar com processamento distribuído e, como não poderia deixar de ser no caso da companhia, grandes volumes de dados (em grandezas de terabytes ou petabytes).

*Em poucas palavras, sistema de arquivos é um conjunto de instruções que determina como os dados devem ser guardados, acessados, copiados, alterados, nomeados e eliminados pelo sistema operacional.

Em 2004, uma implementação de código aberto do GFS foi incorporada ao Nutch, projeto de motor de busca para a web. O Nutch enfrentava problemas de escala — não conseguia lidar com um volume grande de páginas — e a variação do GFS, que recebeu o nome Nutch Distributed Filesystem (NDFS), se mostrou como uma solução. No ano seguinte, o Nutch já contava com uma implementação do MapReduce.

Na verdade, o Nutch fazia parte de um projeto maior: uma biblioteca para indexação de páginas chamada Lucene. Os responsáveis por esses trabalhos logo viram que o que tinham em mãos também poderia ser usado em aplicações diferentes, não só em buscas na web.

Essa percepção motivou a criação de outro projeto que engloba características do Nutch e do Lucene: o Hadoop, cuja implementação do sistema de arquivos recebeu o nome de Hadoop Distributed File System (HDFS).

O Hadoop é visto como uma solução conveniente para Big Data por vários motivos:

- trata-se de um projeto open source, como já informado, fator que permite a sua modificação e o torna suscetível a melhorias constantes graças à sua rede de colaboração. Por causa dessa característica, vários projetos derivados ou complementares foram criados;

- proporciona economia financeira, pois não exige pagamento de licenças e suporta hardware convencional, permitindo a criação de projetos com máquinas consideravelmente mais baratas;

- o Hadoop conta, por padrão, com recursos de tolerância a falhas, como replicação de dados;

- o Hadoop é escalável: havendo necessidade de processamento para suportar uma quantidade maior de dados, pode-se acrescentar computadores sem necessidade de realizar reconfigurações complexas no sistema.

É claro que o Hadoop pode ser usado em conjunto com bancos de dados NoSQL. A própria Apache Foundation mantém uma solução do tipo que é uma espécie de subprojeto do Hadoop: o já mencionado banco de dados HBase, que funciona atrelado ao HDFS.

Convém destacar que o Hadoop é a solução com maior destaque, mas não a única. É possível encontrar outras opções compatíveis com NoSQL ou que são baseadas em Massively Parallel Processing (MPP), por exemplo.

Exemplos de uso de Big Data

Soluções de Big Data podem ser implementadas em praticamente qualquer área. Vamos a alguns exemplos possíveis:

Prevenção de fraudes bancárias : empresas do setor financeiro podem analisar uma grande quantidade de dados em tempo real para identificar transações que são atípicas para determinado cliente, o que poderia ser um indicativo de fraude;

: empresas do setor financeiro podem analisar uma grande quantidade de dados em tempo real para identificar transações que são atípicas para determinado cliente, o que poderia ser um indicativo de fraude; Diagnósticos médicos : laboratórios e hospitais podem utilizar parâmetros de numerosos exames para auxiliar médicos ou até sistemas de inteligência artificial no diagnóstico de patologias complexas;

: laboratórios e hospitais podem utilizar parâmetros de numerosos exames para auxiliar médicos ou até sistemas de inteligência artificial no diagnóstico de patologias complexas; Comércio eletrônico : comportamentos de compras, análises de desistências e épocas do ano (sazonalidades) estão entre os numerosos parâmetros que podem ser combinados para uma loja online determinar qual o melhor momento para realizar promoções ou campanhas publicitárias;

: comportamentos de compras, análises de desistências e épocas do ano (sazonalidades) estão entre os numerosos parâmetros que podem ser combinados para uma loja online determinar qual o melhor momento para realizar promoções ou campanhas publicitárias; Otimização da produção : com Big Data, uma fábrica pode analisar diversos dados da produção para traçar estratégias que reduzem o desperdício de matéria-prima ou o consumo de energia elétrica, por exemplo;

: com Big Data, uma fábrica pode analisar diversos dados da produção para traçar estratégias que reduzem o desperdício de matéria-prima ou o consumo de energia elétrica, por exemplo; Estratégias de logística: uma transportadora pode combinar dados públicos e privados a respeito do trânsito para definir as rotas mais econômicas em certos horários e locais ou que tipo de veículo é mais adequado em determinadas circunstâncias.

* * *

Para saber mais sobre o assunto, você pode consultar os links que serviram de referência para este texto:

Veja também:

Escrito em 13_03_2013. Atualizado em 08_06_2022.