Nota # 3 - O Stream Spark SQL

Data: 07/05/2022

Olá, eu sou o Renô!
Nessa nota vamos falar um pouco sobre o incrível mundo dos Streams.

A palavra Stream vêm do inglês e pode ser traduzida para algo como “fluxo”. Se você não sabe o que é um Stream, eis aqui uma definição mais formal:

“Streaming é uma tecnologia que envia informações multimídia, através da transferência contínua de dados, utilizando redes de computadores, especialmente a Internet.”

fonte: significados.com.br

Acredito que a frase seja alto-explicativa, mas um termo merece atenção: Multimídia. Bom, mídia é um conjunto diversificado de meios de comunicação, com objetivo de transmitir informação. Sendo assim, um texto, um áudio, um vídeo, uma imagem… são exemplos de mídia. O termo MULTImídia, por sua vez, se refere à combinação de mais vários meios SIMULTANEAMENTE na transmissão de uma informação.

Dito isto, Stream é uma tecnologia capaz de que enviar tipos diferentes de mídias(e.g imagem, som, vídeo etc.) simultaneamente, com objetivo de informar e de forma constante, utilizando a uma rede.

Contudo, o termo Stream a que me refiro hoje, é concernente ao Spark Stream, cujo conceito se assemelha a este mas detalha com o viés tecnológico de Big Data. Qual seja:

O Spark Streaming é uma extensão da API principal do Spark que dá suporte ao processamento de dados em tempo real com tolerância a falhas, alto desempenho e de forma escalável.

fonte: Alura

Dessa definição, podemos nos atentar a alguns fatos, tais como:

  • Processamento de dados em tempo real; trazendo a possibilidade de analisar dados assim que estes estejam disponíveis. A questão de consumir dados conforme sejam gerados, sem que haja a necessidade de agrupá-los em lotes (batch).
  • Tolerância a falhas. Pois o Spark Stream, ao armazenar os arquivos, os replicam e garantem que sejam processados apenas 1 vez.
Um fluxo de dados é uma sequência ilimitada de dados que chegam continuamente.

>> Mão na Massa: Stream!

A netflix, por exemplo é uma dessas

Bom, essa semana me deparei com uma atividade em que precisava

,