Aprenda Por Exemplo: Hadoop, MapReduce Para Grandes Problemas De Dados

Simpliv

Descrição do Programa

Leia a Descrição Oficial

Aprenda Por Exemplo: Hadoop, MapReduce Para Grandes Problemas De Dados

Simpliv

Ensinado por uma equipe de 4 pessoas, incluindo 2 Stanford-educated, ex-Googlers e 2 ex-Flipkart Lead Analysts. Esta equipe tem décadas de experiência prática em trabalhar com Java e com bilhões de linhas de dados.

Este curso é um zoom-in, zoom-out, exercícios práticos envolvendo Hadoop, MapReduce e a arte de pensar paralelamente.

Vamos analisar isso.

Zoom-in, Zoom-Out: este curso é amplo e profundo. Abrange os componentes individuais do Hadoop em grande detalhe e também lhe dá uma imagem de nível mais alto de como eles interagem uns com os outros.

Exercício prático envolvendo Hadoop, MapReduce: este curso irá ajudá-lo com Hadoop muito cedo. Você aprenderá a configurar seu próprio cluster usando VM e Cloud. Todas as principais características do MapReduce são cobertas - incluindo tópicos avançados, como Sort Total e Secondary Sort.

A arte de pensar em paralelo: MapReduce mudou completamente a maneira como as pessoas pensavam em processar Big Data. Romper qualquer problema em unidades paralelizáveis ​​é uma arte. Os exemplos neste curso irão treiná-lo para "pensar em paralelo".

O que está coberto: lote de coisas legais

Usando MapReduce para:

  • Recomende amigos em um site de rede social: crie as recomendações de 10 melhores amigos usando um algoritmo de filtragem colaborativo.
  • Crie um índice invertido para motores de busca: use MapReduce para paralelizar a tarefa enorme de construir um índice invertido para um mecanismo de pesquisa.
  • Gerar Bigrams a partir do texto: Gerar bigrams e calcular sua distribuição de freqüência em um corpus de texto.

Crie seu cluster Hadoop

  • Instale o Hadoop em modos autônomos, pseudo-distribuídos e totalmente distribuídos
  • Configure um cluster Hadoop usando VMs Linux.
  • Configure um cluster Hadoop na nuvem no AWS com o Cloudera Manager.
  • Compreender HDFS, MapReduce e YARN e sua interação

Personalize seus trabalhos MapReduce:

  • Encadear vários trabalhos de MR juntos
  • Escreva seu próprio particionador personalizado
  • Total Sort: Classifique globalmente uma grande quantidade de dados por meio de arquivos de entrada de amostragem
  • Triagem secundária
  • Testes unitários com unidade MR
  • Integre com o Python usando a Hadoop Streaming API

... e, claro, tudo o que é básico:

  • MapReduce: Mapper, Reducer, Sort / Merge, Partitioning, Shuffle and Sort
  • HDFS

Usando fóruns de discussão

Use os fóruns de discussão sobre este curso para se envolver com outros alunos e ajudar-se mutuamente. Infelizmente, como desejamos, não é possível para nós em Loonycorn responder a perguntas individuais dos alunos :-(

Somos super pequenos e autofinanciados com apenas 2 pessoas desenvolvendo conteúdo de vídeo técnico. Nossa missão é disponibilizar cursos de alta qualidade a preços super baixos.

A única maneira de manter nossos preços baixos é * NÃO oferecer suporte técnico adicional por e-mail ou em pessoa *. A verdade é que o suporte direto é extremamente caro e simplesmente não escala.

Entendemos que isso não é ideal e que muitos estudantes podem se beneficiar desse suporte adicional. A contratação de recursos para suporte adicional tornaria nossa oferta muito mais cara, derrotando nossa finalidade original. É um forte trade-off.

Obrigado pela sua paciência e compreensão!

Quem é o público-alvo?

  • Sim! Analistas que querem aproveitar o poder da HDFS, onde os bancos de dados tradicionais não cortaram mais
  • Sim! Engenheiros que desejam desenvolver complexas aplicações de computação distribuída para processar lotes de dados
  • Sim! Cientistas de dados que querem adicionar MapReduce a sua bolsa de truques para processar dados

CONHECIMENTO BÁSICO

  • Você precisará de um IDE onde você pode escrever o código Java ou abrir o código-fonte compartilhado. IntelliJ e Eclipse são ótimas opções.
  • Você precisará de algum plano de fundo na programação orientada a objetos, de preferência em Java. Todo o código-fonte está em Java e mergulhamos diretamente sem entrar em Objetos, Classes etc.
  • Um pouco de exposição aos shells Linux / Unix seria útil, mas não será um bloqueador

O QUE APLICARÁ

  • Desenvolva aplicativos MapReduce avançados para processar BigData
  • Dominar a arte de "pensar paralelo" - como dividir uma tarefa em transformações Map / Reduce
  • Configure com autonomia seu próprio cluster mini-Hadoop, seja um único nó, um cluster físico ou a nuvem.
  • Use o Hadoop MapReduce para resolver uma grande variedade de problemas: da PNL aos índices invertidos às recomendações
  • Compreenda HDFS, MapReduce e YARN e como eles interagem uns com os outros
  • Compreenda os conceitos básicos de ajuste de desempenho e gerenciamento de seu próprio cluster
Essa escola oferece programas em:
  • Inglês


Última atualização February 10, 2018
Duração e Preço
Este curso é Online
Start Date
Data inicial
Inscrições abertas
Duration
Duração
7 - 8 horas
Meio Período
Período integral
Price
Preço
19 USD
Locations
EUA - Fremont, Califórnia
Data inicial: Inscrições abertas
Prazo para inscrição Solicitar Informações
Data de conclusão Solicitar Informações
Dates
Inscrições abertas
EUA - Fremont, Califórnia
Prazo para inscrição Solicitar Informações
Data de conclusão Solicitar Informações