arquitetura neoway da captura à disponibilização dos dados · companies usa: elastic search178...
TRANSCRIPT
![Page 1: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/1.jpg)
Arquitetura NeowayDa captura à disponibilização dos dados
![Page 2: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/2.jpg)
Kamila Hinckel Developer at Neoway
Data Platform Team
Ricardo LongaDeveloper at Neoway
Core Team
![Page 3: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/3.jpg)
Sede em Floripa
GPTW:6ª melhor empresapara se trabalhar
Big Data Times independentes
Neoway
![Page 4: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/4.jpg)
O que a Neoway faz?
![Page 5: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/5.jpg)
DADOS
Em 2018, mais da metade das grandes organizações mundiais concorrerá utilizando análises
avançadas e algoritmos proprietários, provocando a ruptura de indústrias inteiras.*
*Fonte: Predicts 2016: Changes Coming in How We Buy Business Analytics Technology - Gartner
PaaS+400Clientes
+3000Bancos de dados
+30Parceiros de negócios
+250Colaboradores
+35 milhões de empresas
+194 milhões de pessoas no Brasil
+180 milhões de processos judiciais
+45 milhões de companies USA
![Page 6: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/6.jpg)
Como processamos
mais de 6 milhões de dados
por dia?
![Page 7: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/7.jpg)
Arquitetura
![Page 8: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/8.jpg)
![Page 9: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/9.jpg)
![Page 10: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/10.jpg)
![Page 11: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/11.jpg)
![Page 12: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/12.jpg)
![Page 13: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/13.jpg)
![Page 14: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/14.jpg)
![Page 15: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/15.jpg)
![Page 16: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/16.jpg)
![Page 17: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/17.jpg)
![Page 18: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/18.jpg)
200+ Crawlers!
![Page 19: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/19.jpg)
![Page 20: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/20.jpg)
![Page 21: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/21.jpg)
Inputs
Exemplos:
● CNPJ -> 05.337.875/0001-05{ “cnpj”: “05337875000105” }
● Sequencial -> 061256-01{ “protocolo”: “06125601” }
● CNPJ + Razão Social:{ “cnpj”: “05337875000105”, “razaoSocial”: “NEOWAY” }
![Page 22: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/22.jpg)
![Page 23: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/23.jpg)
![Page 24: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/24.jpg)
Exemplos:
● QCon São Paulo -> QCON SAO PAULO
● NEOWAY BUSINESS SOLUTIONS -> 05.337.875/0001-05
Tratamento e Enriquecimento
![Page 25: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/25.jpg)
![Page 26: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/26.jpg)
![Page 27: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/27.jpg)
Exemplo:
Informações das empresas da Receita Federal+
Informações dos sócios das Juntas Comerciais=
Dados completos de empresas do Brasil
Integração
![Page 28: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/28.jpg)
Exemplo:
● Dia 1: Nome da empresa -> Neoway LTDA
● Dia 2: Nome da empresa -> Neoway SA
Histórico
![Page 29: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/29.jpg)
![Page 30: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/30.jpg)
Golang
● Compilada, fortemente tipada
● Standard library completa
● Ferramentas Built-in (go test, go bench)
● Pausas do GC na escala de nanosegundos
![Page 31: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/31.jpg)
Golang
● Produtividade
○ Simplista (less is more)
○ Fortemente tipada
● Performance
○ Goroutines (thread 1mb / goroutine 2kb)
● Economia de recursos
○ Baixo consumo de memória
![Page 32: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/32.jpg)
Golangpackage main
import ( "fmt" "net/http")
func handler(w http.ResponseWriter, r *http.Request) { fmt.Fprint(w, "Hi there, I love this conference!")}
func main() { http.HandleFunc("/", handler) http.ListenAndServe(":8080", nil)}
![Page 33: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/33.jpg)
Testes de integração
![Page 34: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/34.jpg)
Testes de integração
● Garante que os serviços funcionem de forma integrada
● Testes integrados com o banco e serviço de mensageria
● Desenvolvedor consegue executá-los em sua máquina
![Page 35: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/35.jpg)
![Page 36: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/36.jpg)
![Page 37: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/37.jpg)
Exemplos:
● Nível de atividade de uma empresa
● Faturamento Presumido
Modelos Estatísticos
![Page 38: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/38.jpg)
![Page 39: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/39.jpg)
![Page 40: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/40.jpg)
● Conexão persistente
● Novos dados são empurrados pelo servidor
● Sem necessidade de polling
● Controle de processamento via timestamp
Stream API
![Page 41: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/41.jpg)
![Page 42: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/42.jpg)
![Page 43: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/43.jpg)
![Page 44: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/44.jpg)
● Interessado em quaisquer tópicos com data-domains.*
● Na sequência, publica a mesma mensagem em domains.*
Persistência
![Page 45: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/45.jpg)
● Utilizado p/ pesquisas simples (sempre pelo _id)
● Réplica com três nós
● Sub-arrays separados em collections
MongoDB
![Page 46: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/46.jpg)
● empresas (database)
○ empresas (collection - parent)
○ funcionarios (collection - child)
○ socios (collection - child)
○ veiculos (collection - child)
○ arts (collection - child)
○ clientdata_x (collection - child / por cliente)
○ tags_x (collection - child / por cliente)
MongoDB
![Page 47: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/47.jpg)
![Page 48: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/48.jpg)
![Page 49: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/49.jpg)
Como usamos:
● Convenção de nomes de tópicos
○ data-domains.empresas.funcionarios (-> Mongo)
○ domains.empresas.funcionarios (-> ES)
Mensageria
![Page 50: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/50.jpg)
● NSQ.io - Plataforma de mensageria
● Distribuída (without any centralized brokers)
● Admin UI
● Official Docker image
● Feito em Go
Mensageria
![Page 51: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/51.jpg)
![Page 52: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/52.jpg)
![Page 53: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/53.jpg)
![Page 54: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/54.jpg)
● Interesse em quaisquer tópicos com domains.*
Indexação
![Page 55: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/55.jpg)
Mapping:
● Estrutura similar ao Mongo (parent / child)
Elastic Search
![Page 56: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/56.jpg)
Dados indexados:
● Empresas: 6,3 TB
● Pessoas: 3 TB
● Processos Judiciais: 2,2 TB
● Companies USA: 178 GB
Elastic Search
![Page 57: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/57.jpg)
Um cluster com:
● 13 data nodes
● 3 master nodes
Elastic Search
![Page 58: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/58.jpg)
![Page 59: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/59.jpg)
![Page 60: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/60.jpg)
Motivo:
● Abtração da síntaxe do Elastic Search
Neoway Search DSL
![Page 61: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/61.jpg)
{
"from": 0, "size": 10, "fields": ["cnpj", "razaoSocial"],
"query": {
"$or": [
{
"$and": [
{"endereco.uf": "SP"},
{"socios.cpf": "12611122211"}
]
},
{"totalFuncionarios": {"$lt": 100}}
]
}
}
Neoway Search DSL
![Page 62: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/62.jpg)
![Page 63: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/63.jpg)
![Page 64: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/64.jpg)
![Page 65: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/65.jpg)
Como usamos:
● http://vulcand.github.io
● Rotas configuradas via ETCD
Internal Router
“It uses Etcd as a configuration backend, so changes to configuration take effect immediately without restarting the service.”
![Page 66: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/66.jpg)
![Page 67: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/67.jpg)
![Page 68: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/68.jpg)
![Page 69: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/69.jpg)
![Page 70: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/70.jpg)
![Page 71: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/71.jpg)
![Page 72: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/72.jpg)
Necessidade:
● Analisar a ligação entre registros de forma visual
Neo4J + Keylines
![Page 73: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/73.jpg)
![Page 74: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/74.jpg)
![Page 75: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/75.jpg)
![Page 76: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/76.jpg)
● Outro serviço com VulcanD
● Rotas também configuradas via ETCD
● Custom middleware (redireciona p/ serviço de autenticação/autorização)
○ Autenticação
○ Autorização
External Auth./Auth./Router
![Page 77: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/77.jpg)
![Page 78: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/78.jpg)
![Page 79: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/79.jpg)
![Page 80: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/80.jpg)
Requisitos:
● Cliente marca empresas em lote
● Cliente busca as empresas com suas marcações
Marcadores
![Page 81: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/81.jpg)
![Page 82: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/82.jpg)
![Page 83: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/83.jpg)
![Page 84: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/84.jpg)
![Page 85: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/85.jpg)
![Page 86: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/86.jpg)
![Page 87: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/87.jpg)
![Page 88: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/88.jpg)
![Page 89: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/89.jpg)
![Page 90: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/90.jpg)
![Page 91: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/91.jpg)
E se as filas estiverem
congestionadas?
![Page 92: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/92.jpg)
Requisito:
● Ao marcar uma empresa, a busca deve retorná-la imediatamente
Processamento síncrono
![Page 93: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/93.jpg)
![Page 94: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/94.jpg)
![Page 95: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/95.jpg)
![Page 96: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/96.jpg)
![Page 97: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/97.jpg)
![Page 98: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/98.jpg)
![Page 99: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/99.jpg)
![Page 100: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/100.jpg)
Motivos:
● Sem sessões no servidor
● Informações necessárias trafegam dentro do token
● https://jwt.io/
Json Web Tokens
![Page 101: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/101.jpg)
![Page 102: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/102.jpg)
![Page 103: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/103.jpg)
Cliente feliz!
![Page 104: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/104.jpg)
Aplicações
![Page 105: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/105.jpg)
![Page 106: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/106.jpg)
![Page 107: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/107.jpg)
![Page 108: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/108.jpg)
![Page 109: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/109.jpg)
DevOps
![Page 110: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/110.jpg)
Infraestrutura
● 200+ crawlers capturando dados
● 70+ microservices
● 200+ instâncias no EC2
● 100+ instâncias na Azure
![Page 111: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/111.jpg)
Linux Containers
● Empacotamento de dependências em “containers”
● Permite versionamento das imagens
● Docker compose
● Rkt (uma alternativa minimalista ao Docker)
● Feito em Go
![Page 112: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/112.jpg)
CoreOS
● Distro minimalista
● Focado em containers (Docker/Rkt)
● ETCD - Database (key/value) distribuído
● Rolling updates (facilita atualização de +300 instâncias)
● Cloud Config (provisionamento nativo)
![Page 113: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/113.jpg)
![Page 114: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/114.jpg)
Systemd Units
system PRODUCTION # cat tyr.service
[Unit]
After=skydns.service
Before=tyr-announce.service
[Service]
EnvironmentFile=/etc/profile.d/core
ExecStart=/usr/bin/rkt --insecure-options=all run --net=host --no-store=true \
--inherit-env \
--volume tmp,kind=host,source=/data/tyr \
${TYR_IMAGE} -- \
-port=${TYR_PORT} \
-etcdKey=tyr \
-etcd=http://127.0.0.1:4001
![Page 115: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/115.jpg)
Environment Variables
system PRODUCTION # cat /etc/profile.d/core
#!/bin/sh
# Globals
GIN_MODE=release
LOGGER_LEVEL=error
LOGGER_OUTPUT=syslog
LOGGER_SYSLOG_ADDRESS=log.neoway.local:1514/udp
LOGGER_SYSLOG_DIR=core
SYSLOG_ADDRESS=log.neoway.local:1514
# Backends
MONGO_URL=mongo1.core.neoway.local:27017,mongo2.core.neoway.local:27017
ELASTICSEARCH_URL="http://x1.elasticsearch.core.neoway.local:9200,http://x2.elasticsearch.core.ne
oway.local:9200,http://x3.elasticsearch.core.neoway.local:9200"
![Page 116: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/116.jpg)
Service Discovery
“SkyDNS is a distributed service for announcement and discovery of services built on top of etcd.”
![Page 117: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/117.jpg)
Service Discovery
system PRODUCTION # cat tyr-announce.service
[Unit]
Description=Announce tyr
BindsTo=tyr.service
[Service]
EnvironmentFile=/etc/environment
EnvironmentFile=/etc/profile.d/core
ExecStart=/bin/sh -c "while true; do etcdctl set /skydns/local/neoway/core/api/%m '{\"host\":
\"'${COREOS_PRIVATE_IPV4}'\"}' --ttl 15 ;sleep 10;done"
ExecStop=/usr/bin/etcdctl rm /skydns/local/neoway/core/api/%m
[Install]
WantedBy=multi-user.target
![Page 118: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/118.jpg)
Service Discovery
system PRODUCTION # etcdctl ls --recursive /skydns/local/neoway/core/api
/skydns/local/neoway/core/api/ 4b142d1ced0241a4bad59d4273f65a2e
/skydns/local/neoway/core/api/ 1104a38250cf48f8bb8daefc25bc40c0
system PRODUCTION # host api.core.neoway.local
api.core.neoway.local has address 10.11.12.95
api.core.neoway.local has address 10.11.11.219
![Page 119: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/119.jpg)
Kubernetes
● Gerenciador de containers em cluster
● Criado pelo Google - Escrito em Go
● Fácil de escalar (cluster e serviços)
● Service discovery
● Atualização com zero downtime - Rolling Updates
![Page 120: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/120.jpg)
Kubernetes
![Page 121: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/121.jpg)
Monitoramento
![Page 122: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/122.jpg)
Prometheus + Grafana
● Prometheus busca as métricas (pull based)
● https://github.com/google/cadvisor
● https://github.com/prometheus/node_exporter
● Armazena em um time series database
● Permite configuração de alertas
![Page 123: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/123.jpg)
![Page 124: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/124.jpg)
![Page 125: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/125.jpg)
![Page 127: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/127.jpg)
Neoway Open-source Projects
● https://github.com/NeowayLabs
○ nash: /nash
○ klb: /klb
![Page 128: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/128.jpg)
Estamos contratando!
![Page 129: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/129.jpg)
![Page 130: Arquitetura Neoway Da captura à disponibilização dos dados · Companies USA: Elastic Search178 GB. Um cluster com: 13 data nodes 3 master nodes Elastic Search. Motivo: Abtração](https://reader034.vdocuments.net/reader034/viewer/2022042422/5f6053888bcd982d795c5f5c/html5/thumbnails/130.jpg)
Apoio técnico! :)