Monitorização com ELK Stack na Eurotux
A estratégia tradicional de gestão de infra-estruturas sustentada na monitorização não é adequada para infra-estruturas de grande escala e/ou quando se utilizam estratégias de criação e destruição dinâmica de infra-estruturas (muito em voga nos pipelines CI/CD em clouds). Para além de o funcionamento correcto de um determinado serviço depender de muitas componentes interdependentes entre si, é muitas vezes praticamente impossível diagnosticar um incidente pelo facto de a instância problemática já ter sido destruída e, eventualmente, substituída por outra onde as causas do incidente não se conseguem diagnosticar.
Foram entretanto aplicadas à tecnologia estratégias da teoria do controle, nomeadamente a observabilidade, em que se determina a adequabilidade do funcionamento dos estados internos de um sistema com base nos resultados de saída do mesmo; mudamos como tal os comportamentos de reactivos a alarmes para proactivos com base na observação de métricas, muitas vezes obtidas com base no cruzamento de várias fontes de dados que são tipicamente registos de sistemas, aplicações e serviços (logs).
É possível implementar alertas com base em métricas, tal como na monitorização tradicional é possível despoletar alertas com base em mudanças de estado (disponível para indisponivel, etc). As equipas da Eurotux têm utilizado a Stack ELK com excelentes resultados para a análise e correlação de registos de qualquer fonte, em qualquer formato, e que permite pesquisar, analisar e visualizar dados em tempo real, sendo uma excelente alternativa a algumas soluções comerciais.
O que é o ELK Stack?
“ELK” é o acrônimo para três projetos open source: Elasticsearch, Logstash e Kibana. O Elasticsearch é um mecanismo de busca e análise. O Logstash é um pipeline de processamento de dados do lado do servidor que faz a ingestão de dados a partir de inúmeras fontes simultaneamente, transforma-os e envia-os para um “esconderijo” como o Elasticsearch. O Kibana permite que os usuários visualizem dados com diagramas e gráficos no Elasticsearch.
Uma outra alternativa mais recente é a Open Distro, também Open-Source, e apadrinhada pela AWS. Tanto a Stack ELK e OpenDistro são altamente customizáveis e têm uma série de capacidades avançadas, como alarmística.
