Analizador de logs de servicios en Linux

Zuljin · 21 Agosto 2020

Tengo que implementar un servicio que analice logs de aplicaciones y servicios en Linux.

Hasta hace un tiempo, tenía los servidores de base de datos Oracle y Weblogic enganchados a una suite propia de Oracle para monitoreo (Oracle Cloud Control). Era la cumbia pero llegaron servidores de otros sabores y ahí la solución de Oracle no me sirve sin pagar extra.

Me puse a cachurear y encontré Graylog. Creo que anda bien y lo voy a revisar pero me gustaría saber si tienen experiencias en otros sistemas analizadores de logs.

Centralized Log Management | Advanced Features & Tools

Explore Graylog Open for centralized log management with custom dashboards, advanced search, and robust fault tolerance. Get started now!

www.graylog.org

Lo voy a usar para

logs de Oracle (el alert.log)
logs de wildfly (es la rama community de jboss)
logs de Weblogic

y ya que estamos en esta, el messages de linux.

Gracias

Harima · 21 Agosto 2020

Ojito ahí que graylog esta sobre un elastic así que dependiendo la cantidad de logs se te puede ir a la B rapidito.
Por defecto creo que guarda como 20 días así que debes configurar la cantidad de días que quieres que guarde.
Los logs se mandan con el nombre de maquina así que debes tener bien configurado el nombre de maquina para hacer las búsquedas o te deja todo con 127.0.0.1.
Si te quieres poner pesado, también puedes hacer que el bash registre todos los comandos de los usuarios, así sabes quien se mando un condoro.

Zuljin · 21 Agosto 2020

Harima dijo:
Ojito ahí que graylog esta sobre un elastic así que dependiendo la cantidad de logs se te puede ir a la B rapidito.
Por defecto creo que guarda como 20 días así que debes configurar la cantidad de días que quieres que guarde.
Los logs se mandan con el nombre de maquina así que debes tener bien configurado el nombre de maquina para hacer las búsquedas o te deja todo con 127.0.0.1.
Si te quieres poner pesado, también puedes hacer que el bash registre todos los comandos de los usuarios, así sabes quien se mando un condoro.

Me basta con 7 días no más. Lo único que necesito es que un analizador de logs lea los logs y me envíe un correo cuando detecte un string en particular.

chertsey · 21 Agosto 2020

Graylog es bueno, pero es su paja configurar los extractores.. para logs ya formateados te recomiendo el stack de elastic. El apm funciona excelente y si habilitas los diferentes beats puedes generar correlación de eventos en forma sencilla.

Solución de observabilidad de pila completa, desarrollada a partir de Elastic Search AI Platform

Conoce más sobre Elastic Observability, la solución de observabilidad optimizada con AI generativa más ampliamente desplegada. Obtienes visibilidad de la pila completa e información procesable para pa...

www.elastic.co

Para evitar que el cluster elastic se te vaya a la b, simplemente generaras planes de rolling y agrandas en la cantidad de nodos que desees. Como dato, no se recomienda mas de 64gb de ram por nodo elastic.

Zuljin · 21 Agosto 2020

chertsey dijo:
Graylog es bueno, pero es su paja configurar los extractores.. para logs ya formateados te recomiendo el stack de elastic. El apm funciona excelente y si habilitas los diferentes beats puedes generar correlación de eventos en forma sencilla.

Solución de observabilidad de pila completa, desarrollada a partir de Elastic Search AI Platform

Conoce más sobre Elastic Observability, la solución de observabilidad optimizada con AI generativa más ampliamente desplegada. Obtienes visibilidad de la pila completa e información procesable para pa...

www.elastic.co

Para evitar que el cluster elastic se te vaya a la b, simplemente generaras planes de rolling y agrandas en la cantidad de nodos que desees. Como dato, no se recomienda mas de 64gb de ram por nodo elastic.

¿Ese es un servicio en la nube?

chertsey · 21 Agosto 2020

Puedes instalarlo local gratis sin la licencia de machine learning.

Ahora si estas en modo rata, puedes usar el fork de amazon opendistro for elasticsearch, que trae machine learning, alertas y seguridad extra todo gratis.

Open Distro for Elasticsearch

opendistro.github.io

Amenadiel · 3 Septiembre 2020

"Gratis" como en "con el batazo que te espera por levantar nodos m6.x2large me conformo"

Enviado desde mi HMA-L29 mediante Tapatalk

chertsey · 3 Septiembre 2020

Amenadiel dijo:
"Gratis" como en "con el batazo que te espera por levantar nodos m6.x2large me conformo"

Por eso me refería a instalación local y no mencioné el servicio elastic cloud managed....

Download Elasticsearch

Download Elasticsearch or the complete Elastic Stack (formerly ELK stack) for free and start searching and analyzing in minutes with Elastic.

www.elastic.co

Y las distintas licencias
open source (gratis)
basic (gratis)
gold/premiun (pagadas)

Subscriptions | Elastic Stack Products & Support | Elastic

See subscription levels, pricing, and tiered features for on-prem deployments of the Elastic Stack (Elasticsearch Kibana, Beats, and Logstash), Elastic Cloud, and Elastic Cloud Enterprise....

www.elastic.co

Tbon · 3 Septiembre 2020

Por aca usamos Splunk, es gratis hasta los 500mb (splunk light), tendrias que evaluar cuanto volumen tienes para ver si te sirve y no tener que pagar licencia.

unreal4u · 3 Septiembre 2020

Harima dijo:
Ojito ahí que graylog esta sobre un elastic así que dependiendo la cantidad de logs se te puede ir a la B rapidito.
Por defecto creo que guarda como 20 días así que debes configurar la cantidad de días que quieres que guarde.
Los logs se mandan con el nombre de maquina así que debes tener bien configurado el nombre de maquina para hacer las búsquedas o te deja todo con 127.0.0.1.
Si te quieres poner pesado, también puedes hacer que el bash registre todos los comandos de los usuarios, así sabes quien se mando un condoro.

No he trabajado con Graylog, pero sí con ElasticSearch y dp de haber trabajado con él, tengo que decir que depende de cómo lo configures. Un solo nodo aguanta poco, pero la gracia de ES es que crece tanto vertical como horizontalmente, una vez que hagas eso, puedes crecer como se te de la gana.

Eso sí, requiere investigar un poco antes de tirarle todo lo que se te ocurra: es mejor invertir un poco de tiempo en el setup inicial (en la horizontal), ya que esa capa será la más jodida de traspasar una vez que no rinda más. La vertical en cambio siempre puedes ir creciendo y asignando on-demand si quieres, pero la base no es tan fácil de armar.

Saludos.

Harima · 4 Septiembre 2020

unreal4u dijo:
No he trabajado con Graylog, pero sí con ElasticSearch y dp de haber trabajado con él, tengo que decir que depende de cómo lo configures. Un solo nodo aguanta poco, pero la gracia de ES es que crece tanto vertical como horizontalmente, una vez que hagas eso, puedes crecer como se te de la gana.

Eso sí, requiere investigar un poco antes de tirarle todo lo que se te ocurra: es mejor invertir un poco de tiempo en el setup inicial (en la horizontal), ya que esa capa será la más jodida de traspasar una vez que no rinda más. La vertical en cambio siempre puedes ir creciendo y asignando on-demand si quieres, pero la base no es tan fácil de armar.

Saludos.

Por eso puse que ojito ahí, porque Graylog no trabaja sólito, lo hace sobre MongoDb y ElasticSearch, el segundo se lleva la carga, entonces si no sabes administrar un elastic y necesitas analizar mucha info te vas a la B.
Pero por ejemplo si quieres mantener harto log y harto tiempo, te creas un cluster de unas 6 maquinas (2 proxy, 2 data, 2 almacén) en sites distintos con un load balancer o un HA y quedai listo con la alta disponibilidad y aguantando como un campeón.
El punto es que no solo debes preocuparte del graylog que funcione sino que tambien del mongo y principalmente el elasticsearch.

Analizador de logs de servicios en Linux

Zuljin

Fundador

Centralized Log Management | Advanced Features & Tools

Harima

Pegao al tarro

Zuljin

Fundador

chertsey

Pro

Solución de observabilidad de pila completa, desarrollada a partir de Elastic Search AI Platform

Zuljin

Fundador

Solución de observabilidad de pila completa, desarrollada a partir de Elastic Search AI Platform

chertsey

Pro

Open Distro for Elasticsearch

Amenadiel

Ille qui nos omnes servabit

chertsey

Pro

Download Elasticsearch

Subscriptions | Elastic Stack Products & Support | Elastic

Tbon

Simulation?

unreal4u

I solve problems.

Harima

Pegao al tarro