La mejor respuesta
De hecho, hicimos un análisis exhaustivo en Dun and Bradstreet Credibility Corp (que no debe confundirse con D&B Proper), en el análisis de archivos de registro. He usado Splunk desde la versión 1.0 en una capacidad pequeña (no podía manejar mucho en ese entonces) y 5 años después de una manera distribuida de múltiples nodos con una licencia de 100G / día.
He descubierto que con Splunk, tiene una amplia variedad de opciones de configuración, casi demasiadas si así lo desea. Si desea agregar un nuevo campo para que se pueda buscar, debe editar algunos archivos de configuración, volver a cargar su servidor de Splunk y luego definir sus consultas . Es robusto, pero la desventaja es el costo y la complejidad.
Logstash, la única otra alternativa viable que he encontrado para Splunk además de algo de cosecha propia como Flume / Scribe (mucho esfuerzo de ingeniería para hacer esto) es excelente en la mayoría de las formas. Usado junto con Kibana (http://rashidkpc.github.com/Kibana/), destila todas las mejores características de Splunk (como búsqueda por facetas, agregaciones, diez errores principales, deltas , etc.) en un sistema fácil de usar. Felicitaciones al Sr. Sissel por esta invención, es un ejemplo de software excelente.
Sin embargo, eso Incluso con un sistema como Kibana / Logstash, hay un esfuerzo de ingeniería involucrado, lo que plantea la pregunta: ¿desea diseñar lo que está utilizando para encontrar problemas y tendencias en su infraestructura?
La respuesta es: depende. Si eres una gran empresa (como Etsy) y tienes los recursos, o un ingeniero dedicado para administrar este proceso, entonces quizás tenga sentido. Si usted es una tienda pequeña con un presupuesto reducido, probablemente no vaya a comprar algo y se ocupará del esfuerzo y el tiempo necesarios para mantener dicho sistema.
Si se encuentra en algún punto intermedio, Es donde las cosas se ponen complicadas. Esto depende de:
1) Qué tan rápido necesita esta solución 2) El costo real de esta solución («gratis» como en un cachorro gratis) 3) Cultura de compra frente a compilación 4) Fiabilidad y soporte disponible
Hubo muchos otros factores en nuestro sistema de calificación, pero estos son los principales puntos de decisión.
En nuestro caso, decidimos que, aunque realmente nos gusta Logstash, necesita madurar un poco. antes de que se considere una solución que estamos dispuestos a implementar en máquinas de producción, por ejemplo.
Estas razones principales son: – Soporte disponible (comercial / no) – Requiere esfuerzo de ingeniería dedicado / diseño de ingeniería – Soporte de distribución ( debería estar empaquetado en paquetes deb / rpm) – Huella de JVM (parece ser un proceso de 400M para nosotros, tal vez esto fue un problema de configuración. – No hay tableros
Al final nos decidimos por SumoLogic, porque era : – rápido de implementar (instalar java binary, iniciar, instalar clave, listo) – multiplataforma – paneles de control avanzados – alertas – informes – sintaxis de búsqueda más potente
Respuesta
Hay muchos productos buenos, pero Splunk fue uno de los primeros en utilizar un motor de búsqueda para indexar datos y proporcionar análisis sobre registros de una manera tan flexible.
Splunk fue creado en 2003. Está integrado con muchas fuentes ya que la comunidad es fuerte y tiene una función de búsqueda de transacciones muy poderosa. Sin embargo, Splunk tiene competidores más jóvenes que están aprovechando las últimas mejoras ergonómicas y tecnológicas.
¿Es Splunk el mejor? Como dijeron otros, realmente depende de tus necesidades. Así que tenga en cuenta esos puntos y decida usted mismo. Aquí hay un volcado de ideas de lo que podría marcar la diferencia:
- On-premise vs SaaS: incluso si definitivamente es el líder para las soluciones locales, muchos competidores de SaaS ofrecen otro buen enfoque para resolver el desafío de los datos de la máquina. On-Premise suele ser más caro, requiere más tiempo de mantenimiento y las actualizaciones de la versión son dolorosas, pero también garantiza que sus datos no fluyan fuera de sus infraestructuras. Aunque Splunk-Cloud es un intento de llevar a Splunk a la nube, según tengo entendido, sus primeras versiones no tuvieron éxito e interrumpieron el servicio para relanzarlo más tarde.
- Fuentes de datos: cuáles son los datos que desea ingerir. ¿Qué fuentes quieres gestionar? Algunos proyectos están relacionados con registros, métricas y «máquina de datos» y otros son más sobre copias de seguridad de bases de datos, archivos de Excel. Splunk es una solución de uso general, las soluciones basadas en SaaS suelen ser más específicas (y a menudo mejores que las generalistas).
- Solución de problemas frente a BI aplicativo: Los usuarios de Splunk suelen pasar mucho tiempo en la vista principal, buscando en los registros y usando la barra de búsqueda basada en tuberías. Splunk también permite a los usuarios crear cuadros de mando a partir de análisis, pero son bastante estáticos y solo muestran KPI. Y realmente creo que ese es un gran defecto de Splunk. De hecho, si ahora desea proporcionar una herramienta que sea utilizable por personas no técnicas en la empresa, como soporte al cliente, ventas, etc.Probablemente desee tener paneles en los que se pueda hacer clic en los que cualquiera pueda cortar y cortar fácilmente y obtener respuestas rápidamente. Kibana lo está haciendo muy bien como una solución de código abierto y a partir de SaaS Logmatic.io también tienen esta gran función que realmente marca la diferencia.
- ¿Quiénes son sus usuarios finales ?: ¿Es una herramienta solo para su Equipo de TI, ¿o planea ponerlo en manos de gente de negocios, como equipos de soporte, marketing o administración? En muchos proyectos, la clave del éxito es la facilidad de uso de la solución. Desde mi experiencia, Splunk es demasiado técnico y generalmente los Devops lo usan todos los días, pero tiene la reputación de tener poca usabilidad entre otras personas que gravitan alrededor de las aplicaciones de destino, incluso los desarrolladores … Soluciones más recientes como las que mencioné en el último punto tienen mejores tasas de adopción.
- Hecho en casa frente a producto: como la opción en las instalaciones frente a SaaS, creo que se trata más de su afinidad , ¿desea su propia herramienta y se toma el tiempo para construirla, o un producto con respaldo externo? Si decide optar por ElasticSearch y Kibana: si falla cuando más lo necesita, su equipo tendrá mucha presión y nadie más lo manejará. Con Splunk o Logmatic.io, el soporte y la consultoría sobre estrategias de registro y otros temas relacionados suelen ser realmente eficientes. Entonces, por lo general, toma mejores decisiones y duerme tranquilo.
Como la pregunta era muy abierta, mi respuesta fue un poco larga, pero espero haber brindado alguna orientación y ¡ayude con su decisión!: )