Meilleure réponse
Nous avons en fait fait une analyse complète chez Dun and Bradstreet Credibility Corp (à ne pas confondre avec D&B Proper), sur lanalyse des fichiers journaux. Jai utilisé Splunk depuis la version 1.0 dans une petite capacité (il ne pouvait pas gérer grand-chose alors) et 5 ans plus tard dans un mode distribué multi-nœuds avec une licence 100G / jour.
Jai trouvé quavec Splunk, vous avez une grande variété doptions de configuration, presque trop si vous voulez. Si vous voulez ajouter un nouveau champ à rechercher, vous devez éditer quelques fichiers de configuration, recharger votre serveur Splunk, puis définir vos requêtes . Il est robuste, mais l’inconvénient est le coût et la complexité.
Logstash, la seule autre alternative viable que j’ai trouvée pour Splunk en dehors de quelque chose de local tel que Flume / Scribe (beaucoup d’efforts d’ingénierie pour être réaliste) est excellent à bien des égards. Utilisé en conjonction avec Kibana (http://rashidkpc.github.com/Kibana/), il distille toutes les meilleures fonctionnalités de Splunk (telles que la recherche à facettes, les aggations, les dix principales erreurs, les deltas , etc) dans un système facile à utiliser. Félicitations à M. Sissel pour cette invention, cest un exemple dun excellent logiciel.
Cependant, ce e ven avec un système comme Kibana / Logstash, il y a un effort dingénierie impliqué, ce qui soulève la question, voulez-vous concevoir ce que vous utilisez pour trouver les problèmes et les tendances dans votre infrastructure?
dépend. Si vous êtes une grande entreprise (comme Etsy) et que vous avez les ressources ou un ingénieur dédié pour gérer ce processus, alors peut-être que cela a du sens. Si vous êtes une petite boutique avec un petit budget, alors vous nallez probablement pas acheter quelque chose et vous devrez vous occuper des efforts et du temps nécessaires pour maintenir un tel système.
Si vous êtes entre les deux, cela «Cest là que les choses se compliquent. Cela dépend de:
1) La rapidité avec laquelle vous avez besoin de cette solution 2) Le coût réel de cette solution (« gratuit » comme chez un chiot gratuit) 3) Culture dachat vs build 4) Fiabilité et support disponible
Il y avait beaucoup dautres facteurs dans notre système de notation, mais ce sont les principaux points de décision.
Nous avons décidé dans notre cas que même si nous aimons vraiment Logstash, il doit mûrir un peu avant que cela ne soit considéré comme une solution que nous sommes prêts à déployer sur des machines de production par exemple.
Ces principales raisons sont: – Support disponible (commercial / non) – Nécessite un effort d’ingénierie / conception technique dédié – Assistance Distro ( il devrait être emballé dans des packages deb / rpm) – Empreinte JVM (cela semble être un processus de 400M pour nous, peut-être était-ce un problème de configuration. – Pas de tableaux de bord
En fin de compte, nous avons choisi SumoLogic, car cétait : – rapide à déployer (installer le binaire java, démarrer, installer la clé, terminé) – multi-plateforme – tableaux de bord avancés – alertes – reporting – syntaxe de recherche plus puissante
Réponse
Il existe de nombreux bons produits, mais Splunk a été lun des premiers à utiliser un moteur de recherche pour indexer les données et fournir des analyses sur les journaux de manière aussi flexible.
Splunk a été créé en 2003. Il est intégré à de nombreuses sources car la communauté est forte et dispose dune fonction de recherche de transaction très puissante. Néanmoins, Splunk a des concurrents plus jeunes qui tirent parti des dernières améliorations ergonomiques et technologiques.
Splunk est-il le meilleur? Comme dautres lont dit, cela dépend vraiment de vos besoins. Alors gardez à lesprit ces points et décidez par vous-même. Voici un aperçu de ce qui pourrait faire la différence:
- On-premise vs SaaS: même si cest définitivement le leader Pour les solutions sur site, de nombreux concurrents SaaS offrent une autre bonne approche pour résoudre le défi des données machine. On-Premise est généralement plus cher, nécessite plus de temps de maintenance et les mises à jour de version sont douloureuses – mais cela garantit également que vos données ne sortent pas de vos infrastructures. Bien que Splunk-Cloud soit une tentative damener Splunk dans le cloud pour autant que je sache, ses premières versions nont pas réussi et elles ont interrompu le service pour le relancer plus tard.
- Sources de données: quelles sont les données que vous souhaitez ingérer. Quelles sources souhaitez-vous gérer? Certains projets sont liés aux journaux, aux métriques et à la « machine de données » et dautres concernent davantage les sauvegardes de bases de données, les fichiers Excel. Splunk est une solution polyvalente, les solutions SaaS sont très souvent plus spécifiques (et souvent meilleures que les généralistes).
- Dépannage vs BI applicative: Les utilisateurs de Splunk passent généralement beaucoup de temps dans la vue principale, à rechercher dans les journaux et à utiliser la barre de recherche basée sur les canaux. Splunk permet également aux utilisateurs de créer des tableaux de bord à partir danalyses – mais ils sont assez statiques et affichent uniquement les KPI. Et je pense vraiment que cest un gros défaut de Splunk. En effet, si vous souhaitez maintenant fournir un outil utilisable par des personnes non techniques de lentreprise – comme le support client, les ventes, etc …Vous souhaitez probablement avoir des tableaux de bord cliquables où tout le monde peut facilement trancher et obtenir des réponses rapidement. Kibana le fait très bien en tant que solution open source et à partir de pour SaaS Logmatic.io ont également cette fonctionnalité intéressante qui fait vraiment une vraie différence.
- Qui sont vos utilisateurs finaux?: Est-ce un outil juste pour votre Léquipe informatique, ou envisagez-vous de la confier à des professionnels tels que des équipes de support, de marketing ou de direction? Dans de nombreux projets, la clé du succès est la facilité dutilisation de la solution. Daprès mon expérience, Splunk est trop technique et généralement les Devops lutilisent tous les jours mais il a la réputation davoir une faible convivialité parmi dautres personnes gravitant autour dapplications cibles, même des développeurs … Des solutions plus récentes telles que celles que jai mentionnées dans le dernier point ont de meilleurs taux dadoption.
- Fait maison vs produit: comme le choix On-premise vs SaaS, je pense que cest plus votre affinité , voulez-vous votre propre outil et prenez le temps de le créer, ou un produit externe soutenu. Si vous décidez dopter pour ElasticSearch et Kibana: en cas déchec lorsque vous en avez le plus besoin, votre équipe subira beaucoup de pression et personne dautre ne le fera. Avec Splunk ou Logmatic.io, le support et le conseil sur les stratégies de journalisation et autres sujets connexes sont généralement très efficaces. Vous prenez alors généralement de meilleures décisions et dormez bien.
Comme la question était très ouverte, ma réponse a été un peu longue mais jespère que jai fourni quelques conseils et que cela vous aidera dans votre décision!: )