Melhor resposta
Na verdade, fizemos uma análise abrangente na Dun and Bradstreet Credibility Corp (não deve ser confundido com D&B Proper), na análise de arquivos de log Eu usei o Splunk desde a versão 1.0 em uma pequena capacidade (não dava para lidar com muita coisa naquela época) e 5 anos depois em uma forma distribuída de vários nós com uma licença de 100 G / dia.
Eu descobri que com o Splunk, você tem uma grande variedade de opções de configuração, quase muitas se quiser. Se quiser adicionar um novo campo para ser pesquisável, você precisa editar alguns arquivos de configuração, recarregar o servidor Splunk e definir suas consultas . É robusto, mas a desvantagem é o custo e a complexidade.
Logstash, a única alternativa viável que encontrei para o Splunk além de algo criado internamente, como Flume / Scribe (muito esforço de engenharia para ser realista fazer isso) é excelente na maioria das maneiras. Usado em conjunto com Kibana (http://rashidkpc.github.com/Kibana/), ele destila todos os melhores recursos do Splunk (como pesquisa facetada, agregações, dez principais erros, deltas , etc) em um sistema fácil de usar. Parabéns ao Sr. Sissel por esta invenção, é um exemplo de software excelente.
No entanto, que e Mesmo com um sistema como Kibana / Logstash, há um esforço de engenharia envolvido, o que levanta a questão, você quer projetar o que está usando para encontrar problemas e tendências em sua infraestrutura?
A resposta é: depende. Se você é uma grande empresa (como a Etsy) e tem os recursos ou um engenheiro dedicado para gerenciar esse processo, talvez faça sentido. Se você tem uma loja minúscula com um orçamento minúsculo, provavelmente não vai comprar nada e vai lidar com o esforço e o tempo para manter esse sistema.
Se você estiver em algum lugar no meio, isso “é onde as coisas ficam complicadas. Isso depende de:
1) Com que rapidez você precisa desta solução 2) O custo real desta solução (“grátis” como em um cachorro grátis) 3) Cultura de compra versus construção 4) Confiabilidade e suporte disponível
Havia muitos outros fatores em nosso sistema de notas, mas esses são os principais pontos de decisão.
Decidimos em nosso caso que embora gostemos muito do Logstash, ele precisa amadurecer um pouco antes de ser considerada uma solução que estamos dispostos a implantar em máquinas de produção, por exemplo.
Essas razões principais são: – Suporte disponível (comercial / não) – Requer esforço de engenharia / projeto de engenharia dedicado – Suporte de distro ( deve ser empacotado em pacotes deb / rpm) – pegada JVM (parece ser um processo de 400M para nós, talvez isso fosse um problema de configuração. – Sem painéis
No final, decidimos pelo SumoLogic, porque era : – rápido para implementar (instalar o binário java, disparar, instalar a chave, pronto) – multiplataforma – painéis avançados – alerta – relatórios – sintaxe de pesquisa mais poderosa
Resposta
Existem muitos produtos bons, mas o Splunk foi um dos primeiros a usar um mecanismo de pesquisa para indexar dados e fornecer análises sobre registros de maneira flexível.
O Splunk foi criado em 2003. Ele está integrado a muitas fontes, pois a comunidade é forte e possui um recurso de pesquisa de transações muito poderoso. No entanto, o Splunk tem concorrentes mais jovens que estão aproveitando as mais recentes melhorias ergonômicas e tecnológicas.
O Splunk é o melhor? Como outros disseram, realmente depende de suas necessidades. Portanto, tenha em mente esses pontos e decida por si mesmo. Aqui está um resumo do que pode fazer a diferença:
- No local x SaaS: mesmo que seja definitivamente o líder para soluções locais, muitos concorrentes de SaaS oferecem outra boa abordagem para resolver o desafio dos dados da máquina. No local geralmente é mais caro, requer mais tempo de manutenção e as atualizações de versão são penosas – mas também garante que os dados não fluam para fora das infraestruturas. Embora o Splunk-Cloud seja uma tentativa de trazer o Splunk para a nuvem, pelo que entendi, suas primeiras versões não foram bem-sucedidas e interromperam o serviço para reiniciá-lo mais tarde.
- Fontes de dados: quais são os dados que você deseja ingerir. Quais fontes você deseja gerenciar? Alguns projetos são relacionados a logs, métricas e “máquina de dados” e outros são mais sobre backups de banco de dados, arquivos excel. Splunk é uma solução de propósito geral, as soluções baseadas em SaaS são frequentemente mais específicas (e geralmente melhores do que generalistas).
- Solução de problemas vs BI aplicável: Os usuários do Splunk geralmente passam muito tempo na visualização principal, pesquisando em registros e usando a barra de pesquisa baseada em pipe. O Splunk também permite que os usuários criem painéis de análise – mas eles são bastante estáticos e mostram apenas KPIs. E eu realmente acho que é uma grande falha do Splunk. Na verdade, se você agora deseja fornecer uma ferramenta que possa ser usada por pessoas não técnicas na empresa – como suporte ao cliente, vendas, etc …Você provavelmente deseja ter painéis clicáveis onde qualquer pessoa possa facilmente fatiar e dividir e obter respostas rapidamente. Kibana está fazendo isso muito bem como uma solução de código aberto e para SaaS Logmatic.io também tem esse ótimo recurso que realmente faz a diferença.
- Quem são seus usuários finais ?: É uma ferramenta apenas para você Equipe de TI ou você está planejando colocá-la nas mãos de pessoas de negócios, como equipes de suporte, marketing ou gerenciamento? Em muitos projetos, a chave do sucesso é a facilidade de uso da solução. Pela minha experiência, o Splunk é muito técnico e normalmente os Devops o usam todos os dias, mas tem a reputação de ter uma usabilidade pobre entre outras pessoas gravitando em torno de aplicativos-alvo, até mesmo desenvolvedores … Soluções mais recentes como as que mencionei no último ponto têm melhores taxas de adoção.
- Feito em casa x produto: como a opção On-premise x SaaS, acho que é mais sobre sua afinidade , você quer sua própria ferramenta e dedique algum tempo para criá-la, ou um produto com suporte externo. Se você decidir ir para o ElasticSearch e o Kibana: se ele falhar quando você mais precisar, sua equipe receberá muita pressão sem ninguém para lidar com isso. Com o Splunk ou Logmatic.io, o suporte e a consultoria sobre estratégias de registro e outros tópicos relacionados são geralmente muito eficientes. Em seguida, você geralmente toma decisões melhores e dorme bem.
Como a pergunta era muito aberta, minha resposta foi um pouco longa, mas espero ter fornecido alguma orientação e isso “ajudará na sua decisão!: )