Bedste svar
Vi gjorde faktisk en omfattende analyse af Dun og Bradstreet Credibility Corp (ikke at forveksle med D&B Proper), om logfilanalyse. Jeg har brugt Splunk siden version 1.0 i en lille kapacitet (det kunne ikke håndtere meget dengang) og 5 år senere på en multi-node distribueret måde med en 100G / dag licens.
Jeg har fundet at med Splunk har du en lang række konfigurationsmuligheder, næsten for mange, hvis du vil. Hvis du vil tilføje et nyt felt for at kunne søges, skal du redigere et par konfigurationsfiler, genindlæse din Splunk-server og derefter definere dine forespørgsler . Det er robust, men ulempen er omkostninger og kompleksitet.
Logstash, det eneste andet levedygtige alternativ, som jeg har fundet til Splunk bortset fra noget hjemmelavet som Flume / Scribe (masser af teknisk indsats for at realisere det gør dette) er fremragende på de fleste måder. Anvendes sammen med Kibana (http://rashidkpc.github.com/Kibana/) destillerer det alle de bedste funktioner i Splunk (såsom facetteret søgning, aggegations, top ti fejl, deltas osv.) til et brugervenligt system. Kudos til Mr. Sissel for denne opfindelse, det er et eksempel på fremragende software.
Dog hvis der er et system som Kibana / Logstash, er der involveret ingeniørarbejde, som rejser spørgsmålet, vil du konstruere, hvad du bruger til at finde problemer og tendenser i din infrastruktur?
Svaret er, det afhænger. Hvis du er en stor virksomhed (som Etsy) og har ressourcerne eller en dedikeret ingeniør til at styre denne proces, er det måske fornuftigt. Hvis du er en lille butik med et lille budget, vil du sandsynligvis ikke købe noget og vil beskæftige dig med kræfter og tid til at vedligeholde et sådant system.
Hvis du er et sted imellem, så hvor ting bliver vanskeligt. Dette afhænger af:
1) Hvor hurtigt har du brug for denne løsning 2) De reelle omkostninger ved denne løsning (“gratis” som i en gratis hvalp) 3) Kultur for køb vs build 4) Pålidelighed og tilgængelig support
Der var mange andre faktorer i vores klassificeringssystem, men det er de vigtigste beslutningspunkter.
Vi besluttede i vores sag, at selvom vi virkelig kan lide Logstash, skal det modnes lidt før det betragtes som en løsning, er vi f.eks. villige til at anvende på produktionsmaskiner.
Disse hovedårsager er: – Tilgængelig support (kommerciel / ikke) – Kræver dedikeret teknisk indsats / ingeniørdesign – Distro support ( det skal pakkes i deb / rpm-pakker) – JVM-fodaftryk (det ser ud til at være en 400 M-proces for os, måske var dette et konfigurationsproblem. – Ingen dashboards
I sidste ende besluttede vi os for SumoLogic, fordi det var : – hurtig at implementere (installer java binær, fyr op, installer nøgle, færdig) – multi platform – avancerede dashboards – alarmering – rapportering – mere kraftfuld søgningssyntaks
Svar
Der er mange gode produkter, men Splunk var en af de første, der brugte en søgemaskine til at indeksere data og levere analyser over logfiler på en så fleksibel måde.
Splunk blev oprettet i 2003. Det er integreret med mange kilder, da samfundet er stærkt og har en meget kraftfuld transaktions-søgefunktion. Ikke desto mindre har Splunk yngre konkurrenter, der udnytter de nyeste ergonomiske og teknologiske forbedringer.
Er Splunk den bedste? Som andre sagde, afhænger det virkelig af dine behov. Så husk disse punkter, og beslut dig selv. Her er en hjernedump af, hvad der kunne gøre en forskel:
- On-premise vs SaaS: selvom det bestemt er lederen til On-premise-løsninger tilbyder mange SaaS-konkurrenter en anden god tilgang til at løse maskinens dataudfordring. On-Premise er normalt dyrere, kræver mere vedligeholdelsestid, og versionopdateringer er smertefulde – men det garanterer også, at dine data ikke strømmer ud af dine infrastrukturer. Selvom Splunk-Cloud er et forsøg på at bringe Splunk til skyen, så vidt jeg forstod, var dens første versioner ikke vellykkede, og de afbrød tjenesten for at genstarte den senere.
- Datakilder: hvad er de data, du vil indtage. Hvilke kilder vil du administrere? Nogle projekter er relateret til logfiler, metrics og “datamaskine”, og andre handler mere om databasesikkerhedskopier, excel-filer. Splunk er en generel løsning, SaaS-baserede løsninger er ofte mere specifikke (og ofte bedre end generalister).
- Fejlfinding vs applikativ BI: Splunk-brugere bruger normalt meget af deres tid i hovedvisningen, søger i logfiler og bruger den rørbaserede søgefelt. Splunk tillader også brugere at oprette dashboards fra analyser – men de er ret statiske og viser kun KPIer. Og jeg tror virkelig, det er en stor fejl ved Splunk.Indeed, hvis du nu vil levere et værktøj, der kan bruges af ikke-tekniske folk i virksomheden – såsom kundesupport, salg osv …Du vil sandsynligvis have klikbare dashboards, hvor nogen let kan skære & terninger og få svar hurtigt. Kibana gør dette meget godt som en open source-løsning og fra SaaS Logmatic.io har også denne fantastiske funktion, der virkelig gør en reel forskel.
- Hvem er dine slutbrugere ?: Er det et værktøj kun til din IT-team, eller planlægger du at lægge det i hænderne på forretningsfolk som support-, marketing- eller ledelsesteams? I mange projekter er succesnøglen den brugervenlige løsning. Fra min erfaring er Splunk for teknisk, og normalt bruger Devops det hver dag, men det har ry for at have dårlig brugervenlighed blandt andre mennesker, der graverer omkring målapplikationer, endda udviklere … Nyere løsninger som dem, jeg nævnte i det sidste punkt få bedre adoptionsrater.
- Hjemmelavet vs produkt: ligesom On-premise vs SaaS-valget, jeg tror det handler mere om din tilhørsforhold , vil du have dit eget værktøj og tage dig tid til at opbygge det eller et eksternt understøttet produkt. Hvis du beslutter dig for at gå til ElasticSearch og Kibana: skulle det mislykkes, når du har mest brug for det, får dit hold masser af pres med ingen andre til at håndtere det. Med Splunk eller Logmatic.io, er supporten og rådgivningen i forbindelse med loggningsstrategier og andre relaterede emner normalt virkelig effektive. Derefter tager du normalt bedre beslutninger og sover tæt.
Da spørgsmålet var meget åbent, var mit svar lidt langt, men jeg håber, at jeg gav nogle vejledninger, og det vil hjælpe med din beslutning!: )