Najlepsza odpowiedź
Właściwie przeprowadziliśmy kompleksową analizę w Dun and Bradstreet Credibility Corp (nie mylić z D&B Proper) w analizie pliku dziennika. Używałem Splunka od wersji 1.0 na małej wydajności (wtedy nie mógł obsłużyć zbyt wiele) i 5 lat później w sposób rozproszony z wieloma węzłami z licencją 100G / dzień.
Znalazłem to dzięki Splunk masz szeroką gamę opcji konfiguracyjnych, prawie zbyt wiele, jeśli chcesz. Jeśli chcesz dodać nowe pole do wyszukiwania, musisz edytować kilka plików konfiguracyjnych, przeładować serwer Splunk, a następnie zdefiniować zapytania . Jest solidny, ale jego wadą są koszty i złożoność.
Logstash, jedyna inna realna alternatywa, jaką znalazłem dla Splunka, oprócz czegoś własnego, takiego jak Flume / Scribe (dużo wysiłku inżynieryjnego, aby realistycznie do this) jest znakomita pod wieloma względami. W połączeniu z Kibana (http://rashidkpc.github.com/Kibana/) destyluje wszystkie najlepsze funkcje Splunk (takie jak wyszukiwanie fasetowe, agregacje, dziesięć błędów, delty itp.) w łatwy w użyciu system. Podziękowania dla pana Sissela za ten wynalazek, jest to przykład doskonałego oprogramowania.
Jednak e w przypadku systemu takiego jak Kibana / Logstash wymaga wysiłku inżynieryjnego, który rodzi pytanie, czy chcesz zaprojektować to, czego używasz, aby znaleźć problemy i trendy w swojej infrastrukturze?
Odpowiedź brzmi: zależy. Jeśli jesteś dużą firmą (taką jak Etsy) i masz zasoby lub dedykowanego inżyniera do zarządzania tym procesem, być może ma to sens. Jeśli jesteś małym sklepem z niewielkim budżetem, prawdopodobnie nie zamierzasz czegoś kupić i poradzisz sobie z wysiłkiem i czasem związanym z utrzymaniem takiego systemu.
Jeśli jesteś gdzieś pomiędzy, to gdzie sprawy stają się trudne. Zależy to od:
1) Jak szybko potrzebujesz tego rozwiązania 2) Rzeczywisty koszt tego rozwiązania („darmowy” jak w przypadku darmowego szczeniaka) 3) Kultura zakupu a wersja 4) Niezawodność i dostępne wsparcie
W naszym systemie ocen było wiele innych czynników, ale to są główne punkty decyzyjne.
W naszym przypadku zdecydowaliśmy, że chociaż bardzo lubimy Logstash, musi on trochę dojrzeć zanim zostanie uznane za rozwiązanie, które jesteśmy gotowi wdrożyć na przykład na maszynach produkcyjnych.
Te główne powody to: – Dostępne wsparcie (komercyjne / nie) – Wymaga dedykowanego wysiłku inżynieryjnego / projektu technicznego – Wsparcie Distro ( powinien być spakowany w pakietach deb / rpm) – ślad JVM (wydaje się, że jest to dla nas proces 400M, być może był to problem z konfiguracją. – Brak pulpitów nawigacyjnych
Ostatecznie zdecydowaliśmy się na SumoLogic, ponieważ tak było : – szybkie wdrożenie (instalacja pliku binarnego Java, uruchomienie, instalacja klucza, gotowe) – wiele platform – zaawansowane pulpity nawigacyjne – alarmowanie – raportowanie – bardziej zaawansowana składnia wyszukiwania
Odpowiedź
Istnieje wiele dobrych produktów, ale Splunk był jednym z pierwszych, którzy użyli wyszukiwarki do indeksowania danych i zapewniania analizy logów w tak elastyczny sposób.
Splunk powstał w 2003 roku. Jest zintegrowany z wieloma źródłami, ponieważ społeczność jest silna i ma bardzo potężną funkcję wyszukiwania transakcji. Niemniej jednak Splunk ma młodszych konkurentów, którzy wykorzystują najnowsze ulepszenia ergonomii i technologii.
Czy Splunk jest najlepszy? Jak mówili inni, to naprawdę zależy od twoich potrzeb. Pamiętaj więc o tych punktach i sam zdecyduj. Oto podsumowanie tego, co może mieć znaczenie:
- Lokalne a SaaS: nawet jeśli jest to zdecydowanie lider w przypadku rozwiązań lokalnych wielu konkurentów SaaS oferuje inne dobre podejście do rozwiązania problemu związanego z danymi maszynowymi. On-Premise jest zwykle droższy, wymaga więcej czasu na konserwację, a aktualizacje wersji są bolesne – ale gwarantuje również, że dane nie wypływają z infrastruktury. Chociaż Splunk-Cloud jest próbą przeniesienia Splunk do chmury, o ile zrozumiałem, jego pierwsze wersje nie powiodły się i przerwały usługę, aby ponownie uruchomić ją później.
- Źródła danych: jakie dane chcesz pozyskać. Jakimi źródłami chcesz zarządzać? Niektóre projekty są związane z logami, metrykami i „maszyną danych”, a inne dotyczą bardziej kopii zapasowych baz danych, plików Excela. Splunk to rozwiązanie ogólnego przeznaczenia, rozwiązania oparte na SaaS są bardzo często bardziej szczegółowe (i często lepsze niż ogólne).
- Rozwiązywanie problemów a aplikacyjna BI: Użytkownicy Splunka zwykle spędzają dużo czasu w widoku głównym, przeszukując dzienniki i używając paska wyszukiwania opartego na potokach. Splunk umożliwia również użytkownikom tworzenie pulpitów nawigacyjnych na podstawie analiz – ale są one dość statyczne i pokazują tylko wskaźniki KPI. I naprawdę uważam, że to duża wada Splunka. Rzeczywiście, jeśli teraz chcesz zapewnić narzędzie, z którego mogą korzystać osoby nietechniczne w firmie – takie jak obsługa klienta, sprzedaż itp …Prawdopodobnie chcesz mieć klikalne pulpity nawigacyjne, w których każdy może łatwo kroić i kroić w kostkę i szybko uzyskiwać odpowiedzi. Kibana radzi sobie bardzo dobrze jako rozwiązanie typu open source, a od SaaS Logmatic.io mają również tę wspaniałą funkcję, która naprawdę robi różnicę.
- Kim są Twoi użytkownicy końcowi ?: Czy jest to narzędzie przeznaczone tylko do Zespół IT, czy planujesz oddać go w ręce ludzi biznesu, takich jak zespoły wsparcia, marketingu lub zarządzania? W wielu projektach kluczem do sukcesu jest łatwość użycia rozwiązania. Z mojego doświadczenia wynika, że Splunk jest zbyt techniczny i zazwyczaj Devopsy używają go codziennie, ale ma reputację słabej użyteczności wśród innych osób grawitujących wokół docelowych aplikacji, nawet deweloperów … Nowsze rozwiązania, takie jak te, o których wspomniałem w ostatnim punkcie mają lepsze wskaźniki rozpowszechnienia.
- Domowe a produktowe: tak jak w przypadku wyboru lokalnego i SaaS, myślę, że bardziej chodzi o twoje podobieństwo , chcesz mieć własne narzędzie i potrzebować czasu, aby je zbudować, czy też zewnętrzny produkt wspierany. Jeśli zdecydujesz się na ElasticSearch i Kibana: jeśli to się nie powiedzie, gdy będziesz go najbardziej potrzebować, Twój zespół będzie wywierał dużą presję, aby nikt inny nie mógł sobie z tym poradzić. W przypadku Splunk lub Logmatic.io wsparcie i doradztwo w zakresie strategii logowania i innych powiązanych tematów są zazwyczaj bardzo wydajne. Wtedy zwykle podejmujesz lepsze decyzje i śpisz spokojnie.
Ponieważ pytanie było bardzo otwarte, moja odpowiedź była trochę długa, ale mam nadzieję, że dostarczyłem kilku wskazówek i pomoże ci to w podjęciu decyzji!: )