Spisu treści:

Jak uruchomić serwer historii Spark?
Jak uruchomić serwer historii Spark?

Wideo: Jak uruchomić serwer historii Spark?

Wideo: Jak uruchomić serwer historii Spark?
Wideo: Jak uruchomić Spark na klastrze? (Spark Submit on cluster) [poradnik] 2024, Może
Anonim

Aby włączyć serwer historii Spark:

  1. Utwórz katalog dla dzienników zdarzeń w systemie plików DSEFS: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Gdy rejestrowanie zdarzeń jest włączone, domyślnym zachowaniem jest zapisywanie wszystkich dzienników, co powoduje wzrost ilości pamięci w czasie.

Poza tym, jak skonfigurować serwer historii Spark?

Aby włączyć serwer historii Spark:

  1. Utwórz katalog dla dzienników zdarzeń w systemie plików DSEFS: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Gdy rejestrowanie zdarzeń jest włączone, domyślnym zachowaniem jest zapisywanie wszystkich dzienników, co powoduje wzrost ilości pamięci w czasie.

Podobnie, jak znaleźć adres URL mojego serwera historii Spark? Np. dla serwer historii , zazwyczaj byłyby dostępne pod adresem serwer - adres URL >:18080/api/v1, a dla uruchomionej aplikacji pod adresem https://localhost:4040/api/v1. W interfejsie API do aplikacji odwołuje się jej identyfikator aplikacji, [app-id].

Podobnie, czym jest serwer historii Spark?

ten Serwer historii Spark to narzędzie monitorujące wyświetlające informacje o zakończonych Iskra Aplikacje. Ta informacja jest pobrane z danych, które aplikacje domyślnie zapisują w katalogu w rozproszonym systemie plików Hadoop (HDFS).

Co to jest Sparkui?

Interfejs użytkownika Spark Web umożliwia wyświetlenie listy etapów i zadań harmonogramu, informacji o środowisku, informacji o uruchomionych executorach i nie tylko. Obejrzyj to 30-minutowe demo, aby dowiedzieć się: Składniki i cykl życia programu Spark. Jak aplikacja Spark działa w klastrze Hadoop.

Zalecana: