Spisu treści:

Czy mogę uruchomić Spark lokalnie?
Czy mogę uruchomić Spark lokalnie?

Wideo: Czy mogę uruchomić Spark lokalnie?

Wideo: Czy mogę uruchomić Spark lokalnie?
Wideo: Apache Spark | Local Mode and work with Command Line REPL 2024, Listopad
Anonim

Iskra może być biegać za pomocą wbudowanego samodzielnego harmonogramu klastrów w lokalny tryb. Oznacza to, że wszystkie Iskra procesy są biegać w ramach tej samej wirtualnej maszyny wirtualnej, pojedyncza, wielowątkowa instancja Iskra.

W związku z tym, jak uruchomić Apache Spark lokalnie?

Poniższe kroki pokazują, jak zainstalować Apache Spark

  1. Krok 1: Weryfikacja instalacji Java.
  2. Krok 2: Weryfikacja instalacji Scala.
  3. Krok 3: Pobieranie Scali.
  4. Krok 4: Instalacja Scali.
  5. Krok 5: Pobieranie Apache Spark.
  6. Krok 6: Instalowanie Sparka.
  7. Krok 7: Weryfikacja instalacji Spark.

Co więcej, czy możemy uruchomić Spark bez Hadoop? Jak na Iskra dokumentacja, Spark może działać bez Hadoop . Ty maj Uruchom jako tryb samodzielny z pominięciem dowolnego menedżera zasobów. Ale jeśli ty chcieć biegać w konfiguracji wielowęzłowej, ty potrzebujesz menedżera zasobów, takiego jak YARN lub Mesos i rozproszonego systemu plików, takiego jak HDFS , S3 itd. Tak, iskra może działać bez hadoop.

Poza powyższym, jak uruchomić Spark w trybie autonomicznym?

Żeby zainstalować Tryb samodzielny Spark , po prostu umieszczasz skompilowaną wersję Iskra w każdym węźle w klastrze. Możesz uzyskać gotowe wersje Iskra z każdym wydaniem lub zbuduj go samodzielnie.

Czy Spark może działać w systemie Windows?

A Iskra podanie Móc być Okna -skrypt powłoki lub to Móc być niestandardowym programem w napisanej Javie, Scali, Pythonie lub R. Potrzebujesz Okna pliki wykonywalne zainstalowane w systemie, aby biegać te aplikacje.

Zalecana: