Co to jest transmisja iskrowa?

2024 Autor: Lynn Donovan | [email protected]. Ostatnio zmodyfikowany: 2023-12-15 23:51

Audycja zmienne w Apache Iskra to mechanizm udostępniania zmiennych między executorami, które mają być tylko do odczytu. Z pominięciem audycja zmienne te zmienne byłyby wysyłane do każdego executora dla każdej transformacji i akcji, a to może spowodować obciążenie sieci.

Podobnie ludzie pytają, kiedy powinienem nadawać iskrę?

Audycja zmienne są najczęściej używane, gdy zadania na wielu etapach wymagają tych samych danych lub gdy wymagane jest buforowanie danych w postaci zdeserializowanej. Audycja zmienne są tworzone przy użyciu zmiennej v przez wywołanie SparkContext.

Co to są akumulatory i zmienne rozgłoszeniowe w Spark? Iskra obsługuje dwa rodzaje współdzielenia zmienne : zmienne rozgłaszania , który może być używany do buforowania wartości w pamięci na wszystkich węzłach, oraz akumulatory , które są zmienne które są tylko „dodawane”, takie jak liczniki i sumy.

Biorąc to pod uwagę, czym jest akumulator iskrowy?

Akumulatory są zmiennymi, które są „dodawane” tylko poprzez operację asocjacyjną i dlatego mogą być efektywnie wspierane równolegle. Mogą być używane do implementacji liczników (jak w MapReduce) lub sum. Iskra natywnie wspiera akumulatory typów numerycznych, a programiści mogą dodać obsługę nowych typów.

Jak zaktualizować zmienną rozgłoszeniową w Spark?

1. Przenieś wyszukiwanie danych referencyjnych do forEachPartition lub forEachRdd, aby znajdowało się w całości w procesach roboczych.
2. Uruchom ponownie kontekst Spark za każdym razem, gdy zmienią się refdata, z nową zmienną emisji.