Spisu treści:

Czego używa sqoop do importowania i eksportowania danych?
Czego używa sqoop do importowania i eksportowania danych?

Wideo: Czego używa sqoop do importowania i eksportowania danych?

Wideo: Czego używa sqoop do importowania i eksportowania danych?
Wideo: Apache Sqoop Tutorial | Sqoop: Import & Export Data From MySQL To HDFS | Hadoop Training | Edureka 2024, Listopad
Anonim

Łyżka jest narzędzie przeznaczone do transferu dane między Hadoop a relacyjnymi bazami danych. Łyżka automatyzuje większość tego procesu, opierając się na Baza danych opisać schemat dla dane być importowany . Sqoop używa MapaReduced to importuj i eksportuj dane , który zapewnia pracę równoległą oraz odporność na awarie.

Tutaj, jak wyeksportować dane z Scoop?

Pierwsze kroki

  1. Krok 1: Utwórz nową bazę danych w instancji MySQL. UTWÓRZ BAZĘ DANYCH db1;
  2. Utwórz tabelę o nazwie acad.
  3. Krok 3: Wyeksportuj plik input.txt i input2.txt z HDFS do MySQL. sqoop export –connect jdbc:mysql://localhost/db1 –username scoop –password root –table acad –export-dir /sqoop_msql/ -m 1.

Jak działa eksport Scoop? Łyżka - Eksportuj eksport Sqoop polecenie przygotowuje instrukcje INSERT z zestawem danych wejściowych, a następnie trafia do bazy danych. To jest dla eksportowanie nowe rekordy, jeśli tabela ma unikalną wartość stałą z kluczem podstawowym, eksport zadanie nie powiedzie się, ponieważ instrukcja INSERT nie powiedzie się. Jeśli masz aktualizacje, możesz użyć opcji --update-key.

Podobnie ludzie pytają, jak zaimportować dane do sqoop?

Oto, co oznacza każda pojedyncza opcja polecenia Sqoop:

  1. connect – dostarcza ciąg jdbc.
  2. username – Nazwa użytkownika bazy danych.
  3. -P – poprosi o hasło w konsoli.
  4. table – Informuje komputer, którą tabelę chcesz zaimportować z MySQL.
  5. podzielone według - określa kolumnę podziału.
  6. target-dir – katalog docelowy HDFS.

Co to jest import Scoop?

Łyżka narzędzie ' import ' jest używany do import dane tabeli z tabeli do systemu plików Hadoop jako plik tekstowy lub plik binarny. Następujące polecenie służy do: import tabela emp z serwera bazy danych MySQL do HDFS.

Zalecana: