INPUT FILE

Operator INPUT FILE umożliwia pobranie danych z różnych typów plików. Na wejściu operatora jest wybrany plik danych, na wyjściu znajduje się magistrala ze strumieniem danych. W zależności od typu pliku magistrala wyjściowa może być zbudowana z różnych bitów.

Przykład projektu GRAVITY z użyciem operatora INPUT FILE.

Operator może obsługiwać różne typy plików.

Dostępne typy plików to:

XLSX
CSV
XML
JSON
Binary
Text

W zależności od wyboru typu pliku, operator przekazuje zawartość pliku oraz jego meta dane na magistralę (typy Binary file oraz Text file) lub konwertuje dane zawarte w pliku i tworzy magistralę na podstawie skonwertowanych danych (pozostałe typy plików).

USTAWIENIE PARAMETRÓW PLIKU WEJŚCIOWEGO

W zakładce Template File ustawisz niezbędne parametry pozwalające na wskazanie pliku lub wzoru danych pliku jaki ma zostać skonwertowany na bity magistrali jak również pliku, którego zawartość ma zostać przeniesiona na magistralę.

Wzór pliku możesz podać na dwa sposoby ustawiając przełącznik Template source.

jako ścieżkę do pliku

Ustaw opcję Template source na Template file
Używając przycisku Choose wskaż plik na dysku

Użyj tej opcji jeśli zamierzasz używać zawsze tego samego pliku do pobrania danych. W tym przypadku pamiętaj o ustawieniu wartości w polu File recognization na Only template file na zakładce Input file properties

jako wzór w formie tekstu

ustaw opcję Template source na Inserted text
wklej przykład plik w polu Text template lub wczytaj z pliku klikając na przycisk Load from file
użyj przycisku Generate tree w celu wygenerowania struktury danych pliku

Opcja dostępna tylko dla typów plików podlegających konwersji na dane magistrali (XLSX, CSV, XML, JSON)

USTAWIENIE FORMATU DANYCH

Po wprowadzeniu danych pliku możesz ustawić format danych pliku w zakładce File format. Zakładka zawiera inne informacje zależnie od typu pliku jaki jest wybrany:

dla typu XLSX

Zakładka File format pozwala na zdefiniowanie struktury pliku XLSX. Możesz określić z którego arkusza pobierzesz dane, czy dane zawierają nagłówki kolumn i w którym są wierszu oraz ile wierszy chcesz pominąć.

Aby zobaczyć wynik kliknij przycisk Test.

Wskazany plik podlega interpretacji zgodnie z ustawionym formatem i zwrócona zostanie lista przedstawiająca odczytane dane. Nazwy kolumn będą bitami magistrali danych wychodzącej z tego operatora.

dla typu CSV

Zakładka File format pozwala na zdefiniowanie struktury pliku CSV. Możesz określić separator danych, czy pierwszy wiersz zawiera nagłówki kolumn oraz kodowanie pliku.

Aby zobaczyć wynik kliknij przycisk Test.

dla typu XML

Zakładka File format zawiera strukturę danych pliku xml. Klikając w wybrany węzeł zaznaczasz go, aby użyć jako bit magistrali.

Ponieważ struktura pliku może być drzewiasta, a magistrala danych jest strumieniem danych bez zagłębień, wartości elementów z poziomów wyższych zostaną na magistrali powielone tylekroć ile jest elementów w najniższych zagłębieniach.

Aby zobaczyć wynik kliknij przycisk Test.

Powyższe kolumny staną się bitami danych magistrali. Jak widać w pliku znajdowało się jedno zamówienie z dwoma pozycjami. Z tego powodu dane nagłówka zamówienia zostały powielone dwukrotnie.

dla typu JSON

identycznie jak dla typu XML

dla typu Binary

Zakładka File format wymaga podania informacji czy zamierzasz pobrać tylko wskazany plik w polu Path to a template file czy chcesz pobrać wszystkie plik z katalogu.

Aby zobaczyć wynik kliknij przycisk Test.

Magistrala danych będzie zawierała tyle wierszy ile plików zostanie wczytanych oraz zostanie zbudowana z bitów danych przechowujących metadane plików wraz z polem data, które zawierać będzie dane binarne plików (kodowane w base64).

dla typu Text

podobnie jak dla typu binary z tą różnicą, że dane plików są transportowane w formacie tekstowym i pole zawierające dane tekstowe nazywa się textData.

GENEROWANIE MAGISTRALI DANYCH

Niezależnie od typu pliku jaki wybierzesz musisz wygenerować magistralę danych. Zakładka Columns służy zarówno do generowania magistrali jak i modyfikacji bitów już wygenerowanych.

Po wygenerowaniu bitów magistrali, klikając w dany bit możesz zmodyfikować jego nazwę, opis jak i również typ danych. Od tego jakie dane ustawisz w tym miejscu będzie zależeć struktura magistrali wyjściowej tego komponentu.

Jeśli wykonasz modyfikację bitów magistrali, gdy operator jest już połączony z innym operatorem magistralą może być konieczne użycie opcji Autogenerate columns na magistrali

SPOSÓB PRACY Z PLIKAMI WEJŚCIOWYMI

Wybór pliku w trakcie wywołania procesy zależy do konfiguracji właściwości pliku. Konfiguracja dostępna jest na zakładce Input file properties. Każdy operator typu FILE INPUT generuje również w systemie parametr o unikalnej nazwie do którego może zostać przekazana pełna ścieżka do pliku wraz z jego nazwą.

Czy parametr zostanie użyty przez operator oraz w jaki sposób, jest to uzależnione od opcji FILE RECOGNIZATION, która pozwala na następujące warianty postępowania:

ONLY TEMPALTE FILE→ GRAVITY pobiera wówczas zawsze plik jednoznacznie wskazany w parametrze PATH TO TEMPLATE FILE na zakładce TEMPLATE FILE.
USER CAN CHOOSE FILE → Plik pobierany jest z wartości parametru operatora. Może on być uzupełniony przy uruchomieniu manualnym lub w trakcie wyzwolenia automatycznego. W wypadku wywołania automatycznego typu FILE ścieżka do nowego pliku, który spowodował wywołanie procesu zostanie przekazana do parametru operatora.
OLDEST IN CHOOSEN PATH → GRAVITY automatycznie wybiera najstarszy plik z lokalizacji (PATH TO TEMPLATE FILE).

Możesz również wykonać operacje na pliku, który został przetworzony przez operator. GRAVITY daje Tobie następujące możliwości:

NO ACTION → plik zostaje pobrany i pozostaje w swojej lokalizacji;
CHANGE FILE NAME → plik pozostaje w swojej lokalizacji, jednak jego nazwa jest zmieniana;

Nową nazwę pliku można zaprojektować używając zmiennych (zakres zmiennych dostępny w pomocy kontekstowej)

MOVE FILE → plik zostaje przeniesiony do innej lokalizacji;
REMOVE FILE → plik zostaje usunięty po pobraniu;