OUTPUT SQL

Operator OUTPUT SQL jest odpowiedzialny za wprowadzenie strumienia danych magistrali wejściowej do wybranej bazy SQL.

Przykład projektu GRAVITY z użyciem operatora OUTPUT SQL.

KONFIGURACJA POŁĄCZENIA Z BAZĄ

WYBÓR I TWORZENIE POŁĄCZENIA DO BAZY DANYCH

Przejdź na pierwszą zakładkę Physical link we właściwościach operatora.

Jeśli masz już utworzone połączenie wybierz je z listy wyboru Connection pola połączenia zostaną wypełnione zgodnie z wybranym połączeniem.

Możesz zmienić parametry połączenia klikając przycisk Edit.

Pamiętaj, że jeśli połączenie jest już wykorzystane na innym operatorze to on również będzie działał na zmodyfikowanym połączeniu.

Jeśli nie masz jeszcze zdefiniowanego odpowiedniego połączenia do bazy danych zawsze możesz je dodać wykorzystując przycisk Add.

Po uzupełnieniu danych nowego połączenia możesz je przetestować przyciskiem Test connection i zapisać w systemie przyciskiem Save.

Po zapisaniu połączenie będzie dostępne w systemie pod nazwą jaka została podana w polu Name.

Więcej informacji o tworzeniu połączeń do bazy danych znajdziesz Nowe połączenie do bazy danych SQL

DEKLARACJA AKCJI W PRZYPADKU WYKRYCIA DUPLIKATU

Zdecyduj co system ma zrobić w przypadku wykrycia duplikatu danych w bazie docelowej.

Masz do wyboru dwa możliwe zachowania w przypadku wykrycia duplikatów podczas dodawania danych rekordów w bazie docelowej:

SKIP → operator pomija rekordy, które zostały już przetworzone jeśli wartość klucza głównego zdefiniowanego na tabeli (w diagramie zapisu danych) odpowiada wartości bitu na magistrali danych, który użyty jest jako wartość pola PK w definicji tabeli. Opcja ma zastosowanie tylko dla definicji PK gdzie używana jest standaryzacja;
PASS → operator przetwarza wszystkie reokordy magistrali wejściowej. Jeżeli wybierzesz opcję PASS wówczas zachowanie procesu dla przypadków duplikatów zależy od akcji wskazanych w opcji SQL ACTIONS w diagramie zapisu danych do bazy;

Wykrycie duplikatów działa tylko i wyłącznie dla tabel, których klucz główny w definicji operatora jest zdefiniowany jako standardization, standardization or get max oraz standardization or identifying. W przeciwnym wypadku zostanie zignorowane i wszystkie rekordy magistrali danych zostaną przekazane do przetwarzania.

DELETE OLD RECORD → zastany rekord zostanie skasowany, a nowy rekord dodany;
UPDATE OLD RECORD → zastany rekord zostanie nadpisany nowym rekordem;

DEKLARACJA SCHEMATU DODAWANIA STRUMIENIA DANYCH

Kod dodania strumienia danych powstaje automatycznie, na podstawie skonfigurowanego przez Ciebie diagramu (patrz opcja SHOW DIAGRAM TO DEFINE OUTPUT).

Wygenerowany automatycznie kod ma formę XML i może być przez Ciebie modyfikowany również ręcznie.

Jeżeli chcesz wrócić do kodu szablonowego powstałego na podstawie diagramu wystarczy uruchomić opcję REFRESH INSERT CODE.

STANDARYZACJA KLUCZY GŁÓWNYCH

CO TO JEST STANDARYZACJA? Standaryzacja to proces zamiany wartości pola (kolumny) na wartość standardową, na podstawie słownika kojarzącego wartość dotychczasową z wartością standardową. W kontekście operatora OUTPUT SQL słownik standaryzujący powstaje automatycznie -ad hoc podczas procesu przebiegającego przez operator OUTPUT SQL w przypadku, gdy napotkamy sytuację zamiany wartości pól (kolumn) PRIMARY KEY. Słownik standaryzujący jest tworzony przez GRAVITY automatycznie i zapamiętany w bazie docelowej.

DLACZEGO STANDARYZUJEMY? Strumień danych składowany w tabeli docelowej może mieć swoje źródło w wielu niezależnych bazach zasilających. W kontekście tego faktu, aby zeskładować wszystkie dane w jednej bazie, będziesz musiał podjąć decyzję o zmianie wartości pól unikalnych (jednoznacznie identyfikujących - PK), ponieważ w różnych źródłach te wartości mogą być takie same.

JAK PRZEBIEGA STANDARYZACJA? Technicznie, jest to automatyczna akcja tworzenia słownika przekodowań. Słownik przekodowań (słownik standaryzujący) jest związany z tabelą ‘celu’ i przechowywany w bazie danych docelowej w specjalnie utworzonych do tego celu tabelach o nazwie “ve_[nazwa tabeli_celu]”. Dodatkowo tabela “celu” zostaje poszerzone o dwa niezbędne pola “__gravity_id__” oraz “__gravity_process_id__”, które pozwalają zlokalizować rekord w zestandaryzowany. Przekodowanie łączy z jednej strony identyfikator źródła (bit źródła) oraz wartości pól starego PK (identyfikatory unikalne ze źródła) z identyfikatorami unikalnymi nowo utworzonymi w tabeli ‘celu’

Jeżeli chcesz zobaczyć jak wyglądają rekordy w słownikach standaryzujących, wybierz opcję SHOW CACHE TABLES na właściwościach operatora.

Zobaczysz okno zawierające wszystkie tabele obsługiwane przez operator OUTPUT DATA. Po wybraniu tabeli na dolnej liście znajdują sie zestandaryzowane rekordy.

Możesz usunąć wpisy standaryzujące używając przycisków z poniższej listy z obsługiwanymi tabelami w bazie docelowej.

Prawdopodobnie będziesz używał opcji usuwania wpisów standaryzujących w trakcie konfiguracji i sprawdzania działania procesu (podobnie jak dodane dane do tabeli docelowej). Pamiętaj jednak, że po usunięciu danych z tabel standaryzujących rekordy, które zostały już zapisane do bazy docelowej będą dodane do niej ponownie, gdy uruchomisz proces.

WSKAZANIE TABELI DOCELOWEJ ORAZ ZASADY WPROWADZANIA STRUMIENIA DANYCH

KROK 1

Po prawej stronie okna widzisz wszystkie tabele umiejscowione w bazie docelowej wskazanej w PHYSICAL LINK.

Wybór tabeli docelowej odbywa się poprzez uchwycenie właściwej tabeli i upuszczenie na obszarze roboczym.

Jeśli nie masz jeszcze tabeli w bazie danych możesz ją stworzyć klikając przycisk Create table.

Na obszarze roboczym możesz położyć kilka tabel jako tabele docelowe, jednak musisz je powiązać wskazując relację rodzic – dziecko. W przypadku, gdy położysz kilka tabel niezależnie (nie wskazując relacji), proces w trakcie przetwarzania zostanie zatrzymany.

Po wskazaniu tabeli docelowej, możesz przystąpić do deklarowania zasad umieszczenia strumienia danych w tabeli.

KROK 2

Wskaż teraz pola PRIMARY KEY (klucz PRIMARY KEY to szereg kolumn jednoznacznie identyfikujących rekord) poprzez zaznaczenie wybranych kolumn.

KROK 3

Powinieneś teraz określić jak proces ma się zachować względem pól PRIMARY KEY podczas dodawania rekordu (opcja dostępna w belce nagłówka tabeli).

Wybór opcji jest uzależniony od definicji klucza głównego tabeli w bazie danych.

Masz do wyboru następujące akcje dla pól PRIMARY KEY:

NOTHING

Stosuj kiedy chcesz zapisać każdy rekord magistrali do tabeli docelowej w bazie danych. Tabela nie może sama dbać o wartość pola PK.

Nie jest wykonana żadna akcja standaryzująca oraz nie następuje zmiana wartości bitu przypisanego do klucza PK. Każdy rekord trafia do bazy danych dokładnie w takiej formie w jakiej był na magistrali.

GET MAX

Stosuj gdy chcesz dodawać nowe rekordy do tabeli lub modyfikować istniejące (wartość PK na magistrali masz z tabeli docelowej np. budując funkcje API dla systemu), a tabela nie ma ustawionej autoinkrementacji na polu PK.

Operator działa w dwojaki sposób w zależności od wartości bitu odpowiadającemu polu PK

Jeśli bit ma wartość 0 lub mniejszą od 0 to dodaje nowy rekord do bazy. Proces oblicza nową wartość dla ostatniego pola PRIMARY KEY poprzez inkrementację ostatniego zapisu w tabeli docelowej. Bit magistali, który odpowiada za wartość PK zostanie uzupełniony wartością PK zapisanego do bazy danych. Słownik standaryzujący nie jest budowany.
jeśli bit ma wartość większą niż 0 to operator nie wykonuje żadnej operacji lub wykonuje update jeśli wybrana jest akcja w (obszar SQL Actions) UPDATE OLD RECORD lub usuwa rekord jeśli wybrana jest opcja DELETE OLD RECORD

IDENTITY

Stosuj gdy chcesz dodawać nowe rekordy do tabeli lub modyfikować istniejące (wartość PK na magistrali masz z tabeli docelowej np. budując funkcje API dla systemu), a tabela ma ustawioną autoinkrementację pola PK

Operator działa w dwojaki sposób w zależności od wartości bitu odpowiadającemu polu PK

Jeśli bit ma wartość 0 lub mniejszą od 0 to dodaje nowy rekord do bazy. Baza danych wylicza nową wartość dla pola PK. Bit magistrali, który odpowiada za wartość PK zostanie uzupełniony wartością PK zapisanego do bazy danych. Słownik standaryzujący nie jest budowany.
jeśli bit ma wartość większą niż 0 to operator nie wykonuje żadnej operacji lub wykonuje update jeśli wybrana jest akcja w (obszar SQL Actions) UPDATE OLD RECORD lub usuwa rekord jeśli wybrana jest opcja DELETE OLD RECORD

STANDARDIZATION OR IDENTIFYING

Stosuj gdy przerzucasz dane miedzy bazami danych i zależy Ci, aby rekordy raz zapisane w bazie docelowej nie były zapisywane ponownie, wartość klucza głównego z bazy źródłowej nie odpowiada wartości w bazie docelowej oraz tabela w bazie docelowej na polu PK ma ustawioną autoinkrementację.

Jeżeli wybierzesz tę akcję będziesz musiał wskazać identyfikator źródła, wskazując odpowiedni bit magistrali wejściowej (jeżeli masz taki bit) lub wpisując nazwę własną, stosowaną zawsze dla tego źródła danych.

Para klucz główny i identyfikator źródła danych stanowią unikalny wpis standaryzujący.

System sprawdza czy dane wartości klucza głównego pochodzącego z magistrali danych oraz identyfikatora źródła istnieją już w tabeli standaryzującej.

Jeśli nie, zostanie dodany nowy rekord do bazy a wartość PK wygenerowanego przez bazę danych oraz wartość PK pochodzącego z magistrali danych zostanie zapisana jako para zestandaryzowana w tabeli standaryzującej. Wartość wygenerowanego PK zostanie wpisana do bitu przypisanego do pola PK.
Jeśli tak, kolejny krok systemu zależy ustawienia akcji (obszar SQL Actions).

→ brak akcji, system nie wykonuje żadnej operacji.

→ ustawiona akcja np: UPDATE OLD RECORD lub DELETE OLD RECORD. Zostaną pobrane z tabeli standaryzującej wartości klucza głównego dla tabeli docelowej odpowiadające wartością PK danych wejściowych z magistrali danych. W bazie danych zostanie zmodyfikowany lub usunięty rekord odpowiadający pobranemu kluczowi.

STANDARDIZATION OR GET MAX

Stosuj gdy kopiujesz dane miedzy bazami danych i zależy Ci, aby rekordy raz zapisane w bazie docelowej nie były zapisywane ponownie. Wartość klucza głównego z bazy źródłowej nie odpowiada wartości w bazie docelowej oraz tabela w bazie docelowej na polu PK nie ma ustawionej autoinkrementacji.

Para, klucz główny i identyfikator źródła danych stanowią unikalny wpis standaryzujący.

System sprawdza czy dane wartości klucza głównego pochodzącego z magistrali danych oraz identyfikatora źródła istnieją już w tabeli standaryzującej.

Jeśli nie, wartość bitu PK zostanie wygenerowana przez system na podstawie wpisów w tabeli docelowej jako MAX+1. Następnie zostanie zostanie nowy rekord do bazy danych. Wartość wygenerowanego PK oraz wartość PK pochodzącego z magistrali danych zostanie zapisana jako para zestandaryzowana w tabeli standaryzującej. Wartość wygenerowanego PK zostanie wpisana do bitu przypisanego do pola PK.
Jeśli tak, kolejny krok systemu zależy ustawienia akcji (obszar SQL Actions).

→ brak akcji, system nie wykonuje żadnej operacji.

STANDARDIZATION

Stosuj gdy przerzucasz dane miedzy bazami danych i zależy Ci, aby rekordy raz zapisane w bazie docelowej nie były zapisywane ponownie, wartość klucza głównego z bazy źródłowej odpowiada wartości w bazie docelowej oraz tabela w bazie docelowej na polu PK nie ma ustawionej autoinkrementacji.

System sprawdza czy dane wartości klucza głównego pochodzącego z magistrali danych oraz identyfikatora źródła istnieją już w tabeli standaryzującej.

Jeśli nie, zostanie zostanie nowy rekord do bazy danych z wartością bitu PK jak na magistrali danych oraz zostanie dodany wpis w tabeli standaryzującej.
Jeśli tak, kolejny krok systemu zależy ustawienia akcji (obszar SQL Actions).

→ brak akcji, system nie wykonuje żadnej operacji.

Jeśli zależy Ci na zapisaniu do tabeli docelowej klucza głównego z tabeli źródłowej transportowanego na magistrali danych. Rozszerz wcześniej, przy użyciu operatora WIDTH BUSBAR, magistrale danych o kolejny bit np: old_pk na podstawie pola PK, oraz do tabeli docelowej dodaj kolumnę old_pk. Powiąż ze sobą bit i kolumnę w definicji operatora.

KROK 4

Teraz powinieneś wskazać jak bit na magistrali wejściowej przekłada się na poszczególne pola (kolumny) tabeli docelowej. Możesz to uczynić w następujący sposób:

Wybierz kolumnę magistrali wejściowej (patrz na ilustracji poniżej – zaznaczony obszar po Twojej lewej stronie)
System automatycznie wskaże jakie pola są możliwe do przyrównania poprzez wyszarzenie (patrz ilustracja poniżej – obszar zaznaczony po Twojej prawej stronie); pola te są wybierane na podstawie zgodności typów danych;
Wybierz pole tabeli, poprzez klik we właściwą kolumnę tabeli docelowej
Wybierz następną kolumnę magistrali wejściowej i powtórz czynności

KROK 5

Jeżeli chcesz, aby strumień danych magistrali wejściowej obsługiwał również tabele podrzędne względem tabeli głównej możesz to uczynić w następnym kroku. Wybierz tabelę relacyjną i umieść ją na obszarze roboczym – akcja identyczna jak w przypadku tabeli głównej: należy tabelę relacyjną uchwycić na liście dostępnych tabel (lista w obszarze po lewej stronie) oraz upuścić na obszarze roboczym.

W następnym kroku wskaż w tabeli ‘rodzica’ kolumnę łączącą zwykle kolumnę PK, poprzez kliknięcie myszką. Teraz musisz połączyć to z tabelą podrzędną, poprzez wskazanie kolumny będącej w relacji z wybraną kolumną. Otrzymasz linię symbolizującą relację I wykonać kroki dla tabeli podrzędnej zaczynając do kroku 2.

W przypadku standaryzacji pól pozostających w relacji system automatycznie zadba o prawidłową wartość pola obcego w tabeli podrzędnej. Możesz powtarzać ten krok dowolną liczbę razy, a liczba zagłębień relacji podrzędnych może być dowolna.

AKCJE DODATKOWE Musisz się zastanowić jakie akcje chcesz przeprowadzić w trakcie dodawania strumienia danych do bazy. Akcje dodawane są w obszarze SQL Action na oknie kreatora zapisu danych do tabel.

Na ilustracji powyżej widzisz zaznaczoną opcję NEW, która pozwoli Tobie dodać akcje:

Typu PRE → akcje przed dodaniem strumienia danych do bazy;
Typu POST → akcje po dodaniu strumienia danych do bazy;
Typu IN → akcje w trakcie dodawania np. zachowanie systemu w przypadku rozpoznania identycznego rekordu (według PRIMARY KEY) w bazie docelowej.

Jeżeli potrzebujesz szczegółowej pomocy w zakresie działania poszczególnych akcji, uruchom opcję pomocy – otrzymasz okno z wyjaśnieniami

Poniżej objaśnimy szczegółowo działanie każdej akcji.

DELETE ALL RECORDS

Przed dodaniem strumienia danych (akcja typu PRE) tabela docelowa zostanie wyczyszczona z wszystkich rekordów.

DELETE ALL RECORDS FOR SOURCE

Przed dodaniem strumienia danych (akcja typu PRE) tabela docelowa zostanie wyczyszczona z wszystkich rekordów, jednak tylko w zakresie tych rekordów, które były standaryzowane na podstawie wskazanego źródła. Źródło jest identyfikowane na podstawie nazwy (constans) lub wskazanej wartości bitu (kolumny) magistrali wejściowej.

DELETE DECLARED SPACE

Przed dodaniem strumienia danych (akcja typu PRE) tabela docelowa zostanie wyczyszczona z rekordów w zadeklarowanej przestrzeni.

Masz dwa sposoby, aby wskazać jaki zakres rekordów ma być skasowany:

RANGE
CONSTANS

Nastawa RANGE daje możliwość wskazania przestrzeni w zakresie wartości kolumny PRIMARY KEY. Rekordy w zakresie tej przestrzeni zostaną wykasowane.

Opcję zastosujesz wówczas, gdy w jednej tabeli kolekcjonujesz rekordy z różnych źródeł, a mając do dyspozycji tylko jedną kolumnę, problem unikalnego identyfikatora rozwiązałeś stwarzając przestrzenie liczbowe dla różnych źródeł (np. źródło 1: przestrzeń od 1 -> 1 000 000, źródło 2: przestrzeń -> 1 000 001 – 2 000 000 etc.).

DELETE SPACE MIN MAX PK Przed dodaniem strumienia danych (akcja typu PRE) tabela docelowa zostanie wyczyszczona z rekordów w zadeklarowanej przestrzeni. Przestrzeń do kasowania zostanie wyznaczona w obszarze pomiędzy minimalną i maksymalną wartością klucza PRIMARY KEY (deklarowanie klucza PK patrz opis WSKAZANIE TABELI DOCELOWEJ ORAZ ZASAD DODAWANIA).

Uwaga: jeżeli kolumny należące do PK podlegały standaryzacji, a więc miały zmienianą wartość, GRAVITY automatycznie to wykryje i bezbłędnie zidentyfikuje właściwy rekord.

DELETE OLD RECORD

Akcja specyficzna (bliźniacza do akcji UPDATE OLD RECORD) przeprowadzana dla każdego rekordu strumienia danych (w tym sensie jest to więc akcja typu IN). Jeżeli ustawiłeś filtr wejściowy ACTION FOR THE SAME RECORD = PASS (patrz opis powyżej), to teraz możesz wskazać w jaki sposób proces GRAVITY ma się uporać z potencjalnym duplikatem. Jeżeli wybierzesz akcję DELETE OLD RECORD to dotychczasowy rekord będzie kasowany tak, aby nowy rekord (potencjalny duplikat) mógł być dodany bez przeszkód.

Uwaga: jeżeli unikalny identyfikator strumienia danych podlegał standaryzacji, a więc miał zmienianą wartość, GRAVITY automatycznie to wykryje i bezbłędnie zidentyfikuje właściwy rekord.

Jeżeli ustawiłeś filtr wejściowy ACTION FOR THE SAME RECORD = SKIP to akcja DELETE OLD RECORD nie zostanie uruchomiona.

UPDATE OLD RECORD

Akcja specyficzna (bliźniacza do akcji UPDATE OLD RECORD) przeprowadzana dla każdego rekordu strumienia danych (w tym sensie jest to więc akcja typu IN). Jeżeli ustawiłeś filtr wejściowy ACTION FOR THE SAME RECORD = PASS (patrz opis powyżej), to teraz możesz wskazać w jaki sposób proces GRAVITY ma się uporać z potencjalnym duplikatem. Jeżeli wybierzesz akcję UPDATE OLD RECORD to dotychczasowy rekord będzie nadpisywany przez nowy rekord (potencjalny duplikat).

Uwaga: jeżeli unikalny identyfikator strumienia danych podlegał standaryzacji, a więc miał zmienianą wartość, GRAVITY automatycznie to wykryje i bezbłędnie zidentyfikuje właściwy rekord.

Jeżeli ustawiłeś filtr wejściowy ACTION FOR THE SAME RECORD = SKIP to akcja UPDATE OLD RECORD nie zostanie uruchomiona.

SETUP INPUT

Akcja typu IN (czyli przeprowadzana wielokrotnie, po każdym przetworzeniu kolejnego rekordu w operatorze OUTPUT SQL) daje możliwość edycji rekordu pobranego do magistrali przez któryś z operatorów typu INPUT SQL. Zastosujesz tego rodzaju akcję jeżeli będziesz chciał np. ustawiać flagi pobrania rekordu ze źródła.

Zakres konfiguracji:

INPUT → wskaż operator typu INPUT skąd pobierasz dane do magistrali
INPUT TABLE → wskaż tabelę źródłową z operatora INPUT, którą chcesz edytować
COLUMN FOR UPDATE → wskaż kolumnę z tabeli źródłowej, która będzie edytowana (np. miejsce ustawienia flagi)
VALUE FOR UPDATE → wskaż wartość edytowaną (np. flagi)
ID SOURCE RECORD → wskaż sposób identyfikacji rekordu (np. do ustawienia flagi); wskazujesz kolumnę unikalną oraz kolumnę z magistrali wejściowej do operatora OUTPUT SQL;

Operator SETUP INPUT daje szerokie możliwości interakcji z danymi źródłowymi. Po pobraniu rekordów możesz zaznaczać, które rekordy zostały pobrane. Dzięki temu możesz prowadzić pobrania danych w sposób jednoznacznie inkrementacyjny (ustawiając warunek pobrania do wybranej wartości flagi w operatorze INPUT).

USER SQL

Akcja, która daje Tobie wolną rękę. Możesz stworzyć dowolny kod SQL oraz wskazać moment jego zastosowania (patrz ilustracja poniżej):

PRE → przed akcją dodania strumienia danych
POST → po akcji dodania strumienia danych
IN → w trakcie dodawania strumienia danych-uwaga: kod wówczas jest wywoływany wielokrotnie, po dodaniu każdego rekordu strumienia danych

Podczas pisania własnego kodu SQL możesz korzystać z wartości sygnału na magistrali wejściowej do operatora OUTPUT SQL. Do wartości kolumny strumienia danych odwołujesz się poprzez znak prowadzący ‘@’ oraz nazwę bitu (kolumny) w strumieniu danych wejściowych (np.@id).

ZAPAMIĘTANIE KONFIGURACJI

Jeżeli ustawiłeś wszystkie akcje oraz zadeklarowałeś tabele wejścia strumienia danych, musisz zapamiętać swój diagram.

Podczas zapamiętywania GRAVITY automatycznie generuje kod w formacie XML. Możesz go zobaczyć w zakładce INSERT CODE.

Powyżej opisaliśmy w jaki sposób korzystać z operatora OUTPUT SQL. Zdajemy sobie sprawę, że to jeden z najbardziej złożonych komponentów GRAVITY, dlatego – dla lepszego zobrazowania działania operatora OUTPUT SQL – zachęcamy do zapoznania się z przykładami (patrz rozdział PRZYKŁADY ZASTOSOWAŃ). Operatorowi OUTPUT SQL oprócz zwykłych przykładów kontekstowych poświęciliśmy osobny akapit ZASTOSOWANIE OPERATORA OUTPUT SQL.