Πώς φορτώνουμε αρχεία (csv, txt) σε βάση δεδομένων της Oracle

• Σχετικά με
• τελευταίες δημοσιεύσεις

Stratos Matzouranis

Το ταξίδι άρχισε το 2008 όπου ξεκίνησα να εργάζομαι επίσημα στον τομέα της τεχνολογίας πληροφορικής (IT). Ξεκινώντας το πρώτο εξάμηνο της σχολής κατάλαβα μια ιδιαίτερη έλξη προς τις βάσεις δεδομένων και τους αυτοματισμούς.Έχω ασχοληθεί με βάσεις δεδομένων όπως Microsoft SQL Server / Oracle Database, ανάλυση δεδομένων και αυτοματισμούς με τη χρήση γραμμής εντολών (CLI), Visual Basic for Applications και Python. Μέσα από τα χρόνια εμπειρίας εξέλιξα αυτές τις δυνατότητες ώστε να μπορώ να κάνω τη ζωή μου πιο εύκολη. Για μένα ο σκοπός του κάθε IT guy αλλά και κάθε υπαλλήλου γραφείου είναι το να έχει τις γνώσεις ώστε μέσω εργαλείων να μπορεί να δουλεύει λίγο αλλά να παράγει πολύ. Μέσα από αυτό τον ιστότοπο του DataPlatform.gr προσπαθώ να προσφέρω γνώσεις και να προτείνω λύσεις σε καθημερινά προβλήματα.

Πιστοποιήσεις:

Τελευταίες δημοσιεύσεις από Stratos Matzouranis (Προβολή όλων)

• Πώς αυτοματοποιούμε τη διαδικασία ελέγχου ακεραιότητας των βάσεων δεδομένων σε SQL Server χωρίς την χρήση maintenance plan - 10 Μάιος 2024
• Πώς μπορούμε να συνδέσουμε Oracle Database με SQL Server με χρήση Oracle Gateway σε Windows - 5 Απρίλιος 2024
• Πώς μπορούμε να λαμβάνουμε email κάθε φορά που ξεπερνάει ένα όριο η μνήμη PGA σε βάση δεδομένων της Oracle - 1 Μάρτιος 2024

Είναι εφικτό να εισάγουμε αρχεία όπως csv και txt σε έναν πίνακα βάσης δεδομένων της Oracle. Υπάρχουν δύο παρόμοιοι τρόποι. Mε χρήση SQL*Loader ή με χρήση External Table. Ο τρόπος λειτουργία τους μοιάζει, όμως ανάλογα τη περίπτωση είναι καταλληλότερη η χρήση της μίας μεθόδου.

SQL*Loader

Με τον SQL*Loader θα πρέπει να έχουμε φτιάξει τον πίνακα πριν την εισαγωγή του αρχείου. Μέσω ενός control file ορίζουμε τις παραμέτρους όπως το path του αρχείου και το delimiter που χρησιμοποιεί.

Πότε προβλέπεται η χρήση του SQL*Loader

Η χρήση του είναι η βέλτιστη όταν θέλουμε να φορτώσουμε δεδομένα απομακρυσμένα, είτε σε ενδιάμεσο πίνακα που περιέχει indexing και τέλος όταν δεν χρειάζεται να τροποποιήσουμε τα δεδομένα κατά την εισαγωγή.

Το παράδειγμα με χρήση του SQL*Loader

Θα πρέπει να δημιουργήσουμε τον πίνακα.

create table import(id integer, name varchar2(100));

Table created.

Φτιάχνουμε το control file με τις παραμέτρους για το φόρτωμα με όνομα dokimi.ctl.

load data
 infile '/home/oracle/test.csv'
 append
 into table sys.import
 fields terminated by ";" -- delimiter
 ( id, name )

Για να πραγματοποιηθεί η εκτέλεση καλούμε τον sqlldr σαν χρήστης που έχει δικαίωμα αναφέροντας το path που βρίσκεται το control file που φτιάξαμε.

sqlldr "'sys/Passw0rd1 as SYSDBA'" control=/home/oracle/dokimi.ctl

External Table

Με την χρήση External Table θα πρέπει να φτιάξουμε ένα λογικό directory με την τοποθεσία που θα βρίσκεται το αρχείο και θα πρέπει να φτιάξουμε τον πίνακα ως organization external.

Πότε προβλέπεται η χρήση του External Table

Η χρήση External Table είναι η βέλτιστη όταν θέλουμε να εισάγουμε τα δεδομένα παράλληλα και όταν θέλουμε να μορφοποιήσουμε τα δεδομένα καθώς τα εισάγουμε.

Το παράδειγμα με χρήση του External Table

Φτιάχνουμε ένα λογικό directory.

SQL> create  directory imp3 as '/home/oracle';

Directory created.

Εκτελούμε create table statement με την επιλογή organization external και τις παραμέτρους του αρχείου.

CREATE TABLE import2(
  id integer,
  name VARCHAR2(100))
  ORGANIZATION EXTERNAL (TYPE ORACLE_LOADER DEFAULT DIRECTORY imp3
                         ACCESS PARAMETERS (FIELDS TERMINATED BY ';')
                         LOCATION ('test.csv'))parallel 5;

Πηγές:

• Choosing External Tables Versus SQL*Loader