Pendahuluan Data Warehouse

Nama              : Ida Ayu Gde Widya Savitri

NIM                : 1805551113

Matakuliah    : Data Warehouse

Nama Dosen : I Putu Agus Eka Pratama, S.T., M.T.

Teknologi Informasi Fakultas Teknik

KONSEP DASAR

·     Konsep dasar dari database itu ada 2, yaitu data dan database, keduanya ini merupakan konsep yang fundamendal. Data dengan Informasi itu berbeda. Informasi merupakan data yang diolah, sedangkan data itu ada tiga jenis, yaitu data terstruktur (tabel, database), data semi terstruktur (xml, email), dan data tidak terstruktur (multimedia seperti audio, video, streaming, games, dan lainnya).

·     Database merupakan kumpulan data-data yang saling berhubungan secara sistematis yang tersimpan di komputer, tujuannya agar mendapat informasi yang tepat. Fungsi dari database ini adalah

 

Data Warehouse fokus pada data terstruktur, sedangkan pada matakuliah seperti Teknologi Big Data itu fokus pada ketiganya.

 

DATA TRANSAKSIONAL VS DATA HISTORIS

Ø Data transaksional merupakan inputan yang disimpan di database dimana dalam database minimal ada 1 tabel dan minimal 1 field, lalu suatu saat user ingin menghapus atau ingin update yang artinya ada perubahan data awal di”tumpuk” oleh perubahan data baru tersebut.

Ø Data Historis merupakan perubahan yang terjadi yang tidak menumpuk, jadinya dibuatkan entry yang baru saat user input data baru.

Ø Contohnya terdapat tabel bernama pegawai denga nisi sebagai berikut

Nama	ID
Annisa Dewi	123

Yang dimaksud data transaksional adalah ketika mengubah nama menjadi Dewi Kartika, maka dia akan menumpuk data lama, sedangkan jika data historis maka entry baru per tanggal 24/09/2020 17:00 memuat data baru, namun tetap menyimpan data lama (misalnya data lama itu 24/09/2020 10:10)

Ø Dengan adanya data historis adalah untuk mempermudah pertanggungjawaban data, menampung semua data untuk nantinya dilakukan analisa, mengetahui perkembangan dari adanya pertambahan/perubahan tiap waktuyang dimana data itu bisa dibandingkan atau untuk menghindari hilangnya data lama namun penting

Ø "Kapan" menggunakan data transaksional atau data historis ini merujuk ke kebutuhan pengguna atau instansi bersangkutan. sebaiknya adalah sediakan historisnya di samping transaksionalnya, sehingga nanti bisa dipakai saat diperlukan (misal: audit, rekam jejak, forensic, analisa, keputusan, dan lainnya)

 

DATA WAREHOUSE

ü Data Warehouse berawal dari 2 tokoh bernama Bill Inmon dan Ralph Kimball mencetuskan ide “data warehouse” ini di tengah banyaknya sumber data yang perlu dimanfaatkan data-data di dalamnya.

ü Menurut Bill Immon (Bapak Database dan Bapak Data Warehouse), data warehouse merupakan penggudangan data dari berbagai sumber data atau sekumpulan data yang memiliki 6 sifat atau karakteristik berupa Subject Oriented (berorientasi pada subjek), Integrated (terintegrasi), Process Oriented (berorientasi kepada proses), Time Variant, Accesible (yang dapat diakses dengan mudah), dan bersifat Non Volatile

ü Menurut Ralph Kimball, terdapat sedikit perbedaan dalam definisinya, yaitu sebuah sistem untuk pengumpulan data transaksional dari berbagai sumber data, yang mengutamakan adanya 2 hal yaitu query dan analisa data.

ü Data warehouse menggudangkan data dari berbagai sumber data, baik itu fisik maupun non fisik dengan berbagai format. Misalnya gudang di rumah, isinya macam-macam, ketika akan digunakan, tentu diselaraskan dulu, tidak asal ambil. Begitu juga dengan data-data ini. Proses untuk "membersihkan", menyamakan "format', dan lainnya atau disebut dengan istilah "data cleansing/cleaning" itu tujuannya apa, apa sesuai dengan kebutuhan pengguna; relevansi data; menjauhkan dari data yg tidak diperlukan, yang memakan memori dan fisik; serta menjamin validitas hasil keputusan berbasis data.

ü Jenis data yang disimpan ke Data Warehouse bisa berupa data dari sistem informasi, data dari perkantoran (excel, word, dan lainnya), dari email, dari data fisik yang didigitalkan. Semasih dia merupakan data digital dan data fisik yang didigitalkan (scan atau diketik ulang), maka dapat digudangkan.

ü Mengapa perlu digudangkan? Kebutuhan akan data: analisa, pengambilan keputusan, penentuan strategi, report → perlu menggudangkan data dari berbagai sumber data

ü Apakah DW hanya untuk menyimpan data yang telah dikategorikan sesuai kebutuhan? DW hampir bersifat "frontal" yang dimana asal masuk saja data-data yg mau dia tampung, itu jika tidak ingin banyak effort di awal, tapi nantinya, "effort" akan besar ketika dilakukan ETL atau ELT dan cleansing, untuk (misal) mencari data-data yg berelevansi dengan kebutuhan pengguna/instansi. Jadi dalam hal ini sebaiknya digudangkan data-data yg sesuai kebutuhan, meski dari berbagai sumber dengan beragam format data.

ü Data yang disimpan pada DW ini apakah ada kemungkinan akan dihapus? Pasti ada, kondisinya misal tidak terpakai lagi, sudah ada update terbaru, atau keterbatasan ruang penyimpanan. Namun dalam dunia komputer dikenal adanya forensis, jadi data yg di"hapus" itu sejatinya punya peluang untuk "recovery" kembali, kecuali secure deleted.

 

PENERAPAN DATA WAREHOUSE

Salah satu penerapan data warehouse merupakan Business Intelligence. Toolsnya bisa dengan pentaho atau talend, di bagian kiri pada gambar adalah sumber-sumber datanya (Database, ERP, CRM, Files), sedangkan di bagian kanan adalah tujuan-tujuannya (Reporting, Ad-hoc reporting, OLAP Analysis), kemudian yang ada di dalamnya adalah prosesnya.  ETL Process adalah semua data tersebut di"sama"kan agar mudah menjadi satu kesatuan untuk "kebutuhan" akan data dari beragam sumber data.

 Penerapan data warehouse lainnya adalah sebagai berikut.

v Perbankan

→transaksi, analisa nasabah,report, business intelligence

→namun mulai tergantikan/ditambahkan dengan Big Data dan cloud untuk kehandalan sistem (terutama bank-bank besar).

v Industri → berkaitan dengan ERP (bahan mentah sampai dengan produk jadi, pegawai, distribusi, dan lainnya)

v Pemerintahan → E-Government, Smart City

v Bisnis/jual beli/marketing

v Transportasi → PT Garuda, maskapai penerbangan, dan lainnya

Pembeda antara Data Warehouse dengan database biasa atau konvensional karena data warehouse, tetap berperan penting untuk laporan (report), analisa data, pengambilan keputusan, serta penentuan strategi. Bentuk dari data warehouse ini sama seperti database biasanya, bedanya data warehouse itu sumber input datanya beragam dari berbagai sumber data dan dengan format data yang beragam pula.

 

Referensi:

I Putu Agus Eka Pratama. Handbook Data Warehouse. Penerbit Informatika. Bandung. 2017