DATA WAREHOUSE DAN BIG DATA

Nama / NIM : I Putu Edi Puspayasa / 1304505095

Mata Kuliah : Data Warehouse

Jurusan / Fakultas / Universitas : Teknologi Informasi / Teknik / Universitas Udayana

Nama Dosen : I Putu Agus Eka Pratama, S.T., M.T.

DATA WAREHOUSE DAN BIG DATA

Data Warehouse

Data Warehouse atau dalam bahasa Indonesianya dikenal dengan gudang data merupakan koleksi data yang memiliki sifat time-variant, subject-oriented, dan terintegrasi yang berperan dalam proses analisa pengambilan keputusan. Data Warehouse berisi kumpulan data, yang dimana data yang ada di dalamnya dapat digunakan untuk diolah sewaktu-waktu pada saat diperlukan. Data Warehouse dapat dilakukan dengan menggunakan 2 server atau lebih. Data yang ada pada Data Warehouse tidak bisa dipecah-pecah, karena data yang ada merupakan suatu kesatuan yang menunjang keseluruhan konsep Data Warehouse itu sendiri.

Big Data

Apa itu Big Data ? Jika diterjemahkan secara mentah-mentah maka Big Data berarti suatu data yang berkapasitas besar. Big Data dapat didefinisikan suatu teknologi yang dapat melakukan pengolahan, penyimpanan dan analisis data yang sangat kompleks dalam beragam bentuk/format (Variety), berukuran besar (Volume) dan pertambahan data yang sangat cepat (Velocity) yang kemudian akan dianalisa atau diolah lagi untuk keperluan tertentu seperti membuat keputusan (decision making), prediksi, dan lainnya. Pada perusahaan Big Data memiliki manfaat untuk mengolah data yang mereka miliki maupun data eksternal untuk membantu dalam mengambil keputusan-keputusan strategis.  Contoh dari Big Data dapat berupa data yang berukuran hingga petabytes atau lebih, seperti milyaran hingga triliunan catatan personal seseorang yang semuanya berasal dari sumber berbeda seperti web, customer service, social media, dan sebagainya, bahkan data-data tersebut dapat berupa video, gambar, logs, binary, dan lainnya.

Big Data dan Data Warehouse

Dalam mengolah data pada Data Warehouse  dan Big Data diperlukan infrastruktur yang mumpuni seperti dengan menggunakan supercomputer atau yang sering disebut sebagai high-level computing. Supercomputer bukan seperti komputer-komputer pada umumnya. Supercomputer adalah mesin komputasi yang memiliki kinerja tingkat tinggi dan memiliki kecepatan pemprosesan data yang sangat cepat. Supercomputer memiliki berbagai macam aplikasi, seperti, scientific calculations, modeling simulations, and rendering large 3D graphics. Supercomputer biasanya memiliki ukuran yang lebih besar dari komputer biasa dan membutuhkan daya/power yang lebih besar dari komputer biasa. Bahkan, sebuah Supercomputer dapat terdiri dari serangkaian komputer yang membutuhkan space ruangan yang besar. Untuk menggunakan infrastruktur yang telah disediakan, maka diperlukan sebuah perankat lunak yang mampu menangani pemrosesan Data Warehouse dan Big Data. Salah satu perangkat tersebut adalah Apache Hadoop yang merupakan sebuah framework perangkat lunak open-source. 

Processing (Pemrosesan Data) dengan Apache Hadoop

Salah Satu Tools yang digunakan oleh big data adalah The Apache Hadoop Software Library , Hadoop merupakan Framework yang memungkinkan untuk melakukan pemrosesan yang terdistribusi dari Data yang besar diantara kluster komputer menggunakan pemograman yang simple. Framework ini di design agar meningkatkan kemampuan menyimpan dari server tunggal ke ribuan mesin komputer yang masing-masing menyediakan komputasi dan penyimpanan lokal.

Analisa Data dengan OLAP

OLAP (Online Analytical Processing) merupakan metode pendekatan untuk menyajikan jawaban dari permintaan proses analisis yang bersifat dimensional secara cepat, yaitu desain dari aplikasi dan teknologi yang dapat mengoleksi, menyimpan, memanipulasi suatu data multidimensi untuk tujuan analis. Database yg dikonfigurasikan untuk pelayanan OLAP model data multidimensi, bisa digunakan untuk analisis komplek dan kueri khusus. konsep OLAP adalah Analisis Cepat dari Informasi Multidimensi yang dapat di sharing (FASMI).

Transaksi Data dengan OLTP

OLTP (Online Transaction Processing) merupakan suatu sistem yang memproses suatu transaksi secara langsung seperti insert, update, delete, melalui komputer yang terhubung dalam jaringan. OLTP berorientasi pada proses yang memproses suatu transaksi secara langsung melalui komputer yang terhubung dalam jaringan. OLTP sangat optimal untuk updating data.

ETL (Extract, Transform, Loading)

ETL (Extract Transform Loading) merupakan fase pemrosesan data dari sumber data masuk ke dalam data warehouse. Tujuan ETL adalah mengumpulkan, menyaring, mengolah dan menggabungkan datadata yang relevan dari berbagai sumber untuk disimpan ke dalam data warehouse. ETL juga dapat digunakan untuk mengintegrasikan data. ETL merupakan proses yang harus dilalui dalam pembentukan data warehouse

Implementasi Big Data

Dalam implementasinya, Big Data berkaitan dengan Apache Hadoop dan No SQL sebagai tools pendukung nya serta Vendor sebagai penyedia layanan Big Data baik berupa hardware maupun software. Hadoop merupakan project opensource dibawah Apache. Hadoop merupakan implementasi opensource project yang dapat memecahkan 3 karakteristik masalah pada Bigdata: Volume, Velocity, dan Variety. Berikut merupakan gambar dari bagan Arsitektur dari implementasi tersebut.

Gambar 1. Bagan Arsitektur Implementasi Big Data

Dalam proses Hadoop yang digambarkan pada gambar diatas yang mengolah data yang sangat besar secara terdistribusi dan berjalan di atas cluster yang terdiri dari beberapa komputer yang saling terhubungan, Hadoop berjalan pada karnel Linux dan menggunakan Oprasi Sistem Linux. Hadoop memiliki kaitan dengan Big Data yang terdiri dari database-database, Hadoop juga memiliki kaitan dengan Data Maining dan Data Warehouse yang berada pada proses Analytic, serta Cloud dengan ketiga layanannya yaitu IAAS, PAAS, dan SAAS.

Daftar Pustaka

[1] Pratama, I P. A. E.. 2014. “Smart City Beserta Cloud Computing dan Teknologi-Teknologi Pendukung Lainnya”. Bandung : Informatika Bandung.

[2] Pendse, Nigel. 2005. What is OLAP?. The BI Verdict, Business Application Research Center, 2009. Exposition of "Fast Analysis of Shared Multidimensional Information" (FASMI).

[3] http://www.oracle.com/technetwork/database/bi-datawarehousing/data-warehousing-wp-12c-1896097.pdf [diakses tanggal 09 Oktober 2015].

[4] http://www.it-jurnal.com/2015/03/pengertian-big-data.html [diakses tanggal 09 Oktober 2015]

[5] http://andrey-derma.com/article/detail/32/Mengenal-OLAP-dan-OLTP [diakses tanggal 10 September 2015].

[6] http://kundang.weblog.esaunggul.ac.id/2013/09/17/extract-transform-loading/?rpcvxlnydgwqgdxl [diakses tanggal 10 Oktober 2015].