Product ETL, database, datawarehouse, dan BI

Menyambung tulisan mengenai arsitektur darawarehouse dan business intelligence, berikut ini nama-nama/merk/product database, ETL, dan BI di pasaran:

Brand/company: IBM
OLTP: IBM DB2
datawarehouse: InfoSphere Warehouse,IBM Netezza Data Warehouse Appliances
ETL: InfoSphere Information Server (DataStage)
BI environment: Cognos, SPSS

Brand/company: Oracle
OLTP: Oracle Database, TimesTen In-Memory Database
datawarehouse: Oracle Database, Oracle Exadata Database
ETL: Oracle Warehouse Builder, Oracle Data Integrator
BI environment: Oracle Business Intelligence

Continue reading Product ETL, database, datawarehouse, dan BI

Pengantar Datawarehouse dan Business Intelligence

Dalam sistem pemrosesan data (enterprise data processing), datawarehouse dan Business Intelligence merupakan pusatnya. Semua data transaksi dikumpulkan, diproses, disimpan ke dalam datawarehouse, di-summary, di-query dan dianalisa, hingga menghasilkan laporan (report) dan hasil analisa; dan kemudian digunakan untuk menyusun strategi dan membuat keputusan.

Gambar berikut ini menunjukkan arsitektur sistem datawarehouse dan business intelligent:

Transactional Data
Merupakan data transaksi, tentunya kita sering mendengar istilah Online transactional processing alias OLTP. Dalam arsitektur ini dikenal sebagai data source. Data ini bisa dari sumber manapun (pembelian, penjualan, billing, dan lain-lain); dan bisa berformat apa saja (teks/flat file, specific product proprietary, database, spreadsheet, dll) baik structured maupun unstructured.
Continue reading Pengantar Datawarehouse dan Business Intelligence

Database Appliance: Shared-nothing vs Shared-everything

Melanjutkan tulisan saya beberapa waktu lalu mengenai database appliance, sekarang saya akan membahas arsitekturnya. Sebagian besar datawarehouse appliance menggunakan teknologi MPP (massively parallel processing) dengan “shared-nothing architecture”, contoh yang saya sangat mengerti adalah Teradata; sementara solusi Oracle tidak menggunakan “shared-nothing architecture”.

Berikut ini perbandingan antara Oracle dan teradata.

Gambar saya ambil dari white paper Teradata yang berjudul Exadata is Still Oracle.

Exadata sendiri secara khusus merupakan teknologi storage, bukan database (RDBMS). Sementara solusi Oracle untuk database yang menggunakan teknologi storage (Exadata) ini disebut sebagai Oracle Exadata Database. Kita sering confuse dengan istilah-istilah ini karena kata Exadata sering dipakai untuk menyebut (menyingkat istilah) Oracle Exadata Database. Semoga tidak tambah bingung setelah membaca tulisan ini 🙂

Pengertian shared nothing

Continue reading Database Appliance: Shared-nothing vs Shared-everything

Database Appliance

Di sistem pada umumnya, database yang dibeli (lisencenya) hanyalah software databasenya saja; sementara server (hardware, OS, storage) merupakan hal (lisencenya) yang terpisah. Bisa saja kita memakai database Oracle dengan Server HP, OS Linux, dan Storage dari Sun Storage; dan masing-masing dengan lisence yang terpisah pula. Pada umumnya memang demikian.

Ada satu sistem di mana semua solusi di atas disediakan dalam satu product, ini dikenal sebagai database appliance. Software database menjadi satu paket dengan servernya (hardware, OS, storage). Dari sisi user, ini benar-benar sederhana banget, satu product/lisence/vendor untuk semua solusi. Bandingkan dengan sistem biasa di mana kita punya vendor yang berbeda untuk database, hardware server, OS, dan storage. Tentu saja, kemudahan itu pasti ada harganya 🙂

Continue reading Database Appliance