Bayangkan anda bekerja di Telkomsel, Excelcomindo, Esia (Bakrie Telecom), Sampeorna Telekom Indonesia, Tri, Sinarmas Telecom atau perusahaan telekomuniasi lainnya. Dan perusahaan tempat anda bekerja tidak memiliki Datawarehouse. Kemudian anda diminta untuk mengolah data CDR (Data transaksi call pelanggan telekomunikasi yang jumlahnya dalam satu bulan minimal ukurannya giga) dan diminta merekap #jumlah Call ke tiap operator (TSEL,BTEL,XL,ISAT,M8 dll) yang dilakukan tiap pelanggan dalam dua bulan terakhir.
Kalau saya tidak perlu lagi membayangkan, karena saya sudah mengalami itu. Database yang ada di perusahaan tempat saya bekerja tidak dapat (atau lama sekali) melakukan Query Full Tabel Scan untuk memenuhi kebutuhan di paragrapfh pertama. Index dan partitioning saja tidak bisa memenuhi kebutuhan tersebut.
Jadi waktu itu yang saya lakukan adalah, dengan kondisi database yang ada,aku query aja data CDR mentah dengan hanya membatasi range tanggal CDR. Setelah itu data tersebut aku export sebagai file Text Biasa. File text tersebut selanjutnya aku proses dengan algoritma pemrograman yang paling sesuai (biasanya sih untuk pengelolaan/rekapitulasi CDR aku pakai HASH nya java).
Dengan menarik data keluar dan diolah sebagai file text, hasil rekapitulasi yang diperlukan dapat aku deliver dengan lebih cepat (jauh lebih cepat, dibandingkan query SQL biasa yang bisa jadi malah nggak akan berhasil) .
Untuk memperoleh hasil yang lebih cepat lagi, cara diatas aku kombinasikan dengan process clustering, manualy grid computing. Bahasa biasanya: dibagi2 aja file txtnya dan diproses di beberapa komputer trus di merge..he..he..he… Dengan cara ini, beban IO dalam processing bisa terbagi.
Hasilnya…??? lumayan lah dapat kue dari Kepala divisi Billing, ditraktir dept head CRM .
Rite now i’m waiting for Datawarehouse. Solusi247 sudah memberikan beberapa product brefing, dan ternyata, konsep aku yang narik data menjadi file text ,dicluster lalu diolah juga diterapkan dalam sub system Datawarehouse mereka (yang diimplemen di Telkomsel). Sub system itu (kalau nggak salah) mereka sebut dengan nama Tifany. Hmmm….. kira2 apa ya nama untuk aplikasi rekapitulasi CDR yang aku bikin? Ngatini kah?..he..he..he…