PLN Nusantara Data Processing Optimization (GCP)
Use Case: Data Processing
Problem
Dalam era digital, pemantauan konsumsi daya listrik menjadi semakin penting, terutama untuk optimasi energi dan efisiensi biaya.
Data konsumsi daya yang dikumpulkan dari berbagai jenis bangunan seperti rumah, apartemen, kantor, dan pabrik dapat membantu dalam analisis pola penggunaan listrik serta memungkinkan pengambilan keputusan berbasis data untuk efisiensi energi.
Tantangan yang dihadapi, seperti pengumpulan data secara real-time, konsolidasi data dari berbagai sumber, dan kesulitan dalam melakukan analisis mendalam untuk memahami pola konsumsi yang ada.
Tanpa sistem yang efektif, pemanfaatan data ini untuk pengambilan keputusan berbasis data menjadi terbatas, sehingga menghambat upaya penghematan energi dan pengurangan biaya yang optimal.
Solution
Dengan membangun Proof of Concept (POC) untuk sistem pemantauan konsumsi daya berbasis data, kami mengembangkan solusi pipeline data streaming yang dapat mengintegrasikan data konsumsi listrik secara real-time dari berbagai sumber, termasuk rumah, apartemen, kantor, dan pabrik.
Mengumpulkan Data Secara Real-Time
- Menerima data konsumsi daya listrik dari berbagai jenis bangunan secara otomatis.
Menyediakan Analisis Tren Penggunaan Listrik
- Melalui analisis data yang dikumpulkan, memungkinkan PLN untuk mengidentifikasi pola konsumsi dan mengantisipasi kebutuhan energi yang lebih efisien.
Penyimpanan Data Historis
- Data yang terkumpul akan disimpan dalam basis data yang aman dan terorganisir untuk memungkinkan analisis lebih lanjut, serta pengambilan keputusan jangka panjang yang berbasis data.
Memberikan Komparasi
- Memberikan komparasi dua architecture data pipeline, architecture data warehouse & data lakehouse.
Data Warehouse Architecture
Data Lakehouse Architecture
Technology
Data Warehouse Architecture
Source Layer
Processing Layer
Processing Layer
Processing Layer
Storage Layer
Serving Layer
Data Lakehouse Architecture
Source Layer
Processing Layer
Processing Layer
Processing Layer
Storage Layer
Storage Layer
Serving Layer
Impact
Hasil streaming perubahan data dari source ke L1 didapatkan architecture data warehouse lebih cepat dalam hitungan detik sedangkan pada data lakehouse sekitar satu menit.
Pipeline dari L1 → L2 → L3 → L4 didapatkan architecture data warehouse lebih cepat pada initial process (memproses data snapshot saat awal integrasi) namun berimbang ketika ada data baru dengan mengesampingkan kecepatan process dari source ke L1.
Secara estimasi cost architecture data lakehouse sedikit lebih murah pada sisi storage karena data raw disimpan pada Google Cloud Storage.
- Namun jika menghitung secara keseluruhan belum dapat disimpulkan karena bisa jadi pemrosesan data lakehouse lebih heavy (kasus pemrosesan initial snapshot composer melakukan iterasi untuk menunggu data baru) sehingga cost composer lebih besar.
