Pada tanggal 31 Juli 2022, Delman Data Lab mendapatkan kesempatan untuk di-review langsung oleh Eka Putra dari YouTube channel UpKoding.

Eka Putra, atau biasa disapa Bli Eka bereksperimen sekaligus mendemokan proses ETL dengan menggunakan sebuah platform big data solution karya anak bangsa yaitu Delman Data Lab. Bli Eka berpendapat bahwa proses ETL ini sebenarnya bisa dilakukan dengan banyak cara, mulai dari yang paling sederhana sampai yang paling canggih dengan berbagai macam software.

Dalam eksperimennya kali ini, Bli Eka akan menyelesaikan salah satu tantangan umum dalam data engineering menggunakan DDL dengan cepat dan mudah.

Kenapa data engineer? Apa saja tugas data engineer?

Sebelum terjun langsung dalam eksperimennya untuk menyelesaikan tantangan umum dalam data engineering, Bli Eka menjelaskan bahwa data engineer merupakan garda terdepan dalam siklus pemrosesan data. Kenapa? Karena, raw data sendiri tidak dapat digunakan untuk analisis lebih lanjut oleh data ataupun business analyst.

Terdapat beberapa macam tugas yang dilakukan oleh data engineer dalam siklus data processing. Yaitu, data integration, serta membuat data pipeline dan data warehouse.

Tentang ETL

Kemudian, Bli Eka juga menjelaskan tentang apa itu ETL yang akan menjadi sorotan dalam eksperimennya kali ini. ETL sendiri merupakan sebuah proses yang familiar dengan istilah data engineering. Extract, transform and load. Extract berarti menarik data dari berbagai sumber database atau API [third-party]. Transform, di mana terjadi proses filter, cleaning, merging serta combining dari data-data yang sudah ditarik sebelumnya. Kemudian Load, di mana para data engineer pada dasarnya menyimpan atau meletakkan data-data yang telah diproses tersebut ke dalam storage destination yang sudah ditentukan.

Study case dengan big data

Bli Eka juga berpendapat, terdapat beberapa data engineering tasks yang bisa cepat diselesaikan, dan ada juga yang akan memakan banyak waktu.

Identifikasi masalah dari study case yang akan dijadikan topik eksperimen adalah:

bagaimana A dapat mengetahui user mana saja yang mampu menyelesaikan tasks tertentu dengan jumlah tertentu. Kemudian, variabel tersebut akan diurutkan berdasarkan dari user mana yang bisa menyelesaikan tugas paling banyak ke yang paling sedikit.
kemudian mengekspor dataset tersebut dalam bentuk gsheet dengan backup dokumen yang terletak di Google Cloud Storage.

Alasan mengapa Bli Eka mengambil topik tersebut adalah:

demonstrasi untuk menarik data dari databases
perlu aggregate data melalui proses transform data.
untuk load data yang sudah diolah ke dalam bentuk gsheet

Terdapat banyak cara untuk menyelesaikan proses ETL. Mulai dari cara yang paling manual - seperti login ke database, membuat query, export csv, dan login ke gsheet- hingga yang paling canggih seperti drag and drop.

Salah satu permasalahan yang lumrah dihadapi banyak perusahaan dalam mencapai efisiensi yang maksimal untuk proses data-driven decision-making adalah daily atau weekly data yang dapat diakses secara real-time.

Maka dari itu, sebuah sistem yang sudah diautomasi serta bersifat streamlined sangat dibutuhkan untuk mengurangi bahkan menghapuskan tugas-tugas yang bersifat repetitif dan menghabiskan waktu para data team.
Big data solution tools seperti Airflow dan sejenisnya dapat membantu satu persatu proses tersebut. Namun, 1 tool untuk 1 specific task merupakan tindakan yang tidak cost-effective dan terbilang menguras sumber daya yang ada. Apabila terdapat alternatif yang lebih cepat dan efisien, kenapa tidak?

Big data solution tool

Dengan visi demokratisasi data melalui fungsi utama untuk mengintegrasikan, memroses data dari berbagai sumber, serta mengekspor data untuk divisualisasi maupun diekspor ke berbagai format pilihan, Delman Data Lab sebagai big data solution juga ikut membantu dalam mempermudah akses pengolahan data bahkan untuk business users [non-technical users] dalam sebuah perusahaan dengan salah satu fitur unggulan seperti ease of use yang menjadikan tool ini tidak hanya eksklusif digunakan oleh tech users.

Untuk demonstrasi yang lebih lengkap dan komprehensif, klik tautan YouTube video di bawah ini.

DDL Debunked: Data Platform Asli Indonesia, Kualitas Silicon Valley, No Code Needed!