Oleh Heine Krog Iversen, 19 September 2022

Dunia telah bertransformasi secara digital. Hampir semua hal berbentuk digital, saling terkoneksi satu sama lain di dalam cloud, dan didukung oleh data, di mana pun dan kapan pun.

Organisasi yang bersifat data-driven memiliki keuntungan. Sedangkan organisasi yang belum mengadopsi budaya data-driven, melewatkan peluang untuk berinovasi, membuat kesalahan yang berakibat fatal, dan pada akhirnya gagal bertahan.

Lebih banyak lagi organisasi yang akan gagal bertahan dari pergerakan ekonomi mendatang apabila tidak segera beradaptasi dengan dunia yang sudah beroperasi secara digital ini.

Dalam artikel ini, Iversen akan menindaklanjuti beberapa masalah-masalah yang ada pada Manajemen Data tradisional dan mengapa pemberdayaan data atau data empowerment berkembang lebih pesat akhir-akhir ini.

To start, let us understand that there are significant obstacles that can grind the process to a halt for building a modern data estate:

big data challenges in a modern data estate scenario — Sumber: Timextender

Sebagai permulaan, dapat pahami bahwa ada beberapa hambatan signifikan yang dapat menghambat proses dalam pembangunan sebuah data estate yang modern:

Organisasi mengalami ledakan data. Berbagai jenis data dari berbagai sumber dalam volume tinggi makin perlu dikumpulkan, disimpan, dan diproses.
Tim bisnis melebihi jumlah tim data, hal ini akan mengarah pada tumpukan permintaan analitik untuk tim data yang tidak akan pernah berakhir. Seperempat ahli bisnis mengakui bahwa mereka telah menyerah untuk mendapatkan jawaban yang mereka butuhkan karena persiapan dan analisis data memakan waktu yang terlalu lama.
Banyak perusahaan mengalami kesulitan dalam menemukan orang-orang yang memenuhi syarat dengan keterampilan data dan analitik yang sesuai.
Para ahli data dan analitik berada di bawah tekanan yang terus-menerus untuk menghabiskan waktu yang mereka miliki untuk mempelajari teknologi, alat, dan metodologi terbaru dibandingkan untuk mengerjakan analisis data.
Tim data sering kali dipaksa untuk menghabiskan banyak waktu untuk mengerjakan data preparation yang manual dan berulang-ulang. Hal tersebut dapat menyebabkan kelelahan dan turnover yang tinggi - 79% ahli data telah mempertimbangkan untuk meninggalkan industri ini sepenuhnya.
Hampir semua profesional yang bergerak di bidang data yang telah disurvei melaporkan kekhawatiran seputar pengendalian akses ke data yang bersifat lebih sensitif, penghapusan data yang tidak disengaja, dan kesalahan saat menganalisis data yang menyebabkan pengambilan keputusan yang buruk, pelanggaran keamanan, dan masalah kepatuhan terhadap peraturan.
Hambatan komunikasi antara pakar bisnis dan tim data sering kali menciptakan progress yang terhambat - 34% pakar bisnis mengakui bahwa mereka tidak percaya diri dalam mengartikulasikan pertanyaan atau kebutuhan data kepada tim data.

Masalah-masalah ini dapat menyebabkan lambatnya pertumbuhan perusahaan, dan akan sangat merusak stabilitas organisasi Anda. Untuk mengatasi tantangan ini, tim data biasanya mengambil salah satu dari dua pendekatan untuk membangun infrastruktur data mereka:

big data management most conventional approaches with contras — Sumber: Timextender

Metode Tradisional #1: The Stack

Proses ingesting, preparing, serta delivering data untuk analisis secara tradisional mengandalkan gabungan tools yang sangat kompleks, daftar sumber data dan sistem yang terus bertambah, serta menghabiskan waktu berbulan-bulan untuk mengkodekan setiap bagian secara bersamaan untuk membentuk data "pipelines".

Ada beberapa masalah dengan pendekatan ini:

Coding secara manual dan pembuatan pipeline

Pipeline baru harus selalu dibangun secara manual untuk setiap sumber data, penyimpanan data, dan use-cases (misalnya, laporan analitik). Sering kali sebuah organisasi menciptakan jaringan besar pipeline yang bersifat rapuh. Banyak ahli data yang menyatakan bahwa mereka menghabiskan terlalu banyak waktu mereka untuk tugas-tugas manual dan berulang ini.

Terlalu banyak tools

Sering kali ada tumpukan tools yang terpisah untuk mengelola setiap tahap pipeline, hal tersebut akan melipatgandakan jumlah alat yang digunakan dan menciptakan knowledge’s silo dan spesialisasi tambahan.

Infrastruktur yang rentan dan kaku

Membangun dan memelihara infrastruktur data dan pipeline yang kompleks merupakan hal yang bersifat mahal dan memakan waktu, menimbulkan kerentanan keamanan dan masalah tata kelola yang berkelanjutan, dan sangat sulit untuk mengadopsi teknologi baru di masa depan.

Pipelines yang rapuh

Lebih buruk lagi, seperti yang sudah dibahas di poin sebelumnya, pipelines akan sulit untuk dibangun tetapi juga memiliki risiko tinggi untuk rusak. Tingginya kompleksitas berarti terdapat peluang yang lebih tinggi lagi untuk data pipelines mengalami bug dan kesalahan tak terduga yang akan mengganggu proses, merusak data, dan memecah seluruh pipeline.

Dokumentasi dan debugging manual

Setiap kali terjadi kesalahan, data engineers harus meluangkan waktu untuk menelusuri silsilah data dan melacak di mana letak kesalahannya. Hal ini sangat sulit jika dokumentasi metadata tidak lengkap atau ada yang hilang (dan hal ini sering terjadi).

Metode #2: The Platform

Pasar untuk Manajemen Data dewasa ini dipenuhi oleh "platform" yang menjanjikan untuk mengurangi kerumitan dengan menggabungkan semua data storage, ingestion, preparation, dan analysis tools Anda ke dalam satu solusi end-to-end yang terpadu.

Meskipun hal ini mungkin terdengar ideal, klaim ini mulai terlihat celahnya setelah diperiksa lebih dekat:

Hidden stacks

Sebagian besar "platform" hanyalah kumpulan tools yang telah digabungkan bersama dan dijual di bawah pricing model yang rumit. Hal ini mengharuskan Anda memiliki sumber daya yang memiliki kualifikasi berbeda untuk setiap tools. Ditambah lagi, Anda harus memperhitungkan pelatihan serta memiliki data yang ter-siloed di seluruh organisasi Anda.

User interface

Karena ini adalah sebuah "platform," maka Anda mengharapkan sebuah user interface yang sederhana dan mudah dinavigasi bukan? Sebaliknya, semua tools yang telah digabungkan dan dijual oleh vendor yang sama akhirnya hanya akan menjadi kekacauan yang datang dari kode yang tidak kompatibel yang telah di-stitch secara sembarangan menjadi sebuah "platform".

Low-code

Banyak dari platform manajemen data membual tentang menjadi "low-code," tetapi ketika Anda menggali lebih jauh platformnya, hanya satu atau dua fitur yang biasanya memiliki fungsi low-code ini.

Selamat datang di Data Management Prison!

Yang terburuk dari semuanya, Anda akhirnya akan terjebak ke dalam ekosistem eksternal yang tidak memungkinkan Anda untuk memiliki otonomi dalam menyimpan, atau mengontrol data Anda dengan sepenuhnya. Semua tools dan proses sudah ditentukan oleh platform developer yang kemudian akan disembunyikan dalam sebuah "black box" yang tidak dapat Anda akses atau modifikasi. Banyak platform bahkan memaksa Anda untuk mememindahkan semua data Anda ke cloud tanpa local support yang memadai baik untuk implementasi on-premise maupun hybrid.

Mencoba untuk meninggalkan platform juga mungkin akan merugikan Anda

Platform-platform ini tidak hanya secara signifikan membatasi opsi Manajemen Data Anda, tetapi jika Anda memutuskan untuk bermigrasi ke platform data yang berbeda nantinya, Anda harus membangun kembali hampir semuanya dari awal.

Data Management Is Dead – Data Empowerment Has Emerged

Iversen tidak percaya bahwa Anda harus dipaksa untuk menghabiskan waktu berbulan-bulan untuk membuat data pipelines yang rapuh secara manual di antara setiap komponen data estate Anda dengan menggunakan setumpuk tools yang kompleks. Ia juga tidak berpikir bahwa "platform" yang terintegrasi dengan buruk memaksakan kontrol yang ketat dan mengunci Anda ke dalam ekosistem yang dengan otonomi terbatas.

Metode manajemen data yang tradisional ini tidak dapat memenuhi kebutuhan tim data modern. Laju pesat Machine Economy tidak akan mengakomodasi keterbatasan dan kelambatan dalam pertumbuhan sebuah organisasi.

Seluruh status quo yang mengelilingi industri "Manajemen Data" bersifat kuno, menyulitkan, serta opresif dan harus segera digantikan oleh low-code data solution (untuk menghasilkan semua kode dan mendokumentasi proses secara otomatis); agile (dengan drag and drop user interface untuk mempercepat kebutuhan pengguna akan data, analitik, AI, dan machine learning); serta diintegrasikan ke dalam big data solution yang terpadu untuk melapisi infrastruktur data Anda.

Apabila organisasi Anda mengalami permasalahan data yang rumit seperti kurangnya sumber daya dengan keterampilan yang data analytics yang mumpuni, kurang efisiennya tugas ahli data dengan data preparation yang manual dan berulang-ulang, serta kekhawatiran seputar pengendalian akses ke data, mulailah segera perjalanan akselerasi dalam mencapai data empowerment Anda sekarang juga dengan Delman Data Lab sebagai low-code scalable data solution tool.

Pelajari Lebih Lanjut Tentang Bagaimana Delman Data Lab Mengakselerasi Perjalanan Data Empowerment Anda!

Talk to Our Experts

Manajemen Data Sudah Mati – Pemberdayaan Data Jadi Pengganti