Infrastruktur AI Indonesia Perlu Pemantauan Terintegrasi untuk Dorong Efisiensi

Pada Agustus lalu, Indosat Ooredoo Hutchison, Ooredoo Group, Nokia, dan NVIDIA mengumumkan rencana pembangunan AI Factory dengan kapasitas hingga 1 gigawatt (GW). Pada tahap awal, AI Factory ini akan membidik Batang, Jawa tengah, sebagai lokasi pembangunan Infrastruktur.

Datadog Inc., perusahaan penyedia platform observabilitas dan keamanan berbasis AI, menilai pengembang AI Factory perlu memantau seluruh lapisan infrastruktur AI dalam menjalankan rencananya. Hal ini dimulai dari unit pemrosesan grafis atau graphics processing unit (GPU), jaringan, layanan komputasi awan, hingga model dan aplikasi.

Tanpa pemantauan terintegrasi, Datadog memperkirakan perusahaan pengembang infrastruktur AI berisiko kesulitan mengidentifikasi hambatan kinerja, menelusuri penyebab pembengkakan biaya, serta mengevaluasi efektivitas investasi AI.

Pada skala tersebut, pengelolaan infrastruktur AI tidak hanya bergantung pada penambahan server atau perluasan pusat data. Perusahaan juga perlu mengintegrasikan kapasitas komputasi, jaringan, pasokan daya, dan sistem pendingin agar mampu menopang beban kerja AI secara berkelanjutan.

Field CTO Asia-Pasifik dan Jepang di Datadog Yadi Narayana mengatakan, peningkatan kapasitas komputasi tidak secara otomatis menghasilkan kinerja bisnis yang lebih baik.

"Skala infrastruktur AI berkembang pesat, tetapi kapasitas komputasi yang lebih besar tidak serta-merta menghasilkan hasil bisnis yang lebih baik," ujar Yadi dalam keterangan tertulisnya kepada Katadata.co.id, Selasa (13/10). 

Menurut dia, perusahaan yang mulai menerapkan AI dalam operasional perlu memahami kinerja sistem, penggunaan sumber daya, serta potensi hambatan yang muncul. Pemantauan tersebut membantu perusahaan membedakan persoalan yang bersumber dari model, aplikasi, infrastruktur, atau keterbatasan kapasitas.

Datadog juga mengingatkan pentingnya kehadiran perangkat lunak observabilitas untuk memantau lingkungan AI pada tingkat infrastruktur dan aplikasi. Platform tersebut memungkinkan perusahaan menghubungkan penggunaan GPU dan token berdasarkan beban kerja, tim, serta skenario penggunaan dengan metrik seperti latensi, kesalahan, dan kinerja aplikasi.

Kegagalan Aplikasi AI di Tahap Produksi

Pentingnya pemantauan terintegrasi juga terlihat dari kompleksitas operasional aplikasi AI yang telah digunakan dalam lingkungan produksi.
Dalam laporan State of AI Engineering 2026, Datadog menemukan hampir satu dari 20 permintaan AI mengalami kegagalan ketika aplikasi dijalankan di lingkungan produksi secara global.

Hampir 60% dari kegagalan tersebut berkaitan dengan keterbatasan kapasitas, batas permintaan (rate limits), kuota, dan batas konkurensi, bukan kualitas model AI.

Laporan yang didasarkan pada data penggunaan aktual dari ribuan organisasi itu juga mencatat peningkatan volume data yang dikirimkan ke model AI dalam setiap permintaan. Pada organisasi dengan tingkat penggunaan biasa, rata-rata volume tersebut meningkat lebih dari dua kali lipat dalam setahun. Sementara itu, pada kelompok pengguna tertinggi, peningkatannya mencapai empat kali lipat.

Peningkatan volume data berpotensi menambah biaya sekaligus memperumit pengelolaan aplikasi AI di lingkungan produksi.

Di Indonesia, kebutuhan mengintegrasikan pemantauan teknologi sebelumnya telah diterapkan Indosat Ooredoo Hutchison (IOH). Perusahaan tersebut menyatukan lebih dari enam perangkat pemantauan yang sebelumnya terpisah di jaringan, teknologi informasi, dan platform digital ke dalam satu platform Datadog.

Langkah itu memberikan visibilitas yang lebih menyeluruh terhadap operasional dan membantu perusahaan memahami kinerja infrastruktur serta layanan digitalnya.

Efisiensi Infrastruktur AI

Datadog menilai efisiensi infrastruktur menjadi faktor penting bagi perusahaan di Indonesia dan Asia Tenggara seiring meningkatnya adopsi AI. Biaya komputasi, kinerja, dan keandalan layanan akan mempengaruhi kemampuan perusahaan mengembangkan AI dari tahap eksperimen menjadi aplikasi bisnis yang berkelanjutan.

Selain itu, penggunaan biaya komputasi dalam dolar Amerika Serikat, sementara pendapatan diperoleh dalam mata uang lokal, membuat efisiensi infrastruktur berpengaruh terhadap nilai ekonomi penerapan AI.

Yadi mengatakan, perusahaan perlu membangun visibilitas terhadap infrastruktur dan aplikasi sejak awal agar dapat mengendalikan biaya, menjaga kinerja, serta menangani masalah sebelum mengganggu operasional bisnis.

"Fase berikutnya dari infrastruktur AI tidak hanya akan ditentukan oleh seberapa besar kapasitas komputasi yang tersedia, melainkan seberapa efektif organisasi dapat mengoperasikan dan mengoptimalkan lingkungan yang berjalan di atasnya," ujarnya.

Menurut Datadog, keberhasilan investasi infrastruktur AI tidak hanya ditentukan oleh besarnya kapasitas komputasi. Efektivitas penggunaan sumber daya, keandalan aplikasi dalam menghadapi beban kerja berkelanjutan, serta kemampuan mengendalikan biaya dan kompleksitas akan turut menentukan manfaat investasi tersebut bagi dunia usaha dan masyarakat.

Penulis: Reihan Cahya (magang)