Perusahaan di Indonesia mulai menghadapi tantangan baru dalam pemanfaatan kecerdasan artifisial atau artificial intelligence (AI). Ketika teknologi berkembang menjadi agentic AI yang mampu mengambil keputusan dan bertindak secara mandiri, kesiapan perusahaan dalam melacak serta mempertanggungjawabkan tindakan AI belum sepenuhnya memadai.
Riset Sumsub dalam laporan APAC State of Digital Trust: AI Governance Benchmark mengungkapkan, sebanyak 99% organisasi di Indonesia mengaku siap mengadopsi solusi yang dapat melacak setiap tindakan AI hingga ke orang yang bertanggung jawab. Namun, hanya 34% organisasi yang benar-benar menyimpan rekam jejak keputusan AI secara utuh dan antimanipulasi.
Kesenjangan tersebut menjadi sinyal bahwa ekspansi penggunaan AI di dunia usaha belum sepenuhnya diikuti penguatan sistem pengendalian internal. Padahal, ketika AI mulai menjalankan tugas atas nama perusahaan, kemampuan menelusuri keputusan dan memastikan otorisasi menjadi penting untuk mengendalikan risiko operasional maupun kepatuhan.
Survei independen terhadap 720 profesional senior di sembilan negara Asia-Pasifik (APAC) itu dilakukan Blackbox Research bersama Singapore FinTech Association. Hasilnya menunjukkan, 96% organisasi di Indonesia yakin dapat menjelaskan keputusan AI mereka. Akan tetapi, keyakinan tersebut belum sepenuhnya didukung dokumentasi yang dapat diverifikasi.
Sumsub menyebut kondisi itu sebagai Accountability Asymmetry, yakni kesenjangan antara tingkat kepercayaan perusahaan terhadap keputusan AI dan kemampuan mereka membuktikan tindakan yang sebenarnya dilakukan sistem tersebut.
Persoalan ini semakin relevan seiring pergeseran penggunaan AI dari sekadar alat bantu menjadi agen yang mampu merencanakan, mengambil keputusan, dan menjalankan tindakan secara mandiri. Model penggunaan tersebut berpotensi meningkatkan efisiensi, tetapi sekaligus menambah kompleksitas pengawasan ketika keputusan AI menghasilkan dampak yang tidak diinginkan.
Riset yang sama mencatat, 91% organisasi di Indonesia nyaman membiarkan AI mengambil keputusan tanpa campur tangan manusia dalam proses rutin. Namun, tingkat kenyamanan itu turun menjadi 55% ketika menyangkut transaksi keuangan.
Kekhawatiran tersebut diperkuat oleh pengalaman di lapangan. Sebanyak 64% organisasi mengaku pernah mengalami AI bertindak sendiri hingga menimbulkan masalah atau hasil yang tidak diinginkan. Sementara itu, 94% responden menyatakan pernah menggunakan sistem AI di luar tujuan awalnya dalam satu tahun terakhir.
Temuan ini menunjukkan bahwa pengawasan AI tidak cukup hanya dilakukan saat sistem mulai diterapkan. Perusahaan juga perlu memastikan bahwa perubahan fungsi, kewenangan, dan penggunaan AI tetap berada dalam batas yang telah disetujui.
Kualitas data pun menjadi perhatian utama. Sebanyak 56% organisasi di Indonesia menyebut kualitas data sebagai kekhawatiran terbesar ketika AI bertindak mewakili mereka. Angka tersebut merupakan yang tertinggi di kawasan APAC untuk kategori kekhawatiran tersebut.
Vice President APAC Sumsub Penny Chai mengatakan, pemanfaatan AI perlu disertai kemampuan untuk menunjukkan bagaimana sistem digunakan dan siapa yang bertanggung jawab atas keputusannya.
“Organisasi di Indonesia melihat potensi AI yang sangat besar, tetapi adopsinya perlu dibarengi kemampuan untuk menunjukkan bagaimana AI itu dipakai, melacak keputusan yang diambilnya, dan memastikan siapa yang bertanggung jawab,” ujar Penny.
Menurut dia, organisasi membutuhkan infrastruktur kepercayaan yang mampu menopang akuntabilitas ketika agen AI diberi tanggung jawab lebih besar. Melalui kerangka Know Your Agent, Sumsub mendorong setiap agen AI dikaitkan dengan identitas manusia yang terverifikasi, disertai pemeriksaan liveness untuk memastikan otorisasi manusia pada saat-saat kritis.
Dari sisi regulasi, penguatan tata kelola AI juga mulai menjadi perhatian di sektor jasa keuangan. Otoritas Jasa Keuangan (OJK) telah menetapkan Panduan Tata Kelola Kecerdasan Artifisial Perbankan Indonesia yang mencakup pengelolaan AI sepanjang siklus hidupnya, mulai dari manajemen risiko hingga audit.
Selain itu, dua rancangan Peraturan Presiden terkait Peta Jalan AI Nasional dan Etika AI disebut masih menunggu tanda tangan Presiden untuk resmi berlaku. Perkembangan regulasi tersebut menambah urgensi bagi perusahaan untuk memastikan penerapan AI berjalan seiring dengan prinsip tata kelola dan akuntabilitas.
Untuk menjembatani kesenjangan tersebut, Sumsub meluncurkan Sumsub Agentic AI Council, sebuah forum lintas sektor di APAC yang mempertemukan kalangan pembuat kebijakan, pelaku teknologi, akademisi, industri, dan masyarakat sipil. Forum ini akan menyusun kerangka kerja praktis, membagikan praktik terbaik, serta mendorong penggunaan agentic AI yang bertanggung jawab.
Program tersebut dibangun di atas tiga pilar, yakni Adopt, Build, dan Govern. Ketiganya mencakup pengembangan pemanfaatan AI yang berdampak bagi ekonomi digital, pembangunan fondasi teknis untuk memastikan identitas dan keterlacakan agen, serta penyusunan kebijakan dan mekanisme pertanggungjawaban.
APAC Government Relations Lead Sumsub Jason Chan mengatakan, kemampuan organisasi untuk mengawasi dan melacak keputusan AI perlu berkembang seiring meningkatnya adopsi teknologi tersebut.
“Seiring organisasi di Indonesia menjajaki peluang agentic AI, kemampuan untuk tetap mengawasi, melacak keputusan AI, dan menunjukkan akuntabilitas harus ikut tumbuh seiring adopsinya,” ujar Jason.
Sumsub berencana mengumumkan para penasihat pendiri Council menjelang pertemuan perdana pada kuartal I-2027. Kelompok kerja pertamanya akan berfokus pada agentic commerce, yaitu aktivitas ketika agen AI bertindak mewakili konsumen dan pelaku bisnis.
Bagi perusahaan, tantangan utama dalam mengadopsi agentic AI bukan lagi sebatas menyediakan teknologi atau meningkatkan otomatisasi. Perusahaan juga harus memastikan setiap agen memiliki identitas dan kewenangan yang jelas, setiap tindakan dapat ditelusuri, serta tanggung jawab manusia tetap terjaga. Tanpa fondasi tersebut, efisiensi yang ditawarkan AI berpotensi diikuti risiko bisnis yang lebih sulit dikendalikan.
