Keamanan AI

Pengujian keamanan AI untuk bisnis di Indonesia yang memakai chatbot, asisten, atau AI agent, siapa pun pembuatnya. Kami mencoba mengelabui AI Anda seperti seorang penyerang, lalu membantu Anda menutup celahnya.

Contoh

Hasil yang jujur ikut menampilkan yang lolos.

Contoh ini menunjukkan enam upaya serangan terhadap sebuah asisten AI. Lima diblokir. Satu lolos dan menjadi temuan, lengkap dengan perbaikannya, dan memang itulah gunanya pengujian.

Uji keamanan AI
Menguji
  1. 01Instruksi tersembunyi di webMengujiDiblokir
  2. 02Teks tersembunyi di PDFMengujiDiblokir
  3. 03Permintaan data pengguna lainMengujiDiblokir
  4. 04Bujukan lewat permainan peranMengujiTemuan
  5. 05Permintaan membuka pengaturan AIMengujiDiblokir
  6. 06Upaya pembayaran tanpa izinMengujiDiblokir

Contoh ilustrasi. Bukan data klien.

Apa itu pengujian keamanan AI?

Pengujian keamanan AI adalah serangan terkendali terhadap sistem AI Anda. Dengan izin Anda, kami mencoba membuatnya melakukan hal yang tidak semestinya: membocorkan data rahasia, mengabaikan aturannya, atau menjalankan tindakan yang tidak disetujui siapa pun.

Chatbot, asisten, dan agen biasanya berjalan di atas large language model (LLM), yaitu jenis AI yang membaca dan menulis teks. LLM mengikuti instruksi dalam bahasa sehari-hari, dan tidak selalu bisa membedakan instruksi Anda dari instruksi penyerang. Karena itulah keamanan AI butuh cara pengujian tersendiri.

Pengujian baru separuh pekerjaan. Kami juga merancang perlindungannya: akses yang dibatasi, pemeriksaan atas apa yang masuk dan keluar, langkah persetujuan, dan pencatatan. Kami mengerjakannya untuk sistem AI buatan siapa pun, bukan hanya buatan kami.

Kapan Anda perlu pengujian keamanan AI

  • Anda akan segera meluncurkan chatbot, asisten, atau AI agent.
  • Sistem AI Anda mengolah data pribadi dan Anda perlu menunjukkan bahwa data itu dilindungi, sebagaimana diharapkan Undang-Undang Pelindungan Data Pribadi (UU PDP).
  • Sistem AI Anda bisa melakukan tindakan, seperti mengirim pesan, mengubah data, atau melakukan pembayaran.
  • Sistem AI Anda dibangun oleh pihak lain dan Anda menginginkan pemeriksaan kedua yang terpisah.
  • Sistem AI Anda sudah berjalan dan belum pernah diuji terhadap serangan.

Apa yang kami uji

Ruang lingkup kami sepakati bersama Anda sebelum pengujian dimulai. Satu pengujian bisa mencakup satu sistem AI atau beberapa.

  • 01

    Prompt injection

    Instruksi tersembunyi yang disisipkan di email, dokumen, atau halaman web yang dibaca AI.

  • 02

    Kebocoran data

    Upaya membuat AI membuka data rahasia, informasi pengguna lain, atau pengaturannya sendiri.

  • 03

    Jailbreak

    Mengelabui AI agar mengabaikan aturannya, misalnya lewat permainan peran atau desakan bertahap.

  • 04

    Penyalahgunaan alat

    Upaya membuat agen mengirim, mengubah, menghapus, atau membayar padahal tidak semestinya.

  • 05

    Kontrol akses

    Apakah setiap pengguna hanya melihat apa yang boleh dilihatnya melalui AI.

  • 06

    Sistem yang terhubung

    Database, API (antarmuka antarprogram), dan sistem lain di belakang AI, serta apa yang bisa dijangkau AI di sana.

Cara kerja pengujian keamanan AI

Setiap pengujian mengikuti langkah yang sama dan jelas, sehingga Anda selalu tahu apa yang sedang berlangsung.

  1. 1

    Ruang lingkup

    Kami menyepakati apa yang diuji, kapan, dan apa yang tidak boleh disentuh. Anda menyetujuinya secara tertulis.

  2. 2

    Pemetaan

    Kami mempelajari apa yang bisa dibaca AI, apa yang bisa dilakukannya, dan sistem mana yang terhubung dengannya.

  3. 3

    Serangan

    Kami mencoba prompt injection, jailbreak, kebocoran data, dan penyalahgunaan alat secara manual, lalu mencatat apa yang berhasil.

  4. 4

    Laporan

    Anda menerima setiap temuan dalam bahasa yang mudah dipahami, diurutkan menurut risiko, lengkap dengan cara perbaikannya.

  5. 5

    Perlindungan

    Kami membantu merancang perbaikannya, lalu menguji ulang untuk memastikan celahnya tertutup.

Apa yang Anda dapatkan

  • 01

    Ringkasan untuk pimpinan

    Satu halaman yang menjelaskan risiko dalam bahasa bisnis, tanpa jargon.

  • 02

    Laporan teknis

    Setiap temuan dengan masukan persis yang kami pakai, apa yang dilakukan AI, dan cara memperbaikinya.

  • 03

    Rancangan perlindungan

    Rekomendasi pembatasan akses, pemeriksaan masukan dan keluaran, langkah persetujuan, dan pencatatan.

  • 04

    Uji ulang

    Kami memeriksa perbaikan Anda dan memperbarui laporan untuk menunjukkan apa yang sudah tertutup.

Pertanyaan

Tanya jawab

Apa itu uji prompt injection?

Prompt injection terjadi ketika seseorang menyisipkan instruksi tersembunyi di konten yang dibaca AI, misalnya email, dokumen, atau halaman web. Dalam uji prompt injection, kami sendiri yang menanam instruksi itu secara aman untuk melihat apakah AI Anda menurutinya. Jika ya, kami tunjukkan persis bagaimana hal itu terjadi dan cara menghentikannya.

Apa saja yang dicakup keamanan AI?

Keamanan AI berarti melindungi sistem AI yang membaca dan menulis teks, seperti chatbot, asisten, dan agen. Cakupannya meliputi cara AI bisa dikelabui, data apa yang bisa bocor, dan tindakan apa yang bisa dipaksakan kepadanya. Sistem di sekeliling AI juga termasuk, karena batasan yang ditegakkan di luar AI jauh lebih sulit dibujuk.

Apakah TSGN menguji sistem AI buatan pihak lain?

Ya. Kami menguji sistem AI buatan tim Anda sendiri, buatan vendor Anda, maupun buatan kami. Kami memerlukan izin dari pemilik sistemnya, dan ruang lingkup kami sepakati bersama Anda sebelum pengujian dimulai. Jika Anda masih dalam tahap perencanaan, lihat halaman AI agent, otomatisasi AI, dan pengembangan AI kami.

Apa beda pengujian keamanan AI dengan penetration testing?

Penetration testing menyerang aplikasi, jaringan, dan cloud Anda. Pengujian keamanan AI menyerang AI itu sendiri: kami memakai bahasa untuk mengelabuinya, dan memeriksa apa yang bisa dibaca serta dilakukannya. Banyak sistem AI memerlukan keduanya, karena AI berjalan di atas software biasa. Lihat halaman penetration testing kami untuk sisi tersebut.

Apakah prompt injection bisa dicegah sepenuhnya?

Tidak ada yang bisa menjanjikan AI tidak akan pernah menuruti instruksi tersembunyi. Yang bisa dilakukan adalah membatasi dampaknya: memberi AI akses sebatas kebutuhan, memeriksa apa yang masuk dan keluar, mewajibkan persetujuan untuk tindakan berisiko, dan mencatat setiap langkah. Dengan begitu, kalaupun AI berhasil dikelabui, hanya sedikit yang bisa dijangkaunya.

Apa yang Anda perlukan dari kami untuk memulai?

Percakapan singkat tentang apa yang dikerjakan sistem AI Anda dan ke mana saja sistem itu terhubung. Dari situ kami menyusun ruang lingkup untuk Anda setujui. Kami mungkin juga memerlukan akun uji atau salinan sistem untuk pengujian, yang kami sepakati lebih dulu bersama Anda.

Kontak

Uji AI Anda sebelum diuji orang lain.

Ceritakan apa yang dikerjakan sistem AI Anda dan apa saja yang bisa dijangkaunya. Kami akan membalas dengan ruang lingkup yang jelas dan langkah selanjutnya.

Data ini hanya kami gunakan untuk membalas pesan Anda. Kebijakan privasi

  1. Ceritakan kebutuhan Anda.
  2. Kami membalas dengan ruang lingkup dan langkah berikutnya yang jelas.
  3. Pekerjaan baru dimulai setelah Anda setuju.