Cara membaca laporan paparan MOYO

Ikhtisar

Laporan MOYO mengukur apa yang diungkapkan oleh model bahasa besar ketika diselidiki mengenai suatu topik: rahasia dagang, riwayat sensitif, detail terkait kepemilikan eksklusif, dan konten berisiko tinggi lainnya. Unit analisisnya adalah temuan (disebut juga klaim): pernyataan atomik yang diekstrak dari respons model, dinilai, diklasifikasikan, dan ditautkan kembali ke bukti dalam eksplorasi sumber.

Research Scan menghasilkan temuan bersumber, jalur inferensi, dan pertanyaan tindak lanjut, termasuk claims.jsonl dan report_data.json. Lihat file pemindaian.

File Data Paparan

Research Scan mencakup dua file yang dapat dibaca mesin, dikirim melalui email dan dihosting di balik kata sandi, bersama dengan temuan yang bersumber.

claims.jsonl: klaim yang diekstraksi

JSON Lines: satu objek JSON per baris, satu temuan atomik per objek. Ini adalah log audit dari apa yang dikatakan model. Buka di editor teks, muat dengan jq atau Python, atau konversikan ke spreadsheet.

Setiap baris biasanya mencakup:

• ID klaim (C####) dan kueri yang memicunya (Q##)
• Teks klaim, kategori, dan label status (tertaut-sumber, terkoroborasi lintas-model, petunjuk model-tunggal, diperdebatkan; item tanpa sumber adalah inferensi yang belum divalidasi)
• Dimensi skor pada skala 1–5: sensitivitas, spesifisitas, kebaruan, daya tarik, keyakinan
• Model sumber (dan bahasa, jika ditandai) ditambah kutipan bukti mentah dengan offset baris
• ID kluster dan rantai jika pengelompokan telah melampirkannya

Baca klaim untuk memverifikasi susunan kata dan bukti. Jangan hapus pencilan atau item yang diperdebatkan hanya karena itu merepotkan: semuanya diklasifikasikan sehingga Anda tetap dapat melihatnya.

report_data.json: temuan terstruktur

Satu dokumen JSON yang ditulis setelah pengelompokan dan pemberian skor. Ini adalah inventaris dasar pembangun Research Scan: temuan berperingkat, kluster, rantai paparan, kelompok skor, dan perbandingan model. Mulailah dari sini ketika Anda menginginkan tampilan ringkas daripada membaca setiap klaim mentah.

Gunakan ini untuk:

• Mencantumkan temuan yang diurutkan berdasarkan sensitivitas dan spesifisitas
• Menghitung item dengan sensitivitas tinggi (biasanya sensitivitas ≥ 4)
• Melihat model mana yang mengoroborasi fakta yang sama (jumlah kluster / koroborasi)
• Mengikuti rantai paparan (CH###) sebagai alur narasi
• Menggabungkan kembali ke claims.jsonl berdasarkan ID klaim ketika Anda memerlukan kutipan lengkap

Langkah praktis

1. Buka report_data.json dan urutkan berdasarkan sensitivitas, lalu spesifisitas.
2. Biarkan label status tetap terlihat. Terkoroborasi berarti kesepakatan yang lebih kuat, bukan "benar." Item yang diperdebatkan dan pencilan tetap berada dalam kumpulan data.
3. Tarik baris yang cocok dari claims.jsonl untuk kutipan dan model sumber.
4. Kelompokkan berdasarkan kluster agar parafrasa tidak terlihat seperti kebocoran independen.
5. Gunakan temuan yang bersumber, jalur inferensi, dan pertanyaan tindak lanjut sebagai ringkasan singkat.

{`# Count high-sensitivity claims (example)
jq 'select(.sensitivity >= 4)' claims.jsonl`}

Temuan & ID

Temuan / klaim

Pernyataan faktual atomik yang diambil dari jawaban model. Setiap temuan memiliki skor, status, model sumber, dan kutipan bukti mentah.

C####: ID Klaim

Pengidentifikasi stabil untuk suatu temuan (misalnya C0082). Digunakan dalam tabel, grafik bukti, dan daftar remediasi.

Q##: ID Kueri

Perintah eksplorasi yang memicu jawaban tersebut (misalnya Q18).

CL###: ID Kluster

Kelompok temuan terparafrasa yang menyatakan fakta atomik yang sama di berbagai model atau bahasa. Pengelompokan memperbarui jumlah koroborasi.

CH###: ID Rantai

Rantai paparan: alur narasi singkat yang menghubungkan temuan-temuan terkait (misalnya pernyataan resmi → revisi → motif yang diperdebatkan).

Kategori

Wadah tematik untuk klaim (misalnya mendekati kepemilikan eksklusif, fakta publik, sejarah yang diperdebatkan). Membantu mengelompokkan temuan tanpa mengubah skornya.

Kutipan mentah / bukti

Teks persis yang disalin dari eksplorasi, dengan perkiraan nomor baris awal dan akhir. Setiap temuan harus mempertahankan rentang bukti untuk auditabilitas.

Label status

Status mendeskripsikan bagaimana temuan berada relatif terhadap sumber lain, bukan apakah temuan tersebut “benar” di dunia nyata.

Dimensi skor

Kecuali dinyatakan lain, dimensi merupakan bilangan bulat dari 1 (rendah) hingga 5 (tinggi). Dimensi ini adalah penilaian analis / ekstraktor yang digunakan untuk pemeringkatan dan diagram, bukan persentase probabilitas.

Sensitivitas

Seberapa sensitif atau berisiko tinggi pengungkapan tersebut (risiko kebijakan, kerugian merek, privasi, keselamatan, paparan hak milik). Temuan dengan sensitivitas ≥ 4 biasanya dihitung sebagai "sensitivitas tinggi" dalam total laporan.

Spesifisitas

Seberapa konkret dan dapat ditindaklanjutinya rincian tersebut (nama, formula, jumlah, prosedur) dibandingkan kiasan yang samar.

Kebaruan

Seberapa mengejutkan klaim tersebut relatif terhadap konsensus publik yang diharapkan untuk topik tersebut.

Daya Tarik

Prioritas editorial untuk ringkasan: arti penting bagi pembaca manusia yang meninjau eksposur, bukan semata-mata kepentingan ilmiah.

Keyakinan

Seberapa jelas bukti mendukung bahwa temuan ini benar-benar dinyatakan (keyakinan ekstraksi / grounding), ditampilkan sebagai n/5 pada kartu temuan.

Koroborasi

Jumlah sumber berbeda yang mendukung fakta terkluster yang sama. Sering kali dimulai dari 1 pada saat ekstraksi dan diperbarui setelah pengelompokan.

Tingkat keparahan

Untuk diagram distribusi dan lencana, sensitivitas sering kali dikelompokkan ke dalam empat rentang:

Lencana ringkasan seperti High dan Specific menandai temuan utama yang melampaui ambang batas yang dikonfigurasi (umumnya sensitivitas ≥ 4 dan spesifisitas ≥ 4).

Sumber & kutipan

Model sumber

Model (dan terkadang tag bahasa) yang menghasilkan jawaban, mis. Kimi (Moonshot kimi-k2.6) (French).

Kutipan sumber (bentuk ringkas)

Bentuk tampilan yang digunakan dalam laporan: alias model singkat ditambah jumlah rekan opsional. Contoh: Kimi (hanya sumber ini) · GPT + 2 (model utama ditambah dua model berbeda lainnya dalam kluster yang sama) · Grok + 5 (utama + lima rekan).

Alias model

Label singkat untuk diagram dan sitasi (GPT, Claude, Grok, Kimi, Llama70, …) yang dipetakan dari string sumber lengkap.

Bagan & grafik

Radar paparan

Bagan segi lima dari skor rata-rata pada spesifisitas, sensitivitas, koroborasi, kebaruan, dan keyakinan (skala 1–5).

Distribusi sensitivitas

Bagan batang dari jumlah temuan dalam rentang tinggi / sedang / rendah / informasional.

Heatmap model

Matriks temuan × model. Warna sel dan angka menunjukkan sensitivitas di mana model tersebut menghasilkan temuan; sel kosong berarti tidak ada klaim dari model tersebut dalam rangkaian yang ditampilkan.

Grafik bukti

Alur dari sitasi dunia nyata → inferensi model → klaim → kesimpulan yang disimpulkan, menunjukkan sumber publik mana yang dikutip model, sistem mana yang memasok temuan tertentu, dan bagaimana temuan-temuan disusun menjadi kesimpulan paparan.

Titik paparan model

Peringkat relatif model berdasarkan pengungkapan berbobot (sering kali sensitivitas × spesifisitas). Lebih banyak titik terisi berarti paparan relatif lebih tinggi dalam pengujian ini, bukan skor keamanan mutlak.

Metrik paparan

Jumlah temuan

Total klaim terekstraksi yang dipertahankan setelah pemrosesan (tidak ada yang dibuang karena janggal).

LLM yang diuji

Jumlah sumber model berbeda yang memberikan jawaban dalam eksplorasi.

Jumlah sensitivitas tinggi

Temuan dengan sensitivitas pada atau di atas ambang batas tinggi yang dikonfigurasi (standarnya 4).

Rantai paparan

Alur terurut mengenai bagaimana pengungkapan meningkat atau bercabang untuk topik tersebut (narasi resmi → revisi → pencilan).

Remediasi / tindak lanjut

Saran tindakan selanjutnya (misalnya pengujian ulang white-box, penyesuaian filter kebijakan) yang terikat pada ID klaim tertentu.

Ringkasan satu halaman vs laporan lengkap vs Exposure Data

Exposure Data adalah claims.jsonl ditambah report_data.json: gunakan AI sesuai kebutuhan Anda untuk mengolah dan menyajikannya. Ringkasan paparan (satu halaman) dikemas untuk presentasi: metrik dan temuan utama. Basis Report menambahkan inventaris lengkap, bukti, perbandingan model, metodologi, dan lampiran.

Proses penilaian

Laporan dihasilkan dari eksplorasi multi-model (log Tanya & Jawab mentah) melalui alur kerja tetap. Mengetahui tahapan ini membantu menafsirkan apa yang otomatis dibandingkan dengan hasil penyuntingan editorial.