Bir MOYO maruziyet raporu nasıl okunur

Genel Bakış

MOYO raporları, büyük dil modellerinin belirli bir konu üzerinde sorgulandığında neleri ifşa ettiğini ölçer: ticari sırlar, hassas geçmiş, tescilli nitelikteki detaylar ve diğer yüksek riskli içerikler. Temel analiz birimi bir bulgudur (aynı zamanda bir iddia olarak da adlandırılır): bir model yanıtından çıkarılan, puanlanan, sınıflandırılan ve kaynak araştırmasındaki kanıtlara bağlanan atomik bir ifade.

Bir Research Scan; kaynaklı bulguları, çıkarım yollarını ve takip sorularını sunar; buna claims.jsonl ile report_data.json da dahildir. Bkz. tarama dosyaları.

Maruziyet Veri Dosyaları

Bir Research Scan, kaynaklandırılmış bulguların yanı sıra e-posta ile gönderilen ve bir şifrenin ardında barındırılan makine tarafından okunabilir iki dosya içerir.

claims.jsonl: çıkarılan iddialar

JSON Lines: her satırda bir JSON nesnesi, her nesnede bir atomik bulgu. Bu, modellerin söylediklerinin denetim günlüğüdür (audit log). Bir metin düzenleyicide açın, jq veya Python ile yükleyin ya da bir elektronik tabloya dönüştürün.

Her satır genellikle şunları içerir:

• Bir iddia kimliği (C####) ve bunu ortaya çıkaran sorgu (Q##)
• İddia metni, kategori ve durum etiketi (kaynak bağlantılı, modeller arası doğrulanmış, tek model ipucu, itiraz edilmiş; kaynaksız ögeler doğrulanmamış çıkarımlardır)
• 1–5 ölçeğinde puan boyutları: hassasiyet, özgüllük, yenilik, ilginçlik, güven
• Kaynak model (ve etiketlendiğinde dil) artı satır kaymalarıyla birlikte ham kanıt alıntısı
• Gruplama bunları önceden bağlamışsa küme ve zincir kimlikleri

İfadeleri ve kanıtları doğrulamak için iddiaları okuyun. Aykırı veya itiraz edilen ögeleri uygunsuz oldukları için çıkarmayın: onları görebilmeniz için sınıflandırılmışlardır.

report_data.json: yapılandırılmış bulgular

Kümeleme ve puanlamadan sonra yazılan tek bir JSON belgesi. Bu, bir Research Scan'in oluşturulduğu envanterdir: sıralanmış bulgular, kümeler, maruziyet zincirleri, puan aralıkları ve model karşılaştırması. Her bir ham iddiayı okumak yerine bir özet görünümü istediğinizde buradan başlayın.

Bunu şu amaçlarla kullanın:

• Bulguları hassasiyet ve özgüllüğe göre sıralanmış olarak listelemek
• Yüksek hassasiyetli ögeleri saymak (genellikle hassasiyet ≥ 4)
• Hangi modellerin aynı gerçeği doğruladığını görmek (küme / doğrulama sayıları)
• Maruziyet zincirlerini (CH###) anlatısal bir yol olarak takip etmek
• Alıntının tamamına ihtiyaç duyduğunuzda iddia kimliği üzerinden claims.jsonl dosyasına geri bağlanmak

Pratik bir adım

1. report_data.json dosyasını açın ve önce hassasiyete, ardından özgüllüğe göre sıralayın.
2. Durum etiketlerini görünür tutun. Doğrulanmış olması daha güçlü bir uzlaşmadır, "doğru" olduğu anlamına gelmez. İtiraz edilen ve aykırı olanlar kümede kalır.
3. Alıntılar ve kaynak modeller için claims.jsonl dosyasından eşleşen satırları çekin.
4. Farklı ifadelerle anlatılanların bağımsız sızıntılar gibi görünmemesi için kümeye göre gruplayın.
5. Kaynaklandırılmış bulguları, çıkarım yollarını ve takip sorularını brifing olarak kullanın.

{`# Count high-sensitivity claims (example)
jq 'select(.sensitivity >= 4)' claims.jsonl`}

Bulgular & Kimlikler

Bulgu / iddia

Bir model yanıtından alınan atomik olgusal ifade. Her bulgunun puanları, bir durumu, bir kaynak modeli ve bir ham kanıt alıntısı vardır.

C####: İddia Kimliği

Bir bulgu için sabit tanımlayıcı (ör. C0082). Tablolarda, kanıt grafiklerinde ve iyileştirme listelerinde kullanılır.

Q##: Sorgu Kimliği

Yanıtı ortaya çıkaran keşif istemi (ör. Q18).

CL###: Küme Kimliği

Modeller veya diller arasında aynı atomik gerçeği ifade eden, farklı sözcüklerle anlatılmış bulgular grubu. Kümeleme, doğrulama sayılarını günceller.

CH###: Zincir Kimliği

Bir maruziyet zinciri: ilgili bulguları birbirine bağlayan kısa bir anlatı yolu (örneğin resmi görüş → revizyon → itiraz edilen gerekçe).

Kategori

İddia için tematik grup (ör. tescilliye yakın, kamuya açık gerçek, itiraz edilen geçmiş). Puanlarını değiştirmeden bulguları gruplamaya yardımcı olur.

Ham alıntı / kanıt

Yaklaşık başlangıç ve bitiş satır numaralarıyla keşiften kopyalanan birebir metin. Her bulgu, denetlenebilirlik için bir kanıt aralığı içermelidir.

Durum etiketleri

Durum, bir bulgunun dış dünyada “doğru” olup olmadığını değil, diğer kaynaklara kıyasla nasıl konumlandığını açıklar.

Puan boyutları

Aksi belirtilmedikçe, boyutlar 1 (düşük) ile 5 (yüksek) arasında tam sayılardır. Bunlar olasılık yüzdeleri değil, sıralama ve grafikler için kullanılan analist / çıkarıcı değerlendirmeleridir.

Hassasiyet

Açığa çıkarmanın ne kadar hassas veya kritik olduğu (politika riski, marka zararı, gizlilik, güvenlik, özel bilgi ifşası). Hassasiyeti ≥ 4 olan bulgular, rapor toplamlarında genellikle “yüksek hassasiyetli” olarak sayılır.

Spesifiklik

Detayın muğlak bir ima yerine ne kadar somut ve eyleme geçirilebilir olduğu (isimler, formüller, miktarlar, prosedürler).

Özgünlük

İddianın, konu için beklenen kamuoyu uzlaşısına kıyasla ne kadar şaşırtıcı olduğu.

İlgi Çekicilik

Anlık görüntü için editoryal öncelik: yalnızca bilimsel önem değil, ifşayı inceleyen bir insan okuyucu için dikkat çekicilik.

Güvenilirlik

Kanıtın, bu bulgunun gerçekten ifade edildiğini ne kadar net bir şekilde desteklediği (çıkarım / dayanak güvenilirliği); bulgu kartlarında n/5 olarak gösterilir.

Doğrulama (Corroboration)

Aynı kümelenmiş olguyu destekleyen farklı kaynakların sayısı. Çıkarım sırasında genellikle 1 olarak başlar ve kümelemeden sonra güncellenir.

Önem derecesi aralıkları

Dağılım grafikleri ve rozetler için hassasiyet genellikle dört aralıkta toplanır:

High ve Specific gibi anlık görüntü rozetleri, yapılandırılmış eşikleri aşan (genellikle hassasiyet ≥ 4 ve spesifiklik ≥ 4) en önemli bulguları işaretler.

Kaynaklar ve alıntılar

Kaynak model

Yanıtı üreten model (ve bazen dil etiketi), örn. Kimi (Moonshot kimi-k2.6) (French).

Kaynak alıntısı (kısa form)

Raporlarda kullanılan görünüm biçimi: kısa bir model rumuzu ve isteğe bağlı eş model sayısı. Örnekler: Kimi (yalnızca bu kaynak) · GPT + 2 (birincil model artı aynı kümedeki diğer iki farklı model) · Grok + 5 (birincil + beş eş model).

Model rumuzu

Tam kaynak dizesinden eşlenen, grafikler ve alıntılar için kısa etiket (GPT, Claude, Grok, Kimi, Llama70, …).

Grafikler ve görselleştirmeler

Exposure radarı

Özgüllük, hassasiyet, doğrulama, özgünlük ve güvenilirlik genelindeki ortalama puanların beşgen grafiği (1–5 ölçeği).

Hassasiyet dağılımı

Yüksek / orta / düşük / bilgilendirme bantlarındaki bulgu sayılarının çubuk grafiği.

Model ısı haritası

Bulgular × modeller matrisi. Hücre rengi ve rakam, o modelin bulguyu ürettiği hassasiyeti gösterir; boş hücreler, görüntülenen kümede o modele ait bir iddia olmadığını belirtir.

Kanıt grafiği

Modellerin hangi genel kaynaklara atıfta bulunduğunu, hangi sistemlerin hangi bulguları beslediğini ve bulguların risk sonuçlarına nasıl dönüştüğünü gösteren gerçek dünya alıntıları → model çıkarımı → iddialar → çıkarılan sonuçlar akışı.

Model maruziyet noktaları

Ağırlıklı ifşaya göre modellerin göreceli sıralaması (genellikle hassasiyet × özgüllük). Daha fazla dolu nokta, bu çalıştırmada daha yüksek göreceli maruziyet anlamına gelir; mutlak bir güvenlik puanı değildir.

Maruziyet metrikleri

Bulgu sayısı

İşleme sonrasında korunan toplam ayıklanmış iddia sayısı (tuhaf olduğu gerekçesiyle hiçbir şey çıkarılmaz).

Test edilen LLM'ler

Araştırmada yanıtlara katkıda bulunan farklı model kaynaklarının sayısı.

Yüksek hassasiyet sayısı

Yapılandırılan yüksek eşik değerinde veya üzerinde hassasiyete sahip bulgular (varsayılan 4).

Maruziyet zinciri

Konu için ifşanın nasıl tırmandığının veya dallandığının sıralı hikayesi (resmi anlatı → revizyonlar → aykırı değerler).

İyileştirme / takip

Belirli iddia kimliklerine bağlı, önerilen sonraki eylemler (ör. beyaz kutu yeniden testi, politika filtresi çalışması).

Tek sayfalık özet, tam rapor ve Exposure Data karşılaştırması

Exposure Data, claims.jsonl ve report_data.json dosyalarından oluşur: verileri dilediğiniz gibi işlemek ve sunmak için yapay zekayı kullanın. Maruziyet anlık görüntüsü (tek sayfalık özet) sunum için hazırlanmıştır: metrikler ve öncü bulgu. Basis Report ise tam envanteri, kanıtları, model karşılaştırmasını, metodolojiyi ve eki ekler.

Değerlendirme süreci

Raporlar, çok modelli bir araştırmadan (ham S&C günlüğü) sabit bir işlem hattı üzerinden üretilir. Aşamaları bilmek, neyin otomatik neyin editoryal olduğunu anlamaya yardımcı olur.