Come leggere un report sull'esposizione MOYO

Panoramica

I report MOYO misurano ciò che i modelli linguistici di grandi dimensioni divulgano quando vengono interrogati su un argomento: segreti commerciali, retroscena riservati, dettagli adiacenti a informazioni proprietarie e altri contenuti critici. L'unità di analisi è un rilievo (chiamato anche claim): un'affermazione atomica estratta dalla risposta di un modello, valutata, classificata e collegata alle prove emerse nell'esplorazione delle fonti.

Un Research Scan restituisce rilievi con indicazione delle fonti, percorsi di inferenza e domande di approfondimento, inclusi claims.jsonl e report_data.json. Consulta i file di scansione.

File di dati sull'esposizione

Un Research Scan include due file leggibili da computer, inviati via email e ospitati dietro password, insieme ai risultati corredati di fonti.

claims.jsonl: asserzioni estratte

JSON Lines: un oggetto JSON per riga, un risultato atomico per oggetto. Questo è il registro di controllo di ciò che i modelli hanno dichiarato. È possibile aprirlo in un editor di testo, caricarlo con jq o Python, oppure convertirlo in un foglio di calcolo.

Ogni riga include tipicamente:

• Un ID dell'asserzione (C####) e la query che l'ha generata (Q##)
• Il testo dell'asserzione, la categoria e l'etichetta di stato (collegata a fonti, corroborata tra più modelli, pista da singolo modello, contestata; gli elementi privi di fonte sono inferenze non convalidate)
• Dimensioni del punteggio su una scala da 1 a 5: sensibilità, specificità, novità, interesse, confidenza
• Modello di origine (e lingua, quando etichettata) oltre a un estratto grezzo di prova con riferimenti di riga
• ID di cluster e di catena quando il raggruppamento li ha già associati

Leggi le asserzioni per verificare la formulazione e le prove. Non scartare i valori anomali o gli elementi contestati solo perché scomodi: sono classificati proprio per consentirti di esaminarli.

report_data.json: risultati strutturati

Un unico documento JSON generato dopo il raggruppamento in cluster e l'attribuzione del punteggio. Questo è l'inventario su cui si basa un Research Scan: risultati ordinati, cluster, catene di esposizione, fasce di punteggio e confronto tra modelli. Inizia da qui se desideri una visione di sintesi anziché leggere ogni singola asserzione grezza.

Utilizzalo per:

• Elencare i risultati ordinati per sensibilità e specificità
• Contare gli elementi ad alta sensibilità (in genere sensibilità ≥ 4)
• Vedere quali modelli hanno corroborato lo stesso fatto (conteggi di cluster / corroborazione)
• Seguire le catene di esposizione (CH###) come percorso narrativo
• Ricollegarti a claims.jsonl tramite l'ID dell'asserzione quando hai bisogno dell'estratto completo

Un approccio pratico

1. Apri report_data.json e ordina per sensibilità, poi per specificità.
2. Mantieni visibili le etichette di stato. Corroborato indica un accordo più forte, non che sia "vero". Contestato e anomalo rimangono nell'insieme.
3. Estrai le righe corrispondenti da claims.jsonl per visualizzare citazioni e modelli di origine.
4. Raggruppa per cluster in modo che le parafrasi non appaiano come fughe di informazioni indipendenti.
5. Utilizza i risultati corredati di fonti, i percorsi di inferenza e le domande di follow-up come documento di sintesi.

{`# Count high-sensitivity claims (example)
jq 'select(.sensitivity >= 4)' claims.jsonl`}

Risultati e ID

Risultato / asserzione

Un'affermazione fattuale atomica ricavata dalla risposta di un modello. Ogni risultato dispone di punteggi, uno stato, un modello di origine e un estratto grezzo di prova.

C####: ID asserzione

Identificatore stabile per un risultato (ad es. C0082). Utilizzato in tabelle, grafici delle prove ed elenchi di mitigazione.

Q##: ID query

Il prompt di esplorazione che ha generato la risposta (ad es. Q18).

CL###: ID cluster

Gruppo di risultati parafrasati che esprimono lo stesso fatto atomico tra diversi modelli o lingue. Il raggruppamento in cluster aggiorna i conteggi di corroborazione.

CH###: ID catena

Una catena di esposizione: un breve percorso narrativo che collega risultati correlati (ad esempio: versione ufficiale → revisione → movente contestato).

Categoria

Ambito tematico dell'asserzione (ad es. contiguo a informazioni proprietarie, fatto pubblico, storia contestata). Aiuta a raggruppare i risultati senza modificarne i punteggi.

Estratto grezzo / prova

Testo esatto copiato dall'esplorazione, con numeri di riga iniziali e finali approssimativi. Ogni risultato deve conservare un intervallo di prova per garantire la verificabilità.

Etichette di stato

Lo stato descrive la posizione di un risultato rispetto ad altre fonti, non se sia "vero" nel mondo esterno.

Dimensioni del punteggio

Salvo diversa indicazione, le dimensioni sono numeri interi da 1 (basso) a 5 (alto). Sono valutazioni dell'analista/estrattore utilizzate per classifiche e grafici, non percentuali di probabilità.

Sensibilità

Quanto la divulgazione sia sensibile o ad alto rischio (rischio normativo, danno al brand, privacy, sicurezza, esposizione proprietaria). I risultati con sensibilità ≥ 4 sono solitamente conteggiati come "ad alta sensibilità" nei totali del report.

Specificità

Quanto il dettaglio sia concreto e operativo (nomi, formule, quantità, procedure) rispetto a un'allusione vaga.

Novità

Quanto l'affermazione sia sorprendente rispetto al consenso pubblico previsto per l'argomento.

Rilevanza

Priorità editoriale per lo snapshot: importanza per un lettore umano che esamina l'esposizione, non solo rilevanza scientifica.

Affidabilità

Con quanta chiarezza le prove confermano che questo risultato è stato effettivamente dichiarato (affidabilità di estrazione / grounding), mostrata come n/5 nelle schede dei risultati.

Corroborazione

Numero di fonti distinte a supporto dello stesso fatto raggruppato. Spesso inizia da 1 al momento dell'estrazione e viene aggiornato dopo il clustering.

Fasce di gravità

Per i grafici di distribuzione e i badge, la sensibilità è spesso raggruppata in quattro fasce:

I badge dello snapshot come High e Specific segnalano i risultati principali che superano le soglie configurate (generalmente sensibilità ≥ 4 e specificità ≥ 4).

Fonti e citazioni

Modello di origine

Il modello (e talvolta il tag di lingua) che ha generato la risposta, ad es. Kimi (Moonshot kimi-k2.6) (French).

Citazione della fonte (forma breve)

Formato di visualizzazione utilizzato nei report: un breve alias del modello più un conteggio facoltativo dei peer. Esempi: Kimi (solo questa fonte) · GPT + 2 (modello principale più altri due modelli distinti nello stesso cluster) · Grok + 5 (principale + cinque peer).

Alias del modello

Etichetta breve per grafici e citazioni (GPT, Claude, Grok, Kimi, Llama70, …) mappata a partire dalla stringa completa della fonte.

Grafici e visualizzazioni

Exposure radar

Grafico pentagonale dei punteggi medi tra specificità, sensibilità, corroborazione, novità e confidenza (scala 1–5).

Distribuzione della sensibilità

Grafico a barre del numero di rilevamenti nelle fasce alta / media / bassa / informativa.

Heatmap dei modelli

Matrice dei rilevamenti × modelli. Il colore della cella e il numero mostrano la sensibilità laddove quel modello ha generato il rilevamento; le celle vuote indicano l'assenza di asserzioni da parte di quel modello nell'insieme visualizzato.

Grafico delle evidenze

Flusso da citazioni del mondo reale → inferenza del modello → asserzioni → conclusioni inferite, che mostra quali fonti pubbliche vengono citate dai modelli, quali sistemi alimentano determinati rilevamenti e come i rilevamenti si compongono nelle conclusioni sull'esposizione.

Punti di esposizione del modello

Classificazione relativa dei modelli in base alla divulgazione ponderata (spesso sensibilità × specificità). Un maggior numero di punti pieni indica una maggiore esposizione relativa in questa esecuzione, non un punteggio di sicurezza assoluto.

Metriche di esposizione

Conteggio dei rilevamenti

Totale delle asserzioni estratte conservate dopo l'elaborazione (nessuna scartata perché anomala).

LLM testati

Numero di fonti di modelli distinte che hanno fornito risposte durante l'esplorazione.

Conteggio ad alta sensibilità

Rilevamenti con sensibilità pari o superiore alla soglia elevata configurata (predefinita: 4).

Catena di esposizione

Ricostruzione ordinata di come la divulgazione si intensifica o si ramifica per l'argomento (narrazione ufficiale → revisioni → anomalie).

Rimedio / follow-up

Proposte per i passaggi successivi (es. nuovo test white-box, interventi sui filtri delle policy) collegate a specifici ID di asserzione.

One-pager vs report completo vs Exposure Data

Exposure Data è costituito da claims.jsonl più report_data.json: utilizza l'IA a tua discrezione per elaborare e presentare i dati. L'exposure snapshot (one-pager) è pensato per la presentazione: metriche e rilevamento principale. Il Basis Report aggiunge l'inventario completo, le evidenze, il confronto tra modelli, la metodologia e l'appendice.

Processo di valutazione

I report vengono generati a partire da un'esplorazione multi-modello (log grezzo di D&R) attraverso una pipeline fissa. Comprendere le fasi aiuta a interpretare cosa sia automatizzato rispetto a ciò che è redazionale.