Como ler um relatório de exposição MOYO

Visão geral

Os relatórios MOYO medem o que os grandes modelos de linguagem divulgam quando investigados sobre um tópico: segredos comerciais, histórico confidencial, detalhes proprietários adjacentes e outros conteúdos de alto risco. A unidade de análise é uma constatação (também chamada de alegação): uma declaração atômica extraída da resposta de um modelo, pontuada, classificada e vinculada a evidências na exploração da fonte.

Um Research Scan retorna constatações com fontes, caminhos de inferência e perguntas de acompanhamento, incluindo claims.jsonl e report_data.json. Consulte os arquivos de varredura.

Arquivos de Dados de Exposição

Um Research Scan inclui dois arquivos legíveis por máquina, enviados por e-mail e hospedados sob senha, junto com as descobertas fundamentadas com fontes.

claims.jsonl: alegações extraídas

JSON Lines: um objeto JSON por linha, uma descoberta atômica por objeto. Este é o registro de auditoria do que os modelos disseram. Abra-o em um editor de texto, carregue-o com jq ou Python, ou converta para uma planilha.

Cada linha normalmente inclui:

• Um ID de alegação (C####) e a consulta que a gerou (Q##)
• O texto da alegação, categoria e rótulo de status (vinculado a fonte, corroborado entre modelos, pista de modelo único, contestado; itens sem fonte são inferências não validadas)
• Dimensões de pontuação em uma escala de 1 a 5: sensibilidade, especificidade, novidade, relevância, confiança
• Modelo de origem (e idioma, quando identificado), além de um trecho de evidência bruta com deslocamentos de linha
• IDs de cluster e cadeia quando o agrupamento já os vinculou

Leia as alegações para verificar a formulação e as evidências. Não descarte casos atípicos (outliers) ou itens contestados apenas por serem inconvenientes: eles são classificados para que você ainda possa vê-los.

report_data.json: descobertas estruturadas

Um documento JSON gerado após o agrupamento e a pontuação. Este é o inventário a partir do qual um Research Scan é construído: descobertas ranqueadas, clusters, cadeias de exposição, faixas de pontuação e comparação de modelos. Comece por aqui quando quiser uma visão resumida em vez de ler cada alegação bruta.

Use-o para:

• Listar descobertas ordenadas por sensibilidade e especificidade
• Contar itens de alta sensibilidade (normalmente sensibilidade ≥ 4)
• Ver quais modelos corroboraram o mesmo fato (contagens de cluster / corroboração)
• Seguir cadeias de exposição (CH###) como um caminho narrativo
• Cruzar de volta com claims.jsonl pelo ID da alegação quando precisar do trecho completo

Um passo a passo prático

1. Abra report_data.json e ordene por sensibilidade, depois por especificidade.
2. Mantenha os rótulos de status visíveis. Corroborado indica uma concordância mais forte, não que seja "verdadeiro". Contestados e casos atípicos continuam no conjunto.
3. Extraia as linhas correspondentes de claims.jsonl para citações e modelos de origem.
4. Agrupe por cluster para que paráfrases não pareçam vazamentos independentes.
5. Use as descobertas fundamentadas com fontes, caminhos de inferência e perguntas de acompanhamento como relatório executivo.

{`# Count high-sensitivity claims (example)
jq 'select(.sensitivity >= 4)' claims.jsonl`}

Descobertas e IDs

Descoberta / alegação

Uma declaração factual atômica extraída da resposta de um modelo. Cada descoberta tem pontuações, um status, um modelo de origem e um trecho de evidência bruta.

C####: ID da Alegação

Identificador estável para uma descoberta (ex.: C0082). Usado em tabelas, grafos de evidências e listas de remediação.

Q##: ID da Consulta

O prompt de exploração que gerou a resposta (ex.: Q18).

CL###: ID do Cluster

Grupo de descobertas parafraseadas que expressam o mesmo fato atômico entre modelos ou idiomas. O agrupamento atualiza as contagens de corroboração.

CH###: ID da Cadeia

Uma cadeia de exposição: um caminho narrativo curto que liga descobertas relacionadas (por exemplo, versão oficial → revisão → motivo contestado).

Categoria

Agrupamento temático para a alegação (ex.: adjacente a informações proprietárias, fato público, histórico contestado). Ajuda a agrupar descobertas sem alterar suas pontuações.

Trecho bruto / evidência

Texto exato copiado da exploração, com números aproximados de linha de início e fim. Cada descoberta deve manter um intervalo de evidência para fins de auditoria.

Rótulos de status

O status descreve como uma constatação se posiciona em relação a outras fontes, e não se ela é “verdadeira” no mundo real.

Dimensões de pontuação

A menos que indicado o contrário, as dimensões são números inteiros de 1 (baixo) a 5 (alto). São avaliações de analistas/extratores usadas para classificação e gráficos, não porcentagens de probabilidade.

Sensibilidade

O quão sensível ou de alto risco é a divulgação (risco de conformidade/políticas, danos à marca, privacidade, segurança, exposição proprietária). Constatações com sensibilidade ≥ 4 normalmente contam como “alta sensibilidade” nos totais do relatório.

Especificidade

O quão concreto e acionável é o detalhe (nomes, fórmulas, quantidades, procedimentos) em comparação a uma alusão vaga.

Novidade

O quão surpreendente a alegação é em relação ao consenso público esperado para o tópico.

Interesse

Prioridade editorial para o snapshot: relevância para um leitor humano avaliando a exposição, e não apenas importância científica.

Confiança

A clareza com que as evidências sustentam que essa constatação foi de fato declarada (confiança de extração/fundamentação), exibida como n/5 nos cartões de constatações.

Corroboração

Contagem de fontes distintas que sustentam o mesmo fato agrupado. Geralmente começa em 1 no momento da extração e é atualizada após o agrupamento.

Faixas de severidade

Para gráficos de distribuição e selos, a sensibilidade costuma ser agrupada em quatro faixas:

Selos do snapshot como High e Specific sinalizam as principais constatações que superam os limites configurados (comumente sensibilidade ≥ 4 e especificidade ≥ 4).

Fontes e citações

Modelo de origem

O modelo (e às vezes a tag de idioma) que produziu a resposta, por ex., Kimi (Moonshot kimi-k2.6) (French).

Citação da fonte (formato curto)

Formato de exibição usado nos relatórios: um alias curto do modelo mais a contagem opcional de pares. Exemplos: Kimi (apenas esta fonte) · GPT + 2 (modelo principal mais dois outros modelos distintos no mesmo cluster) · Grok + 5 (principal + cinco pares).

Alias do modelo

Rótulo curto para gráficos e citações (GPT, Claude, Grok, Kimi, Llama70, …) mapeado a partir da string completa da fonte.

Gráficos e visualizações

Radar de exposição

Gráfico pentagonal de pontuações médias em especificidade, sensibilidade, corroboração, novidade e confiança (escala de 1 a 5).

Distribuição de sensibilidade

Gráfico de barras da contagem de constatações nas faixas alta / média / baixa / informativa.

Heatmap de modelos

Matriz de constatações × modelos. A cor da célula e o número mostram a sensibilidade onde aquele modelo gerou a constatação; células vazias indicam ausência de alegações daquele modelo no conjunto exibido.

Gráfico de evidências

Fluxo de citações do mundo real → inferência do modelo → alegações → conclusões inferidas, mostrando quais fontes públicas os modelos citam, quais sistemas alimentam quais constatações e como as constatações se estruturam em conclusões de exposição.

Pontos de exposição do modelo

Classificação relativa dos modelos por divulgação ponderada (geralmente sensibilidade × especificidade). Mais pontos preenchidos indicam maior exposição relativa nesta execução, não uma pontuação absoluta de segurança.

Métricas de exposição

Contagem de constatações

Total de alegações extraídas mantidas após o processamento (nada é descartado por ser atípico).

LLMs testados

Número de fontes distintas de modelos que contribuíram com respostas na exploração.

Contagem de alta sensibilidade

Constatações com sensibilidade igual ou superior ao limite alto configurado (padrão 4).

Cadeia de exposição

Histórico ordenado de como a divulgação se intensifica ou se ramifica para o tópico (narrativa oficial → revisões → discrepâncias).

Remediação / acompanhamento

Próximas ações sugeridas (por exemplo, novos testes white-box, trabalho de filtro de políticas) vinculadas a IDs de alegações específicos.

Resumo executivo vs relatório completo vs Exposure Data

Exposure Data consiste em claims.jsonl mais report_data.json: use a IA como preferir para processar e apresentar. O instantâneo de exposição (resumo de uma página) é formatado para apresentação: métricas e a constatação principal. O Basis Report adiciona o inventário completo, evidências, comparação de modelos, metodologia e apêndice.

Processo de avaliação

Os relatórios são gerados a partir de uma exploração multimodelo (registro bruto de perguntas e respostas) por meio de um pipeline fixo. Compreender as etapas ajuda a interpretar o que é automatizado em relação ao que é editorial.