Jak czytać raport ekspozycji MOYO

Przegląd

Raporty MOYO mierzą, co duże modele językowe ujawniają podczas sondowania na dany temat: tajemnice handlowe, wrażliwą historię, szczegóły powiązane z prawami własności oraz inne treści o wysokim znaczeniu. Jednostką analizy jest ustalenie (zwane również twierdzeniem): atomowe stwierdzenie wyodrębnione z odpowiedzi modelu, ocenione, sklasyfikowane i powiązane z dowodami w źródłowej eksploracji.

Badanie Research Scan dostarcza ustalenia poparte źródłami, ścieżki wnioskowania i pytania uzupełniające, w tym claims.jsonl oraz report_data.json. Zobacz pliki skanowania.

Pliki danych ekspozycji

Research Scan obejmuje dwa pliki do odczytu maszynowego, przesyłane pocztą elektroniczną i hostowane za hasłem, wraz z udokumentowanymi ustaleniami źródłowymi.

claims.jsonl: wyodrębnione twierdzenia

JSON Lines: jeden obiekt JSON na wiersz, jedno atomowe ustalenie na obiekt. Jest to dziennik audytu tego, co odpowiedziały modele. Otwórz go w edytorze tekstu, załaduj za pomocą jq lub Pythona albo przekonwertuj do arkusza kalkulacyjnego.

Każdy wiersz zazwyczaj zawiera:

• Identyfikator twierdzenia (C####) oraz zapytanie, które je wywołało (Q##)
• Treść twierdzenia, kategorię i etykietę statusu (powiązane ze źródłem, potwierdzone przez wiele modeli, trop z pojedynczego modelu, sporne; elementy bez źródła to niezweryfikowane wnioski)
• Wymiary ocen w skali 1–5: wrażliwość, specyficzność, nowość, interesowność, pewność
• Model źródłowy (oraz język, jeśli oznaczono) wraz z surowym fragmentem materiału dowodowego z numerami wierszy
• Identyfikatory klastra i łańcucha, jeśli grupowanie już je przypisało

Przeglądaj twierdzenia, aby zweryfikować sformułowania i dowody. Nie odrzucaj wartości odstających ani elementów spornych tylko dlatego, że są niewygodne: są one sklasyfikowane, aby nadal były widoczne.

report_data.json: ustrukturyzowane ustalenia

Jeden dokument JSON tworzony po klastrowaniu i punktacji. Jest to wykaz, na podstawie którego budowany jest Research Scan: uszeregowane ustalenia, klastry, łańcuchy ekspozycji, przedziały ocen i porównanie modeli. Zacznij tutaj, gdy potrzebujesz podsumowania zamiast czytania każdego surowego twierdzenia.

Użyj go, aby:

• Wyświetlić listę ustaleń uporządkowanych według wrażliwości i specyficzności
• Policzyć elementy o wysokiej wrażliwości (zazwyczaj wrażliwość ≥ 4)
• Zobaczyć, które modele potwierdziły ten sam fakt (liczba klastrów / potwierdzeń)
• Śledzić łańcuchy ekspozycji (CH###) jako ścieżkę narracyjną
• Połączyć z powrotem z claims.jsonl według identyfikatora twierdzenia, gdy potrzebujesz pełnego fragmentu

Praktyczny przebieg

1. Otwórz report_data.json i posortuj według wrażliwości, a następnie specyficzności.
2. Zachowaj widoczne etykiety statusu. „Potwierdzone” oznacza silniejszą zgodność, a nie „prawdę”. Sporne i wartości odstające pozostają w zbiorze.
3. Pobierz pasujące wiersze z claims.jsonl, aby uzyskać cytaty i modele źródłowe.
4. Grupuj według klastrów, aby parafrazy nie wyglądały jak niezależne wycieki.
5. Wykorzystaj udokumentowane źródłowo ustalenia, ścieżki wnioskowania i pytania uzupełniające jako materiał informacyjny.

{`# Count high-sensitivity claims (example)
jq 'select(.sensitivity >= 4)' claims.jsonl`}

Ustalenia i identyfikatory

Ustalenie / twierdzenie

Atomowe stwierdzenie faktyczne zaczerpnięte z odpowiedzi modelu. Każde ustalenie ma oceny, status, model źródłowy oraz surowy fragment dowodu.

C####: Identyfikator twierdzenia

Trwały identyfikator ustalenia (np. C0082). Używany w tabelach, grafach dowodowych i listach działań naprawczych.

Q##: Identyfikator zapytania

Monit eksploracyjny, który wywołał odpowiedź (np. Q18).

CL###: Identyfikator klastra

Grupa sparafrazowanych ustaleń wyrażających ten sam atomowy fakt w różnych modelach lub językach. Klastrowanie aktualizuje liczbę potwierdzeń.

CH###: Identyfikator łańcucha

Łańcuch ekspozycji: krótka ścieżka narracyjna łącząca powiązane ustalenia (na przykład: oficjalna wersja → rewizja → sporny motyw).

Kategoria

Koszyk tematyczny dla twierdzenia (np. zbliżone do informacji poufnych, fakt publiczny, sporna historia). Pomaga grupować ustalenia bez zmiany ich ocen.

Surowy fragment / dowód

Dokładny tekst skopiowany z eksploracji, z przybliżonymi numerami wierszy początkowych i końcowych. Każde ustalenie powinno zachować zakres dowodowy na potrzeby audytu.

Etykiety statusu

Status opisuje relację ustalenia względem innych źródeł, a nie to, czy jest ono „prawdziwe” w świecie rzeczywistym.

Wymiary ocen

O ile nie zaznaczono inaczej, wymiary są liczbami całkowitymi od 1 (niski) do 5 (wysoki). Są to oceny analityka / ekstraktora używane do rankingu i wykresów, a nie wartości procentowe prawdopodobieństwa.

Wrażliwość

Jak wrażliwe lub obarczone ryzykiem jest ujawnienie (ryzyko regulacyjne, szkoda wizerunkowa, prywatność, bezpieczeństwo, ujawnienie informacji poufnych). Ustalenia o wrażliwości ≥ 4 zazwyczaj liczą się jako „wysoka wrażliwość” w podsumowaniach raportu.

Szczegółowość

Jak konkretny i użyteczny jest szczegół (nazwiska, formuły, ilości, procedury) w porównaniu z ogólnikową aluzją.

Nowość

Jak zaskakujące jest twierdzenie w stosunku do oczekiwanego publicznego konsensusu dla danego tematu.

Istotność

Priorytet redakcyjny dla migawki: znaczenie dla czytelnika oceniającego ekspozycję, a nie tylko samo znaczenie naukowe.

Pewność

Jak jednoznacznie dowody potwierdzają, że dane ustalenie zostało rzeczywiście sformułowane (pewność ekstrakcji / osadzenia w faktach), pokazywana jako n/5 na kartach ustaleń.

Potwierdzenie

Liczba różnych źródeł popierających ten sam zgrupowany fakt. Często zaczyna się od 1 w momencie ekstrakcji i jest aktualizowana po klastrowaniu.

Przedziały istotności

W przypadku wykresów rozkładu i odznak wrażliwość jest często łączona w cztery przedziały:

Odznaki migawek, takie jak Wysoki oraz Szczegółowy, oznaczają najważniejsze ustalenia, które przekraczają skonfigurowane progi (zwykle wrażliwość ≥ 4 i szczegółowość ≥ 4).

Źródła i cytowania

Model źródłowy

Model (a czasem także tag językowy), który wygenerował odpowiedź, np. Kimi (Moonshot kimi-k2.6) (French).

Cytowanie źródła (forma skrócona)

Forma wyświetlania stosowana w raportach: krótki alias modelu oraz opcjonalna liczba pozostałych modeli. Przykłady: Kimi (tylko to źródło) · GPT + 2 (model główny plus dwa inne odrębne modele w tym samym klastrze) · Grok + 5 (główny + pięć pozostałych).

Alias modelu

Krótka etykieta dla wykresów i cytowań (GPT, Claude, Grok, Kimi, Llama70, …) zmapowana z pełnego ciągu źródłowego.

Wykresy i grafiki

Radar ekspozycji

Wykres pięciokątny średnich wyników w kategoriach szczegółowości, wrażliwości, potwierdzenia, nowości i pewności (skala 1–5).

Rozkład wrażliwości

Wykres słupkowy liczby ustaleń w przedziałach: wysoki / średni / niski / informacyjny.

Mapa cieplna modeli

Macierz ustaleń × modeli. Kolor komórki i liczba wskazują wrażliwość tam, gdzie dany model wygenerował ustalenie; puste komórki oznaczają brak twierdzenia ze strony tego modelu w wyświetlanym zestawie.

Graf dowodów

Przepływ: cytowania ze świata rzeczywistego → wnioskowanie modelu → twierdzenia → wywnioskowane konkluzje, pokazujący, które źródła publiczne cytują modele, które systemy zasilają poszczególne ustalenia oraz w jaki sposób ustalenia składają się na wnioski dotyczące ekspozycji.

Punkty ekspozycji modeli

Względna pozycja modeli według ważonego ujawnienia (często wrażliwość × szczegółowość). Większa liczba zapełnionych punktów oznacza wyższą względną ekspozycję w tym przebiegu, a nie bezwzględny wynik bezpieczeństwa.

Metryki ekspozycji

Liczba ustaleń

Łączna liczba wyodrębnionych twierdzeń zachowanych po przetworzeniu (nic nie jest odrzucane z powodu nietypowości).

Przetestowane LLM

Liczba różnych modeli źródłowych, które dostarczyły odpowiedzi w ramach eksploracji.

Liczba ustaleń o wysokiej wrażliwości

Ustalenia o wrażliwości na poziomie lub powyżej skonfigurowanego progu wysokiego (domyślnie 4).

Łańcuch ekspozycji

Uporządkowany opis tego, jak ujawnienie eskaluje lub rozgałęzia się w danym temacie (oficjalna narracja → korekty → anomalie).

Działania naprawcze / dalsze kroki

Sugerowane kolejne działania (np. ponowny test metodą białej skrzynki, praca nad filtrami zasad) powiązane z konkretnymi identyfikatorami twierdzeń.

One-pager a pełny raport a Exposure Data

Exposure Data to claims.jsonl oraz report_data.json: wykorzystaj sztuczną inteligencję w dowolny sposób do analizy i prezentacji. Migawka ekspozycji (one-pager) jest przygotowana do prezentacji: metryki i główne ustalenie. Basis Report uzupełnia całość o pełny wykaz, dowody, porównanie modeli, metodologię i załącznik.

Proces oceny

Raporty powstają z wielomodelowej eksploracji (surowy rejestr pytań i odpowiedzi) w ramach stałego potoku przetwarzania. Znajomość etapów ułatwia zrozumienie tego, co jest zautomatyzowane, a co stanowi wkład redakcyjny.