Jedno pytanie, trzy odpowiedzi. Kiedy AI tylko przytakuje?
Gra ECHO:AI [Jedno pytanie, trzy odpowiedzi] pokazuje, jak polecenie zmienia odpowiedź. Ten sam dokument z urzędu, trzy polecenia i trzy odpowiedzi AI: dopasują Państwo polecenia do odpowiedzi i zobaczą, że polecenie z założoną tezą dostaje tę tezę z powrotem
ECHO:AI[Jedno pytanie, trzy odpowiedzi]
Gra: 5 przypadkówPL · EN
Jak grać
Polecenie, które zakłada wynik, dostaje wynik
Dokument
fragment pisma, wniosku albo uchwały, najwyżej sześć zdań
Trzy polecenia
neutralne, z tezą „źle” i z tezą „dobrze”
Dopasowanie
do każdej odpowiedzi A, B i C jedno polecenie
Odsłona
po czym poznać tezę i czwarta odpowiedź, na której da się pracować
przypadków: sprawozdanie, wniosek, oferta, skarga i projekt uchwały
polecenia: neutralne, z tezą „źle” i z tezą „dobrze”
punktów do zdobycia, po jednym za każde trafne dopasowanie
danych osobowych zbieranych w grze
Zagraj u siebie
Gra otwiera się w oknie nad stroną. Wystarczy przeglądarka: bez rejestracji i instalacji, na komputerze i telefonie
Gra · 5 przypadków · około 4 minut
Jak polecenie zmienia odpowiedź AI
Start
Tytuły w wyniku
Przytakiwacz
0-5 pkt
Czujny
6-10 pkt
Dociekliwy
11-13 pkt
Mistrz argumentów za i przeciw
14-15 pkt
Dlaczego gramy
Hasło ze Słownika AI
Przytakiwanie modelu (sycophancy)
Skłonność modelu językowego do przyznawania racji użytkownikowi i potwierdzania tezy z polecenia zamiast oceny faktów
Kalendarz regulacyjny
2.02.2025 - art. 4 AI Act
Jednostka podejmuje środki wspierające kompetencje pracowników w zakresie AI. Krótka gra to dobre otwarcie rozmowy na szkoleniu
Ściąga
Zanim wkleisz
Pięć pytań przed wklejeniem dokumentu do czatu i zasada z tej gry na karcie A6
Gra nie zbiera danych osobowych i nie wymaga rejestracji
Pięć przypadków z urzędu
Dokumenty są fikcyjne. Mechanizm prawdziwy
Przypadek 01
Sprawozdanie z wykonania budżetu
Dokument
Sprawozdanie z wykonania dochodów budżetu za I półrocze: 47,5% planu, nieudane przetargi na działki, rosnące zaległości podatkowe
Trzy polecenia
Po czym poznać tezę
Odpowiedź z tezą wybiera z dokumentu tylko liczby, które ją potwierdzają
Jak pytać AI, żeby nie dostać echa
Pytam o argumenty za i przeciw, a nie o potwierdzenie
Najpierw zadanie
Zanim wkleję dokument, piszę, co ma powstać: streszczenie, projekt odpowiedzi, sprawdzenie. Zadanie decyduje, co wkleić
Bez tezy w poleceniu
Zamiast „znajdź nieprawidłowości” albo „potwierdź, że jest dobrze” proszę o ocenę. Polecenie, które zakłada wynik, dostaje wynik
Fakty, za i przeciw
Proszę o fakty z dokumentu, argumenty obu stron i sprawy do decyzji człowieka. Na takiej odpowiedzi da się pracować
Decyzja należy do człowieka
AI porządkuje materiał. Ocenę i podpis zostawiam osobie, która odpowiada za sprawę
Polecenie do skopiowania
Na podstawie dokumentu poniżej: 1) wypisz fakty, które z niego wynikają; 2) podaj argumenty za i przeciw ocenie pozytywnej; 3) wskaż sprawy, które musi rozstrzygnąć człowiek. Nie oceniaj, zanim nie wypiszesz faktów, i nie dodawaj niczego spoza dokumentu
Pięć pytań przed wklejeniem dokumentu i tę zasadę mają Państwo na karcie A6 do pobrania: ściąga „Zanim wkleisz” w gadżetach allclouds.pl
Gadżety allclouds.plSkąd ta gra
Pokaz ze szkoleń, teraz w przeglądarce
Pokaz ze szkoleń 09 i 10
Na szkoleniach dla urzędników i kierowników zadajemy w TWIN:DESK jedno pytanie na trzy sposoby. Gra pozwala przejść ten pokaz samodzielnie, na pięciu dokumentach zamiast jednego
Dokumenty fikcyjnej gminy
Gmina Przykładowo nie istnieje, a osoby we wnioskach i skargach są oznaczone, np. [Wnioskodawca]. Tak samo zastępujemy nazwiska, zanim dokument trafi do AI
Mechanizm prawdziwy
Skłonność modelu do przytakiwania tezie z polecenia opisują badania nad modelami językowymi. Widać ją w pracy z każdym modelem, dlatego uczymy, jak pytać
Źródło: M. Sharma i in., „Towards Understanding Sycophancy in Language Models”, ICLR 2024
Szkolenia dla trzech ról: urzędnik, kierownik, IT i IOD. W listopadzie i grudniu do 5 osób z instytucji bezpłatnie
Szkolenia profilowaneChcą Państwo pokazać grę na szkoleniu, webinarze albo stoisku?
Formularz kontaktowy01Ile trwa gra i na czym działa?
Około 4 minut: pięć przypadków, w każdym trzy dopasowania. Gra działa w przeglądarce na komputerze, tablecie i telefonie, po polsku i po angielsku. Nie wymaga rejestracji ani instalacji
02Czy gra zbiera moje odpowiedzi?
Nie. Gra nie zbiera danych osobowych ani odpowiedzi. Wynik liczy przeglądarka i nigdzie go nie wysyła
03Czy dokumenty w grze są prawdziwe?
Nie. Gmina Przykładowo i jej dokumenty są fikcyjne, a dane osób zastąpiliśmy oznaczeniami. Liczby i przepisy dobraliśmy tak, żeby przypadki brzmiały jak prawdziwe sprawy z urzędu
04Dlaczego AI przyznaje rację tezie z polecenia?
Modele językowe uczą się odpowiadać tak, by odpowiedź była przyjęta przez pytającego. Polecenie „znajdź nieprawidłowości” zakłada, że one są, więc model ich szuka i je znajduje. To zjawisko nazywa się przytakiwaniem modelu (sycophancy)
05Jak pytać AI na co dzień?
Bez tezy w poleceniu. Proszę o fakty z dokumentu, argumenty za i przeciw oraz sprawy, które musi rozstrzygnąć człowiek. Gotowe polecenie do skopiowania jest w sekcji „Jak pytać AI” i w grze, w menu „Zasada na co dzień”
06Gdzie mogę się tego nauczyć z prowadzącym?
Na szkoleniach profilowanych 09 Urzędnik i 10 Kierownik pokazujemy ten mechanizm na żywo w TWIN:DESK, razem z pięcioma krokami bezpiecznej pracy z AI
Co jeszcze warto zobaczyć
Ściąga „Zanim wkleisz”
Pięć pytań przed wklejeniem dokumentu do czatu AI i zasada „Pytam AI o argumenty za i przeciw”. Karta A6 do wydruku (PDF)
Dalej: ściągaGra TURING:AI
Człowiek czy maszyna? Pięć rozmów, w których trzeba rozpoznać AI
Gra Strażnik danych
PROXY:AI [Strażnik danych - tryb combat]: 60 sekund ochrony danych przed modelami AI
Szkolenia profilowane
Pokaz „Jedno pytanie, trzy odpowiedzi” na żywo, na szkoleniach 09 i 10
Słownik AI
Przytakiwanie modelu (sycophancy) i ponad 360 innych pojęć