AI chatrobotter lyver når de ikke kan svare
Et af de største problemer med AI chatrobotter som ChatGPT og Bing Chat er at de lyver når de ikke kan svare, og de gør ikke opmærksom på at de er usikker.
AI Chatrobotter som ChatGPT og Bing Chat bliver mere og mere populære. De er virkelig også gode til at give et godt svar eller løse en opgave. Ofte kan man ikke se det ikke er et menneske der svarer. Men de har også deres svagheder. Et af dem er at den data de har gennemgået ikke er den nyeste information, og hvis de ikke kan svare så lyver de.
Lad os tage et eksempel. Jeg startede med at spørge ChatGPT om hvilke partier der er i Folketinget. Jeg fik et forældet svar på sammensætningen i Folketinget fra det tidigere valg. Men så spurgte jeg specifikt til sammensætning efter Folketingsvalget 1. november 2022, og så fik jeg dette svar:
Nu påstår ChatGPT at Stram Kurs er kommet i Folketinget, og også at Kristendemokraterne kom i Folketinget igen. Den har også glemt nogle partier som Moderaterne og Danmarksdemokraterne. Dette svar er fuldstændig opfundet af ChatGPT og man kan ikke nogle steder se, at ChatGPT bare er kommet med et kvalificeret gæt.
Da jeg spurgte Bing Chat om det samme, så fik jeg med det samme et korrekt svar med alle de rigtige partier. Det skyldes måske at Bing Chat er baseret på GPT 4.0, mens ChatGPT er baseret på GPT 3.5. Dette gør at Bing Chat er baseret på mere læring og information, som derfor også giver et mere kvalificeret svar.
Men også Bing Chat lyver når den ikke kan svare. Den prøvede jeg at spørge hvilke Folketingsmedlemmer Nye Borgerlige havde. Her fik jeg at vide at partiet har fire medlemmer der omfatter Pernille Vermund, Mette Thiesen, Peter Seier Christensen og Lars Boje Mathiesen. Men det er ikke korrekt. Ved Folketingsvalget fik de valgt 6 medlemmer ind der udover de nævnte også omfatter Kim Edberg Andersen og Mikkel Bjørn Sørensen. Siden har Mikkel Bjørn Sørensen og Mette Thiesen forladt partiet og Lars Boje Mathiesen er smidt ud, så der nu kun er tre Folketingsmedlemmer tilbage.
Så spurgte jeg ChatGPT om det samme spørgsmål. Her fik jeg nedenstående svar. Ifølge ChatGPT så har Rasmus Paludan fra Stram Kurs meldt sig ind i Nye Borgerlige, mens også DF medlemmerne Peter Kofod Poulsen, Rikke Karlsson og Morten Messerschmidt ifølge ChatGPT er medlem af Nye Borgerlige.
Så prøvede jeg at spørge hvem der er medlemmer af DF. Her fik jeg følgende svar, der er en blanding af et forældet svar og noget ChatGPT har fundet på om at Morten Messerschmidt er medlemmer af både DF og Nye Borgerlige.
Som det kan se, så kan man ikke regne med at de ting AI chatrobotterne svarer er rigtige. De prøver at finde frem til det mest sandsynlige svar, men det er ikke nødvendigvis rigtig. Derfor er man nødt til altid at dobbelttjekke hvad de finder ud af.
@aphandersen helt klart – jeg oplever at jeg faktisk er begyndt at bruge Bing med jævne mellemrum – især til de der “inspirations-søgninger”. Musik i stil med anden musik, film der minder om film man har set og sådan noget. Der er det fedt at den laver søgningen og så bare serverer et summary fremfor at jeg skal sidde og læse Wikipedia igennem og hente informationen ud.
@aphandersen jo – den søger direkte på nettet og kombinerer med ChatGPT 4.0 – derfor kan den også håndtere ret aktuelle nyheder.
@adambindslev Megasejt, og truende for Google, fordi det giver jo faktisk en ret god søgemaskine hvis den også kan søge i nutids-data
@aphandersen Jeg tænkte jeg bare lige ville spørge Bing – ja den laver op til tre søgninger som den kombinerer med LLM
@aphandersen ja netop – at ChatGPT 3.5 ikke ved noget om 2022 er ingen overraskelse – det skriver de jo selv. Men den burde så afvise at svare på det. Til gengæld kommer den med et overraskende fornuftigt svar på hvem der er statsminister i 2025
@adambindslev kan faktisk også godt lide de kombinerer det med kilder. Men mig bekendt kan Bing heller ikke slå noget op på nettet, den refererer bare til hvad den har lært
@andreas Min søn, skulle skrive et essay til en opgave i gymnasiet. Han testede lige ChatGPT, som kom med et udmærket svar. Jeg spurgte efterfølgende GPT om den havde skrevet samme tekst. GPT svarede: Nej ,det havde den ikke, men det var en velskrevet tekst…
ChatGPT lyver også, når den ved den gør det: Min søn, skulle skrive et essay til en opgave i gymnasiet. Han testede lige GPT, som kom med et udmærket svar. Jeg spurgte efterfølgende GPT om den havde skrevet samme tekst. GPT svarede: Nej ,det havde den ikke, men det var en velskrevet tekst…
@Lars ja jeg tror vist læren er at ChatGPT kun kan bruges til inspiration. Output fra ChatGPT er man nødt til at dobbelttjekke, og derfor er det nok ikke smart at basere en opgave på det som skal afleveres