De Top 5 meest gemaakte fouten met ChatGPT en hoe je ze kunt vermijden

door | 20 sep 2024 | Opinie & Visie, Tips

Steeds als ik gebruikers op weg help in de wereld van AI, vallen mij dezelfde zaken op. Daarom ga ik ze nu met iedereen delen, zodat iedereen hiervan kan leren. Om echt waarde uit tools als ChatGPT te halen moet je echt wat dingen weten. Natuurlijk kan iedereen direct beginnen met chatten/typen en omdat je direct reactie op alles krijgt, lijkt het niet moeilijk. Ik vergelijk dat met gitaarspelen. We weten allemaal hoe een gitaar eruit ziet en zelfs vaak wel hoe die werkt: links die je je vingers op de snaren en rechts raak je ze een beetje ritmisch aan. Toch maakt dit je geen muzikant, helaas en ook al helpt het als je voorbeeldfilmpjes ziet met akkoorden voor een liedje, ben je nog geen muzikant gelijk. Dit vereist oefening. En net als de verschillende gitaren ook nog wat anders werken, werken ook de verschillende taalmodellen als ChatGPT, CoPilot, Gemini, Claude net even anders. Laten we kijken naar bepaalde valkuilen waar veel gebruikers tegenaan lopen. Deze fouten kunnen de kwaliteit van de gegenereerde content aanzienlijk beïnvloeden. In dit blog bespreken we de top 5 meest gemaakte fouten bij het gebruik van AI-modellen, en hoe je deze kunt vermijden. We hebben ook een handige tabel toegevoegd met details over de verschillende modellen om je te helpen een beter geïnformeerde keuze te maken.

1. Vage Instructies Geven

Een van de grootste fouten die gebruikers maken, is het geven van onduidelijke of vage instructies. ChatGPT werkt het beste wanneer het duidelijke, gedetailleerde prompts krijgt. Vage opdrachten leiden vaak tot generieke of irrelevante antwoorden, wat kan resulteren in tijdverspilling.

Hoe dit te vermijden: Zorg ervoor dat je instructies specifiek en duidelijk zijn. Definieer de context, het doel, de doelgroep en eventuele voorkeuren voor toon of stijl. Bijvoorbeeld, in plaats van te vragen om een “samenvatting van een rapport,” kun je beter vragen om een “samenvatting van het rapport met focus op de milieu-impact, geschreven in een formele stijl, wat bedoeld is voor management“.

2. Geen Iteratief Proces Volgen

Veel gebruikers verwachten dat ChatGPT in één keer het perfecte antwoord levert. Dit wordt zero-shot prompting genoemd. Al worden de modellen steeds beter, de output valt dan doorgaans tegen en wordt pas goed na few-shot prompting. Laat je vooral niet misleiden door de overtuigende manier van schrijven.

Hoe dit te vermijden: Zie de eerste output als een ruwe schets die verfijnd moet worden. Geef feedback en vraag om aanpassingen totdat je tevreden bent met het resultaat. Dit iteratieve proces verbetert de kwaliteit van de uiteindelijke output aanzienlijk. Overigens bieden de nieuwste modellen agentic workflows. Hierbij wordt de kwaliteit na de eerste prompt al veel beter, omdat de iteratie feitelijk al door het taalmodel zelf gebeurt. Dit worden reasoning modellen genoemd. Deze doen er ook langer over om een antwoord te geven.

3. Overmatig Vertrouwen op AI zonder Menselijke Controle

Hoewel ChatGPT krachtige teksten kan genereren, is het nog steeds een machine die fouten kan maken. Blind vertrouwen op de AI zonder menselijke controle kan leiden tot onnauwkeurigheden of zelfs schadelijke fouten, vooral in professionele contexten. Ik schrijf hier binnenkort een aparte blog over, maar AI kan ook van alles helemaal niet goed. De meeste mensen hebben wel eens gehoord van hallucinaties van AI, maar er zijn veel meer zaken waarvoor je echt moet oppassen. Type maar eens in: “Als ik jarig ben dan trakteer ik. Vandaag trakteer ik. Wat weet je nu?” Vrijwel alle AI-modellen zullen je feliciteren met je verjaardag. Dit is echter geen logische conclusie.

Hoe dit te vermijden: Behandel de output van ChatGPT altijd als een eerste versie die gereviseerd moet worden. Zorg ervoor dat je de inhoud zorgvuldig controleert op accuraatheid, relevantie en toon, en voer de nodige aanpassingen door voordat je de tekst gebruikt of deelt. AI is geweldig om je van je writer’s block af te helpen en ideeën te genereren en dat scheelt al bakken tijd. Gek genoeg gebruik ik de uitkomst vaak niet eens direct, maar heeft het me wel veel sneller bij mijn doel gebracht.

4. GEneratieve modellen zijn niet deterministisch

Een veelgemaakte denkfout heeft te maken met te weinig kennis van het begrip generatieve AI. Met alle pro’s en con’s die dat oplevert. Computerprogramma’s zijn doorgaans deterministsch: je krijgt steeds dezelfde uitkomst als je dezelfde query opvraagt. Bij Generatieve programma’s krijg je juist steeds iets anders. Zodra mensen dit begrijpen, slaan ze geregeld door naar de andere kant en zeggen dat uitkomsten onbetrouwbaar zijn en AI-modellen slechts woordvoorspellers zijn. En daar doe je het ook echt mee te kort. Maar dit maakt ook dat het wat puzzelen is om de juiste prompts te kunnen maken. Het is niet als een computerprogramma, waarbij een vast omlijnde syntax de juiste resultaten oplevert.

Hoe dit te vermijden: AI modellen moet je dus niet inzetten voor deterministische taken. Wen jezelf eraan om in allerlei dagelijkse handelingen die je zelf doet, te herkennen waar AI je vooruit kan helpen. En doe veel ervaring op met wat wel werkt en wat niet. Ja, je kunt en je moet antwoorden een beetje wantrouwen, of beter gezegd: verifieer de uitkomsten.  Human oversight blijft wat mij betreft nodig, maar juist het generatieve aspect heeft een eigen set aan toepassingen, die je enorm kunnen helpen. Teksten samenvatten, spreken, luisteren, herkennen (zicht) zijn enorme sterktes. Het kunnen genereren van nieuwe teksten, foto’s, films of programma’s zijn juist enorm gebaat bij de generatieve functie. 

5. Geen Rekening Houden met AI Beperkingen

Een veelvoorkomende valkuil is het vergeten dat ChatGPT en andere AI-modellen hun beperkingen hebben. Zo zijn de meeste modellen, zoals GPT-4, beperkt tot kennis die is verzameld tot een bepaalde datum: het zgn knowledge cut-off punt tot waar ze getraind zijn. Dan zit je mogelijk te werken met verouderde data. Leuk als je examenopgaven wiskunde laat genereren door ChatGPT, maar welke exameneisen gebruikt het model? Ook heeft ieder model een beperkt geheugen per chatsessie (contextwindow) en kan het dus informatie of instructies ‘vergeten’ die je daarnet nog ingevoerd hebt. En helaas melden de modellen zelf niet dat ze iets kwijt zijn geraakt.

Hoe dit te vermijden: Houd altijd rekening met de kennisbeperkingen van ChatGPT en vergelijkbare modellen. Voor actuele informatie of recente ontwikkelingen moet je aanvullend onderzoek doen of gebruikmaken van de nieuwste tools die wel toegang hebben tot real-time data. Dit helpt om te voorkomen dat je verouderde of incorrecte informatie hanteert en misschien wel verspreidt. En als je wilt dat het systeem op internet gaat zoeken, geef die opdracht dat heel expliciet: “Zoek op internet naar recente voorbeelden van …“.

Voordat het model uit zijn contextwindow loopt, kun je de hele chat soms beter even laten samenvatten en dat kopiëren in een ‘verse chatsessie’. Als je basis instructie overeind moet blijven en je hebt een betaald abonnement op ChatGPT, kun je ook een CustomGPT maken. De instructie hiervan raakt namelijk niet verloren bij langere chats. Dit is echter wel voor iets meer gevorderde gebruikers.

Hieronder heb ik een tabel toegevoegd met de omvang van het contextwindow en knowledge cut-off date van de meest gebruikte modellen. Contextwindows worden doorgaans in tokens uitgedrukt. Dat zijn delen van woorden. Dat voert nu te ver om uit te leggen. Komt nog wel een blogje over.

Specifieke Informatie over AI-Modellen

Om je te helpen een weloverwogen keuze te maken bij het gebruik van verschillende AI-modellen, heb ik hieronder een tabel toegevoegd met belangrijke details over de populairste modellen:

AI Model Knowledge Cut-Off Context Window (tokens) Opmerkingen
ChatGPT (GPT-3.5) sep-21 4K Wordt veel gebruikt voor algemene taken en tekstgeneratie. Niet geschikt voor complexe contexten vanwege een kleiner contextvenster.
ChatGPT (GPT-4) apr-23 8K Uitbreiding op GPT-3.5 met een groter contextvenster en verbeterde prestaties voor complexere taken. Meer geavanceerd in redeneren, creatief schrijven en het begrijpen van subtiele details.
ChatGPT (GPT-4 Turbo) dec-23 32-128K Verbeterde versie van GPT-4 met geoptimaliseerde prestaties en snelheid. Biedt een groter contextvenster waardoor langdurige en complexe interacties mogelijk zijn.
ChatGPT (GPT-4-o) mei-23 32-128K Varianten van GPT-4 met specifieke optimalisaties, mogelijk inclusief toegang tot up-to-date informatie. Gericht op enterprise- en professionele toepassingen.
Gemini 1.5 Pro (Google) nov-22 2M Nieuwe multimodale AI met een focus op geïntegreerde tekst- en beeldverwerking met grootste contextwindow. Geschikt voor geavanceerde taken die meerdere datatypes vereisen.
Anthropic Claude 3.0 Opus aug-23 200K Geeft prioriteit aan veiligheid en uitlegbaarheid. Ontwikkeld voor ethisch gebruik in langdurige interacties dankzij een uitgebreid contextvenster van 200K tokens.
Anthropic Claude 3.5 Sonnet apr-24 200K verbeterde versie, ideaal voor langdurige en complexe interacties.
Microsoft Copilot okt-23 4K-8K Gebruikt variabele versies van GPT-4, afhankelijk van de specifieke integratie en applicatie. Geïntegreerd in Microsoft Office-producten voor assistentie in productiviteitstaken.
Meta’s LLaMA 2 jul-22 4K Ontworpen voor onderzoeksdoeleinden en experimenten in AI. Gericht op efficiëntie en toegankelijkheid voor ontwikkelaars.
Meta’s LLaMA 3.0 dec-23 4K Nieuwste versie van Meta’s AI, met verdere verbeteringen in contextbegrip en modelprestaties met meer verfijnde output in tekstgeneratie.

Conclusie

Het gebruik van ChatGPT en andere AI-modellen kan een enorme meerwaarde zijn in een professionele  context, mits je weet hoe je de meest voorkomende fouten kunt vermijden. Door duidelijke en gedetailleerde prompts te geven, een iteratief proces te volgen, en altijd menselijke controle toe te passen, kun je de kracht van deze AI optimaal benutten. Vergeet niet om rekening te houden met de beperkingen van de AI en geef deze een duidelijke rol en context in je prompts. Met deze specifieke details over de verschillende modellen kun je betere output krijgen en meer waarde halen uit AI.