De realiteit achter AI voor ontwikkelaars: prompting in de praktijk

Generatieve AI is in softwareontwikkeling allang geen nieuwigheid meer. Tools als Copilot, ChatGPT en anderen zijn diep ingebed in veel engineeringworkflows. Maar hoe gebruiken ontwikkelaars ze precies, hoe betrouwbaar zijn ze, en welke prompting- en gespreks­patronen leveren daadwerkelijk bruikbare code op? Dat onderzoekt deze recent gepubliceerde paper van Daniel Otten, Trevor Stalnaker, Nathan Wintersgill, Oscar Chaparro en Denys Poshyvanyk.

De studie is waardevol omdat zij voorbij hypothetische ‘prompt engineering’-gidsen gaat en kijkt naar praktijkgedrag van veel ontwikkelaars. Ze levert concrete data over hoe ontwikkelaars denken, met AI communiceren en omgaan met fouten. Hieronder vat ik samen wat zij vonden—en wat we daarvan kunnen leren.

Om inzichten te verzamelen, deden de auteurs het volgende:

• Enquête onder 91 software-engineers; 72 daarvan waren actieve GenAI-gebruikers (met ervaring met prompting)

• Vroegen naar zes kernactiviteiten in software engineering (SE): code generation, documentation, debugging, testing, refactoring, en code review

• Verzamelden zowel kwantitatieve antwoorden (Likert-schalen, gebruiksfrequentie) als open antwoorden (kwalitatieve codering)

• Analyseerden hoe ontwikkelaars prompts structureren, hoeveel gespreksbeurten ze gebruiken, hoe zij de betrouwbaarheid inschatten en welke problemen vaak voorkomen.

Omdat dit een survey is van zelfgerapporteerd gedrag, zijn er beperkingen (bias, herinnering, generaliseerbaarheid). Maar het biedt nog steeds een van de sterkste empirische ijkpunten die we vandaag hebben voor AI-gebruik in ontwikkelwerk.

• Bijna 91,7% van de AI-gebruikers zet GenAI in voor code generation; dat is zo goed als de standaard.

• Andere taken zijn minder gangbaar: debugging (47,2%), documentation (44,4%), testing (38,9%), refactoring (31,9%), code review (31,9%)

• Hoe meer taken een ontwikkelaar AI voor inzet, hoe groter de kans dat die zichzelf als vaardig ziet. Er lijkt een positieve feedbacklus: vaker gebruik leidt tot meer vertrouwen, wat tot bredere inzet leidt.

Implicatie: De meeste teams starten met ‘veilige’ taken (zoals nieuwe code generation of documentation). Met ervaring zullen sommige ontwikkelaars AI ook inzetten voor nuance­rijker werk zoals debugging of refactoring. Verwacht echter niet dat elk team AI meteen overal op vertrouwt.

• Ontwikkelaars geven de voorkeur aan iteratieve conversatiestrategieën boven "one-shot"-prompts. De belangrijkste strategieën: stapsgewijze verfijning en feedbackloops.

• Een betekenisvolle taak afronden met één prompt komt zelden voor. Elke ontwikkelaar gaf aan minstens meerdere uitwisselingen nodig te hebben.

• Degenen met de hoogste zelfgerapporteerde vaardigheid gebruiken vaak 10+ heen-en-weeruitwisselingen — opvallend genoeg correleert een langere interactie met grotere ervaren productiviteitswinst.

Implicatie: AI-tools en integraties moeten eenvoudige conversatieverfijning ondersteunen, de mogelijkheid om correctieve feedback te geven, en contextbeheer over meerdere prompts. Een “one big prompt”-UX is zelden voldoende.

Bij het opstellen van prompts over verschillende taken nemen ontwikkelaars vaak het volgende op:

• Voor code generation: voorbeeldinputs/-outputs, stijlgidsen, library-beperkingen en context voor foutafhandeling.

• Voor debugging: volledige foutmeldingen, stacktraces, logs, oplossingspogingen, stappen om te reproduceren.

• Voor testing: de te testen code + spec, voorbeeldtestcases, randgevallen.

• Voor documentation: de code snippet + uitleg + doelgroep + stijl-/formaatinstructies.

Opvallend genoeg voegen ontwikkelaars zaken als omgevingscontext, performancebeperkingen, versiegeschiedenis of systeemarchitectuur minder vaak toe—tenzij het om lastige prompts gaat.

Implicatie: Goede prompts zijn zelden blind. Hoe meer contextuele, gestructureerde en relevante data u aanlevert, hoe beter (al blijft de balans tussen beknoptheid en helderheid een kunst). Tools die prompts helpen structureren of automatisch context-wrappers genereren, kunnen de adoptie versnellen.

• Documentatietaken worden als het meest betrouwbaar gezien. Veel ontwikkelaars vertrouwen AI om te assisteren of documentatie te genereren.

• Testing/debugging krijgt gematigd vertrouwen, maar niet zonder risico. Vooral bij debugging missen voorgestelde fixes vaak de grondoorzaak.

• Complexe redeneertaken (architectuurwijzigingen, geavanceerde refactoring, niet-functionele eisen) scoren het laagst op betrouwbaarheid.

• De voornaamste faalwijzen zijn onbedoelde gedragsveranderingen, onvolledige transformaties, onjuiste compatibiliteit en AI-hallucinaties/false positives

Implicatie: Tooling en flows moeten onzekerheid proactief signaleren, ruimte bieden voor menselijke verificatie en vertrouwen opbouwen wanneer AI in risicovollere contexten wordt ingezet.

Gegeven deze bevindingen, hierbij aanbevolen best practices en productrichtingen:

1. Begin met ‘veiligere’ taken. Gebruik AI eerst voor documentatie, boilerplate of kleine code generation (gebieden met hoge ervaren betrouwbaarheid).

2. Maak prompts en context gestructureerd. Tools zouden moeten helpen bij het opbouwen van prompts door project­specifieke context (imports, architectuur, stijlregels) automatisch toe te voegen, in plaats van dat gebruikers alles handmatig plakken.

3. Ondersteun conversatiestromen native. Laat gebruikers itereren, outputs verfijnen en contextuele feedback geven. Stimuleer multi-turn interacties in plaats van monolithische prompts.

4. Confidence-indicatoren & visualisatie van onzekerheid. Toon confidence-scores of markeer dubbelzinnige delen, zodat mensen weten waar extra review nodig is.

5. Leg mislukte antwoorden vast en leer ervan. Als outputs onjuist zijn, registreer die feedback en pas prompttemplates of modelparameters aan. Tools kunnen terugkerende foutpatronen zichtbaar maken.

6. Koppel AI-gebruik aan developer-workflows/metrics. Als u een platform (bijv. Agile Analytics) heeft, track waar AI helpt, waar het faalt en wat de impact is op lead time, defectratio of tevredenheid van developers.

Deze paper biedt een van de meest onderbouwde inkijken tot nu toe in hoe ontwikkelaars daadwerkelijk prompten en met AI spreken in hun dagelijkse workflows. In plaats van geïdealiseerde prompt engineering zien we iteratieve, conversatiële, context-rijke praktijken die AI stap voor stap dieper in coding, debugging en review duwen.

Voor teams en toolmakers is de boodschap duidelijk: verwacht geen magie van one-shot prompts. Faciliteer conversationale prompting, bied contextscaffolding, beheer onzekerheid en houd mensen strak in de loop. Zo groeit AI van nieuwigheid naar echt betrouwbare engineering­samenwerking.

Related reading
· AI-adoptie en toolgebruik meten — wat u moet meten vóór u gaat coderen
· Meet wat uw AI-codetools u werkelijk hebben opgeleverd