Optimizing ChatGPT

Applying prompt engineering to frequently asked questions in urologic oncology

Auteurs-es

  • Mark N. Alshak The James Buchanan Brady Urological Institute, Johns Hopkins University School of Medicine
  • Michelle I. Higgins The James Buchanan Brady Urological Institute, Johns Hopkins University School of Medicine
  • Craig Cronin The James Buchanan Brady Urological Institute, Johns Hopkins University School of Medicine
  • William S. Azar The James Buchanan Brady Urological Institute, Johns Hopkins University School of Medicine
  • Joseph G. Cheaib The James Buchanan Brady Urological Institute, Johns Hopkins University School of Medicine
  • Max Kates The James Buchanan Brady Urological Institute, Johns Hopkins University School of Medicine
  • Sunil H. Patel The James Buchanan Brady Urological Institute, Johns Hopkins University School of Medicine

DOI :

https://doi.org/10.5489/cuaj.9578

Mots-clés :

urologic oncology, prostate cancer, bladder cancer, kidney cancer, ChatGPT, articial intelligence, prompt engineering

Résumé

Introduction: Patients rely on online searches for patient education materials (PEMs). PEMs are recommended to be written at or below a sixth-grade reading level but are regularly written at a college reading level. Using prompt engineering, we assess the information, misinformation, and readability of ChatGPT responses to urologic oncology questions.

Methods: Forty-five questions relating to prostate, bladder, and kidney cancer were presented to ChatGPT (version 4o, OpenAI). Quality of health information was assessed using DISCERN (1 [low] to 5 [high]). Understandability and actionability were assessed using PEMAT-P (0 [low] -100% [high]). Misinformation was scored from 1 [no misinformation] to 5 [high misinformation]. Grade and reading level were calculated using the Flesch-Kincaid scale [5 (easy) to 16 (difficult), and 100-90 (5th grade level) to 10-0 (professional level), respectively]. Prompt engineering was then applied to responses and evaluated.

Results: ChatGPT answers are highly accurate but too advanced of a reading level and lacked explanations of benefits, risks, visual aids, actionability, and citations. Using prompt engineering, DISCERN (3.42-4.47, p<0.0001), PEMAT-P understandability (88.4-95.5%, p<0.0001), and actionability (25.6-84.2%, p<0.0001), grade reading level (10.55.3, p<0.0001), and reading level (42 [college level] to 71.7 [7th grade], p<0.0001), all significantly improved. Misinformation did not change significantly.

Conclusions: Using prompt engineering, ChatGPT provides highly accurate and understandable PEMs at a patient appropriate reading level and provides concrete resources for patient action. Urologists should understand prompt engineering and be involved in the development of artificial chatbots to optimize results.

Téléchargements

Les données relatives au téléchargement ne sont pas encore disponibles.

Téléchargements

Publié-e

2026-03-30

Comment citer

Alshak, M. N., Higgins, M. I., Cronin, C., Azar, W. S., Cheaib, J. G., Kates, M., & Patel, S. H. (2026). Optimizing ChatGPT: Applying prompt engineering to frequently asked questions in urologic oncology. Canadian Urological Association Journal, 20(8). https://doi.org/10.5489/cuaj.9578

Numéro

Vol. 20 No. 8 (2026): CUAJ August

Rubrique

Original Research

Licence

Les auteurs accordent les droits d’auteurs liés à l’article et son contenu à l’Association des urologues du Canada. Cette entente signifie que vous ne pouvez pas faire ce qui suit, sans d’abord obtenir l’autorisation écrite de l’AUC :

  • Afficher l’article sur tout site Web.
  • Traduire ou autoriser une tierce partie à traduire l’article.
  • Copier ou reproduire l’article par quelque moyen que ce soit et sous tout format que ce soit, ou autoriser d’autres à le faire, au-delà de ce qui est permis par la loi canadienne du droit d’auteur.
  • Copier ou reproduire des sections de l’article, y compris les tableaux et figures, par quelque moyen que ce soit, ou autoriser d’autres à le faire, au-delà de ce qui est permis par la loi canadienne du droit d’auteur.

L’AUC encourage l’usage des articles à des fins éducatives sans but commercial et ne refusera pas sans motif raisonnable toute demande d’autorisation à cet effet.

Vous conservez le droit moral lié à l’article et son contenu. Cela signifie que l’AUC ne peut utiliser ses droits d’auteurs d’une manière telle que cela pourrait avoir des répercussions négatives sur votre réputation ou sur votre droit à être associé à l’article.

L’AUC exige également que vous garantissiez ce qui suit :

  • Vous êtes l’auteur ou les auteurs et seul(s) propriétaire(s) du contenu, le contenu de l’article est original et n’a jamais été publié et vous n’en avez pas déjà cédé les droits d’auteurs ni accordé de licence concernant son contenu à toute autre tierce partie;
  • Toutes les personnes qui ont contribué de manière considérable à la rédaction de l’article sont mentionnées;
  • L’article ne viole aucun droit de propriété de toute tierce partie, et vous avez obtenu les autorisations requises pour inclure les travaux d’autres personnes dans cet article; et
  • L’article ne diffame aucune tierce partie ni ne viole les droits à la vie privée de toute tierce partie.