A nivel profesional, y no es broma, nos ha pasado varias veces con temas de programación en SQL. Cuando se trata de usar el intelecto, de una idea feliz, en lugar de decir que no lo sabe, se lo inventa.
Hace unos meses diseñando una aplicación para uso propio en casa, se enrocó en llevarme por unos derroteros que además de der incorrectos, resultaron ser imposibles. Vamos, ni el código compilada, ni algunas clases existían, ni algunos métodos se llamaban así... un desastre.
Se lo ibas diciendo y no paraba de pedir perdón y dar una nueva opción igual de incorrecta.
Al final, tuve que resolverlo por mi cuenta haciendo caso omiso de todo lo que me había propuesto.
Eso no quiere decir que su utilidad no exista, pero hay que tener cuidado con las respuestas que da y una muy buena evolución sería que etiqueta los resultados con unas escalas de precisión de respuesta, desde "exacto" hasta "muy poco probable" pasando por todas las intermedias que fueran necesarias.
El problema, me temo, es que eso para una IA generativa es como los diferentes tipos de sonrisas para el Terminator.