“Debido a nuestras preocupaciones sobre las aplicaciones maliciosas de la tecnología, no estamos lanzando el modelo entrenado. Como un experimento de divulgación responsable, en cambio estamos lanzando un modelo mucho más pequeño para que los investigadores experimenten, así como un documento técnico.”El nuevo modelo de lenguaje no supervisado a gran escala lleva por nombre GPT-2 y fue alimentado con 40GB de texto de Internet para que lo tomara como base de datos y así predecir las palabras que podía contener un texto. Cuando el proceso de entrenamiento terminó, los investigadores descubrieron que el programa podía alimentarse con una relativa pequeña cantidad de texto y continuar escribiendo el texto de una manera convincente.
En una demostración de lo real que pueden ser los textos del nuevo procesador de texto, el periódico The Guardian lo usó para que el programa escribiera una noticia sobre sí mismo, la cual fue redactada en 15 segundos por el software.
“En un hallazgo impactante, un científico descubrió una manada de unicornios que viven en un valle remoto, previamente inexplorado, en las montañas de los Andes. Aún más sorprendente para los investigadores fue el hecho de que los unicornios hablaban un inglés perfecto.”Luego, GPT-2 fue capaz de desarrollar el resto de la noticia sin importar lo extravagante de su contenido:
“En homenaje a su distintivo cuerno, el científico bautizó a la población como el Unicornio de Ovidio. Estos unicornios de cuatro cuernos y de color blanco plateado eran previamente desconocidos para la ciencia. Ahora, después de casi dos siglos, el misterio de lo que provocó este extraño fenómeno se resuelve finalmente. El Dr. Jorge Pérez, un biólogo evolutivo de la Universidad de La Paz, y varios compañeros estaban explorando las montañas de los Andes cuando encontraron un pequeño valle, sin otros animales o humanos. Pérez notó que el valle tenía lo que parecía ser una fuente natural rodeada por dos picos de roca y nieve plateada.”Los investigadores creen que la atinada coherencia con la que el programa escribe los textos pueda ser utilizada para otros fines como el phishing o por personas que pretendan suplantar a otras en Internet, sin embargo, también son conscientes de los beneficios que podría traer el uso correcto del GPT-2.