La escritura del futuro. ¿Qué es el GPT-3?

El nombre GPT-3 significa «transformador generativo preentrenado». Es un modelo de procesamiento del lenguaje de uso general, es decir, que no fue entrenado explícitamente para ningún tipo de tarea de procesamiento del lenguaje. Por lo tanto, los posibles casos de uso incluyen prácticamente cualquier caso de procesamiento del lenguaje natural. 

Los modelos generativos son una rama de la modelización estadística. Hay dos tipos de modelos estadísticos: generativos y discriminativos. Los modelos generativos pueden generar nuevos datos. Los modelos discriminativos discriminan entre diferentes tipos de datos. 

¿Qué significa esto en la práctica? Un modelo generativo puede generar nuevas fotos de animales que se parecen a los animales reales, mientras que un modelo discriminativo puede diferenciar un perro de un gato. Para entrenar un modelo generativo, primero hay que recopilar un conjunto de datos, que es una colección de ejemplos que ayuda al modelo a aprender a realizar una tarea determinada. 

Un modelo preentrenado es un modelo creado para resolver un problema concreto. En lugar de construir un modelo desde cero para resolver su problema, se utiliza el modelo entrenado en otro problema como punto de partida. 

En el caso del GPT-3 está preentrenado en un corpus de texto de cinco conjuntos de datos: Common Crawl (petabytes de datos de páginas web recopilados durante ocho años), WebText2 (es un corpus interno de OpenAI creado mediante web scraping de alta calidad), Books1 & Books2 (colecciones de textos de decenas de miles de libros sobre diversos temas) y Wikipedia (incluye 6.358.805 artículos en inglés). Este corpus incluye en total casi mil millones de palabras, por lo que el GPT-3 puede realizar con éxito un número increíble de tareas de PLN sin necesidad de datos de ejemplo adicionales.  

GPT-3 fue creado por OpenAI, una empresa pionera en la investigación de la IA con sede en San Francisco. Su misión es «garantizar que la inteligencia artificial general beneficie a toda la humanidad» y su visión de crear una inteligencia artificial general: un tipo de IA que no se limite a tareas especializadas en los seres, sino que realice una gran variedad de tareas, al igual que los humanos.  

En junio de 2020, OpenAI anunció la creación de GPT-3, un corpus cien veces mayor que GPT-2, con 175B parámetros y 96 capas entrenadas en un corpus de 499B tokens de contenido web, lo que lo convierte en el mayor modelo lingüístico construido hasta la fecha, por lo que el GPT-3 puede hacer prácticamente de todo: escribir artículos, historias, guiones, recitar poemas, generar consejos, resumir documentos complejos o crear copias artísticas de anuncios. 

Al GPT-3 solamente se puede acceder a través de una API, dando así a los creadores del modelo un mayor control sobre su uso. El uso típico de la API consiste en proporcionar un mensaje y un texto inicial para poner en marcha el modelo, junto con algunos ajustes opcionales de los parámetros.  

Solo algunos (no en todos los casos) de los resultados producidos son realmente impresionantes por su verosimilitud y credibilidad como candidatos a ser textos de autoría humana. Aparte de la aplicación de la generación de texto, el GPT-3 tiene la capacidad para generar poesía, jugar al ajedrez, hacer aritmética y escribir código web sobre la base de requisitos expresados en lenguaje natural. Es realmente difícil no quedar impresionado. 

La conclusión es que el GPT-3 tiene un potencial enorme, pero en lo que respecta a algunos casos de uso de aplicaciones clave no es tan deslumbrante. Esto no quiere decir que el GPT-3 carezca de aplicación práctica ni mucho menos, pero significa que algunos casos de uso son apropiados y otros no. 

Al margen del revuelo que hay en torno al GPT-3, y aunque no está actualmente preparado para sustituir a los escritores, no podemos afirmar con total rotundidad que el GPT-5 o el GPT-100 no estén a la altura en el futuro.

Te recomendamos que no dejes de actualizarte en las últimas tendencias y adquieras los conocimientos adecuados. Te invito a que mires detenidamente el Máster en Inteligencia Artificial [MIA].