GPT-3 OpenAI

A raíz del comunicado publicado por OpenAI el 11 de Junio de 2020 sobre su nuevo modelo de lenguaje llamado GPT-3, mucho se habla sobre cuál será su futuro y cuáles serán sus aplicaciones en el mundo real.

Qué es GPT-3

GPT-3 (Generative Pretrained Transformer) es la nueva inteligencia artificial creada por OpenIA (compañía sin ánimo de lucro creada por Elon Musk) basada en un modelado de lenguaje natural (Machine Learning) cuyo objetivo no es crear nuevo contenido sino predecir con un nivel de probabilidad muy alta, qué palabra (o incluso letra) va después de la siguiente.

Cómo funciona

Por ahora la herramienta está en fase beta y bajo admisión previa. Básicamente su funcionamiento es: tú le pasas a la herramienta una frase, titular, etc, y ésta te devuelve un texto enriquecido con suficiente información como para ser considerado como un artículo. Puede sonar texto inteligente, muy parecido a como lo haría un humano, pero sin embargo lo que está haciendo es colocar palabras siguiendo probabilidades, y a veces bajo un contexto sin sentido…sin embargo, teniendo en cuenta su pre entrenado a través de casi TODA la información pública que hay en internet (wikipedia, medios de información especializados, etc.) los resultados son bastantes sorprendentes.

Ejemplo de pregunta y que busca páginas que no usan esas palabras literalmente pero que responden a su planteamiento:

Mientras que GPT-2 tenía 1.500 millones de parámetros, GPT-3 tiene 175.000 millones de parámetros, algo a lo que se asemeja la red neuronal de un humano (salvando las distancias). Sus algoritmos pre entrenados con información pública de Internet componen una Red Neuronal Recurrente con Memoria a Largo Plazo (LSTN Long Short-term memory).

Aplicaciones reales

En algunos experimentos ya publicados en Twitter, se habla de la posibilidad de crear un generador de estructuras de sitios webs o layouts simplemente describiéndole a la herramienta qué queremos que se muestre, y ella generará el código HTML/CSS ya encontrado para ello para luego programarla.

O programar una app directamente en React donde crea diferentes botones donde la IA está detrás.

Esto podría suponer en un futuro que, la herramienta entrenada nutriéndose de datos y valores para crear sus propios patrones, puedan generar textos con IA bastante parecidos a como lo haría un humano.

Esto también abre una ventana a la generación de contenido “aleatorio” por parte de la herramienta y que podría crear noticias falsas o ideologizadas. Imagínate que a esa IA la nutres de información publicada en determinadas medios de cierta ideología, con comentarios de las redes sociales de determinados políticos, etc. esto podría hacer que GPT-3 creara un sistema masivo de bots para “ideologizar” pensamientos discordantes, sin intervención humana.

Algunas de las soluciones adecuadas que podría aplicar esta IA sería la de la traducción de contratos (de palabras técnicas a simples), mejorar el teclado predictivo de tu móvil (de acuerdo a tu uso), ya se está usando para redactar emails, generar contenido con volumen de texto suficiente para ser indexados por los buscadores, IA aplicada a videojuegos (ya se está haciendo) donde el curso del mismo depende de las decisiones que se toman a lo largo de la partida, etc.

Limitaciones

GPT-3 no conoce exactamente qué es una palabra, sin embargo sí sabe y con mucha precisión, cuál es la probabilidad de que una palabra siga a otra. Y es que se nutre de una cantidad casi ilimitada de información pública scrapeada de internet. En ningún caso GPT-3 va a ser el reemplazo de los programadores ni diseñadores.

Es decir, es capaz de generar una respuesta a una pregunta, sin embargo no entiende su contexto ni su signifcado.

Sin embargo la IA de GPT-3 todavía no queda fina en cuanto a la predicción de contenido generado a través de palabras, ya que al ser nutrido por “toda” la información de internet, se encuentran ciertos sesgos ideológicos procedentes de diversa información de Redes Sociales, webs, etc. que condicionan esa información.

Al no llevar aplicado el test de Turing, la herramienta no es capaz de devolver un resultado de “no sé” o “qué es esto”, etc. y por tanto siempre devuelve un resultado, aunque desde el punto de vista humano la respuesta carezca de sentido. Es decir, que no es capaz de crear una respuesta nueva, sino que repite o se basa en la información pública que ya existe.

Aquí puedes ver un interesante ejemplo realizado por Kevin Lacker donde pone a prueba a GPT-3 haciéndole un test de Turing preguntándole cosas que a un humano no le harías.

Paradoja

Como GPT-3 se entrena con el texto público que se encuentra en Internet (blogs, webs, contenido, voz, etc.), y con la liberación de esta IA, más sitios empezarán a usarlo para generar contenido en Internet (artículos, tweets, etc.), y podría llegar un momento en que GPT-4 cuando sea reentrenado, encontrará textos generados por GPT-3 y llegará un punto en que quizás no se pueda diferenciar entre el contenido hecho por un humano y por una “máquina”. Ese es uno de los grandes retos que los buscadores como Google afronta en la actualidad y que aún basándose en su propia IA y en detectar patrones con BERT, etc, todavía queda confuso cómo serán tratados por sus algoritmos a la hora de posicionar en sus resultados. Lo que sí que han aclarado respecto a la posibilidad de poder crear contenido automatizado con GPT-3 es que prefieren contenido generado por humanos por delante de las máquinas ya que afirman que más de la mitad de lo generado por ellas es contenido aleatorio y muchas veces sin sentido.

Fuentes:

[Vídeo] – GPT-3: La nueva Inteligencia Artificial de OpenAI | Platzi LIVE