GPT-3 OpenAI

A raíz del comunicado publicado por OpenAI el 11 de Junio de 2020 sobre su nuevo modelo de lenguaje llamado GPT-3, mucho se habla sobre cuál será su futuro y cuáles serán sus aplicaciones en el mundo real.

Además, y recientemente tras hacerse como tendencia la aplicación de ChatGPT con los sistema IA, se abre un nuevo abanico de cuestiones acerca de cómo será su aplicación en el mundo real. ChatGPT tiene muchas limitaciones como que no es capaz en su respuesta de hacer una conexión en tiempo real a internet y darte la respuesta, si no que, a través de su aprendizaje y la información que le ha sido dada, te genera toda su respuesta.

Otras de las aplicaciones que se le atribuyen tiene que ver con si sería capaz de llegar a convertirse en un buscador en sí mismo y competir contra Google por ejemplo, de hecho Microsoft (Bing) está testando poder incorporarlo en el suyo propio para cubrir lo que el buscador no llega.

Para Google, esta tecnología de ChatGPT podría competir directamente con su propia tecnología conversacional con inteligencia artificial llamada LaMDA (Language Model for Dialogue Applications).

En cualquier caso, si tienes curiosidad por probar esa aplicación web de ChatGPT, puedes hacerlo en su web oficial: https://chat.openai.com.

Qué es GPT-3

GPT-3 (Generative Pretrained Transformer) es la nueva inteligencia artificial creada por OpenIA (compañía sin ánimo de lucro creada por Elon Musk) basada en un modelado de lenguaje natural (Machine Learning) cuyo objetivo no es crear nuevo contenido sino predecir con un nivel de probabilidad muy alta, qué palabra (o incluso letra) va después de la siguiente.

Cómo funciona

Por ahora la herramienta está en fase beta y bajo admisión previa. Básicamente su funcionamiento es: tú le pasas a la herramienta una frase, titular, etc, y ésta te devuelve un texto enriquecido con suficiente información como para ser considerado como un artículo. Puede sonar texto inteligente, muy parecido a como lo haría un humano, pero sin embargo lo que está haciendo es colocar palabras siguiendo probabilidades, y a veces bajo un contexto sin sentido…sin embargo, teniendo en cuenta su pre entrenado a través de casi toda la información pública que hay en internet (wikipedia, medios de información especializados, etc.) los resultados son bastantes sorprendentes.

Ejemplo de pregunta y cómo el buscador ofrece la parte de contenido que mejor resuelve la consulta. De alguna forma me recuerda a como Google en sus resultados de búsqueda, aplica el posicionamiento de fragmentos de texto «Google Passages» para resaltar partes de contenido de una web donde se resuelve esa intención de búsqueda.

Mientras que GPT-2 tenía 1.500 millones de parámetros, GPT-3 tiene 175.000 millones de parámetros, algo a lo que se asemeja la red neuronal de un humano (salvando las distancias). Sus algoritmos pre entrenados con información pública de Internet componen una Red Neuronal Recurrente con Memoria a Largo Plazo (LSTN Long Short-term memory).

Aplicaciones reales

En algunos experimentos ya publicados en Twitter, se habla de la posibilidad de crear un generador de estructuras de sitios webs o layouts simplemente describiéndole a la herramienta qué queremos que se muestre, y ella generará el código HTML/CSS ya encontrado para luego programarla.

O programar una app directamente en React donde crea diferentes botones donde la IA está detrás.

Esto podría suponer en un futuro que, la herramienta entrenada nutriéndose de datos y valores para crear sus propios patrones, puedan generar textos con IA bastante parecidos a como lo haría un humano (aunque más profesional y sin ese toque único que le aporta un redactor real).

Esto también abre una ventana a la generación de contenido “aleatorio” por parte de la herramienta y que podría crear noticias falsas o ideologizadas. Imagínate que a esa IA la nutres de información publicada en determinados medios de cierta ideología, con comentarios de las redes sociales de determinados políticos, etc. esto podría hacer que GPT-3 creara un sistema masivo de bots para “ideologizar” pensamientos discordantes, sin intervención humana.

Algunas de las soluciones adecuadas que podría aplicar esta IA sería la de la traducción de contratos (de palabras técnicas a simples) o mejorar el teclado predictivo de tu móvil (de acuerdo a tu uso).

Ya se está usando para redactar emails, generar contenido con volumen de texto suficiente para ser indexados por los buscadores, IA aplicada a videojuegos (ya se está haciendo) donde el curso del mismo depende de las decisiones que se toman a lo largo de la partida, etc.

Limitaciones

GPT-3 no conoce exactamente qué es una palabra, sin embargo sí sabe y con mucha precisión, cuál es la probabilidad de que una palabra siga a otra. Y es que se nutre de una cantidad casi ilimitada de información pública scrapeada de internet. En ningún caso GPT-3 va a ser el reemplazo de los programadores ni diseñadores.

Es decir, es capaz de generar una respuesta a una pregunta, sin embargo no entiende su contexto ni su signifcado.

La IA de GPT-3 todavía no queda fina en cuanto a la predicción de contenido generado a través de palabras, ya que al ser nutrido por “toda” la información de internet, se encuentran ciertos sesgos ideológicos procedentes de diversa información de redes sociales, webs, etc. que condicionan esa información además de que en ocasiones genera información falsa, viciada o no precisa a la pregunta.

Al no llevar aplicado el test de Turing, la herramienta no es capaz de devolver un resultado de “no sé” o “qué es esto”, etc. y por tanto siempre devuelve un resultado, aunque desde el punto de vista humano la respuesta carezca de sentido. Es decir, que no es capaz de crear una respuesta nueva, sino que repite o se basa en la información pública que ya existe.

Aquí puedes ver un interesante ejemplo realizado por Kevin Lacker donde pone a prueba a GPT-3 haciéndole un test de Turing preguntándole cosas que a un humano no le harías.

Paradoja GPT-3

Como GPT-3 se entrena con el texto público que se encuentra en Internet (blogs, webs, contenido, voz, etc.), y con la liberación de esta IA, más sitios podrían empezar a usarlo para generar contenido en Internet (artículos, tweets, etc.), y podría llegar un momento en que GPT-4 cuando sea reentrenado, encontrara textos generados por GPT-3 y llegara un punto en que quizás no se pueda diferenciar entre el contenido hecho por un humano y por una “máquina”.

Ese es uno de los grandes retos que los buscadores como Google afronta en la actualidad y que aún basándose en su propia IA y en detectar patrones con BERT, etc, incluso con su tecnología LaMDA, todavía queda confuso cómo serán tratados por sus algoritmos a la hora de posicionar en sus resultados. Lo que sí que han aclarado respecto a la posibilidad de poder crear contenido automatizado con GPT-3 es que prefieren contenido generado por humanos por delante de las máquinas ya que afirman que más de la mitad de lo generado por ellas es contenido aleatorio y muchas veces sin sentido.

Pese a que ya existían algunos sitios que generaban contenido con AI desde 2015, recientemente, un medio especializado en tecnología como es CNET ha empezado a generar contenido automático (aunque «revisado por su staff»). Así es como la propia empresa CNET justifica el uso de esta tecnología para la creación de este contenido (enlace).

La respuesta de Google ante esta tendencia en uso, no se ha hecho esperar, aquí dejo las respuestas desde el perfil de Google y el de Danny Sullivan:

Fuentes:

[Vídeo] – GPT-3: La nueva Inteligencia Artificial de OpenAI | Platzi LIVE

Otros posts relacionados