Más allá de los LLMs: poniéndole seso a la Inteligencia Artificial General (AGI).
Los Grandes Modelos de Lenguaje (LLMs) son herramientas espectaculares, pero tienen limitaciones. La neurociencia podría marcarle el camino a la IA.
Meta acaba de anunciar LLaMa 3, el modelo fundacional de lenguaje de código abierto más potente hasta la fecha, que promete rendimientos cercanos a GPT-4. Y desde hace meses, esperamos expectantes imaginando qué nos deparará GPT-5. Pero lo más probable es que los modelos de lenguaje que están por venir no supongan un cambio radical como lo hicieron en su momento GPT-2/GPT-3. Evidentemente, las mejoras son visibles y los modelos son mucho más útiles hoy que hace dos años. Pero no son pocos ya los investigadores que muestran cierto escepticismo ante las promesas de rendimiento descomunal de los LLMs futuros.
Si hay alguien que tiene claro que los LLMs no son el camino para alcanzar la promesa de una IA Superinteligente, ese es Yann LeCun. El Científico Jefe de Meta explica que hay cuatro características cognitivas propias de la inteligencia humana -razonamiento, planificación, memoria persistente y comprensión del mundo físico- que los sistemas IA no pueden replicar, al menos de momento. A los LLMs sólo se les ha entrenado con texto. Un humano tardaría 100.000 años en leer todos los documentos con que se ha entrenado un LLM. Sin embargo, un niño de 4 años ha recibido 50 veces más información sensorial que el LLM más potente. Hace unos meses hablábamos del modelo V-JEPA de aprendizaje no supervisado para entrenar IAs prediciendo lo que iba a suceder en secuencias de vídeo.
Puede que algún día la IA sea más lista que nosotros, pero según LeCun, no serán los LLMs los que alcancen esa proeza, sino lo que él denomina "IA orientada a objetivos”: modelos de IA que se construyen para cumplir metas específicas fijadas por los humanos.
Pidiéndole peras al olmo.
Gary Marcus es un conocido científico cognitivo y crítico de la inteligencia artificial actual. Su artículo Deep learning is hitting a wall, publicado meses antes de la llegada de ChatGPT le granjeó una fama de “pepito grillo” que criticaba continuamente las declaraciones de algunas de los investigadores IA más reconocidos. Pero lo cierto es que muchos de sus puntos de vista son ahora predominantes. Marcus argumenta que los Modelos de Lenguaje Grande (LLMs) actuales, aunque impresionantes en su capacidad para generar texto, carecen de verdadera comprensión y razonamiento. Sostiene que estos modelos son esencialmente sistemas estadísticos sofisticados que no poseen conocimiento real del mundo, razonamiento causal, o consistencia en sus respuestas. Y que para lograr una Inteligencia Artificial General (AGI), se necesitan enfoques fundamentalmente diferentes que combinen el aprendizaje profundo con el razonamiento simbólico, en lugar de simplemente escalar los modelos existentes.
Un reciente paper, ChatGPT is bullshit, ahonda en el problema: ChatGPT no puede percibir la realidad ni distinguir entre verdad y mentira, por lo que no puede dejar de equivocarse. Los LLMs se entrenan para modelar la incertidumbre. No se les adiestra para elegir una palabra exacta cada vez que generan un texto, sino que se les fuerza a elegir entre una distribución de probabilidades dado un contexto determinado. Y siempre existe la posibilidad de que el modelo elija una palabra incorrecta que se desvía de la verdad, porque son generadores estocásticos: para fomentar su creatividad, les han enseñado a seleccionar aleatoriamente entre las palabras más probables.
Los investigadores señalan que llamar a estos errores "mentiras" o “alucinaciones” es incorrecto, ya que mentir implica conocer la verdad y decir algo falso a propósito, cosa que ChatGPT no hace. El modelo simplemente imita el lenguaje humano sin evaluar la veracidad de sus respuestas. Por lo tanto, el término "disparate" es más adecuado para describir la forma en que ChatGPT genera texto: produce afirmaciones que pueden ser inexactas sin ser consciente de su imprecisión, simplemente siguiendo patrones estadísticos del lenguaje humano.
El último en sumarse a esta ola de que los LLMs están alcanzando su límite de rendimiento y que necesitamos algo diferente es Bill Gates. Él argumenta que el futuro de la IA no está principalmente en escalar los modelos existentes, sino en desarrollar lo que él llama "Metacognition". Esto implica mejorar la capacidad de los sistemas de IA para entender problemas de manera amplia, evaluar la importancia de sus respuestas, verificarlas y utilizar herramientas externas. Gates cree que el desafío está en evolucionar desde el enfoque actual de generación secuencial de tokens hacia un razonamiento más parecido al humano, con estrategias cognitivas más sofisticadas. Prevé avances en esta área en el próximo año, pero anticipa que la solución completa tomará más tiempo. Gates ve esto como el "gran frontera" en el desarrollo de la IA, necesaria para abordar problemas más complejos y abiertos.
Nuevas líneas de investigación.
La investigación en IA está abriéndose camino con ciertas expectativas en el campo de la Neurociencia. La Fundación Gates, por ejemplo, está dando apoyo financiero a Numenta, fundada por Jeff Hawkins, co-inventor de PalmPilot. Numenta trabaja en el proyecto Thousand Brains, que trata de comprender el funcionamiento del neocórtex, la parte del cerebro responsable del pensamiento, la acción y el habla. Hawkins cree que si consigue crear un algoritmo capaz de procesar sensaciones y movimiento como el cerebro humano, se habrán superado las limitaciones de los modelos transformer, basados en fuerza bruta (con altos costes asociados) y tendentes a rendimientos decrecientes.
NeuroAI, una filial de la compañía biomédica CSHL, también trabaja en el desarrollo de modelos de IA inspirados en la eficiencia del cerebro humano. La mayoría del consumo energético en la computación moderna proviene de mover datos. En las redes neuronales artificiales, los datos recorren largas distancias entre miles de millones de conexiones. Inspirado en el cerebro humano, NeuroAI ha diseñado un método para que los algoritmos de IA muevan y procesen datos de manera más eficiente. Las neuronas artificiales reciben retroalimentación y se ajustan al instante, como sucede dentro de nuestras cabezas, lo que permite un procesamiento en tiempo real. Este diseño podría ayudar a crear una nueva generación de IA que aprenda de manera similar a como lo hacen los humanos.
Un último apunte: el Center for Computational Neuroscience del Instituto Flatiron trabaja con la idea de que las redes neuronales han evolucionado poco en los últimos 60 años y son bastante rudimentarias. Su proyecto se basa en neuronas artificiales que actúan como pequeños controladores que influyen en su entorno basándose en la información que recopilan, en lugar de actuar como simples transmisores de un nodo a otro. El modelo se inspira en circuitos cerebrales organizados en bucles de retroalimentación, similares a cómo un termostato mantiene la temperatura. Las neuronas individuales reciben información y se ajustan sobre la marcha, sin esperar a que todo un circuito se actualice. Los datos no tienen que viajar tan lejos y se procesan en tiempo real, con lo que el aprendizaje es instantáneo y (otra vez) mucho menos costoso.
En definitiva, aunque los LLMs parezcan haber alcanzado un techo, no tienen por qué ser el final del camino, sino el precedente de una nueva era en la IA. Las nuevas líneas de investigación inspiradas en la neurociencia podrían abrir puertas a capacidades que hoy son aún ciencia ficción. En lugar de centrarnos el estancamiento de los LLMs, podremos celebrar el nacimiento de una IA más eficiente, comprensiva y, quizás, verdaderamente inteligente. El futuro de la IA no pasa por imitar mejor el lenguaje humano, sino por “meter más seso” a la cuestión.
El próximo domingo, vuelvo a tu buzón.
Fernando.
Google AI Overview y el futuro de las búsquedas. Desde Good Rebels, hemos publicado un estudio con investigación propia para arrojar luz sobre el impacto transformador de la IA en las experiencias de búsqueda. Desde entradas multimodales mejoradas hasta salidas enriquecidas generadas por IA, la dinámica de la búsqueda experimenta un cambio significativo, influyendo tanto en el comportamiento del usuario como en las estrategias que tendrán que abordar las marcas.
Puedes consultar el estudio completo aquí (PDF, sin registro).
Enlaces de interés para el profesional MCX.
Lecturas seleccionadas de la semana:
Meta ha lanzado Llama 3.1, ampliando la longitud de la ventana de contexto a 128K tokens y añadiendo compatibilidad con ocho idiomas. Se incluye Llama 3.1 405B, el primer modelo de IA de código abierto comparable a los modelos más punteros en rendimiento (GPT, Gemini y Claude). En una carta abierta, Mark Zuckerberg, CEO de Meta, argumenta que la IA de código abierto es el camino a seguir, comparándola con el éxito de Linux en la computación. Y sostiene que este enfoque beneficia a los desarrolladores, a Meta y todo el mundo en general, ofreciendo mayor control, eficiencia y seguridad. Destaca las ventajas de la IA de código abierto en términos de innovación, accesibilidad y distribución equitativa del poder en el campo de la IA. Mientras tanto, no dejan de producirse las alertas sobre la amenaza que leyes como la que se está preparando en California presentan precisamente para el desarrollo de la IA de código abierto. META, MZ LETTER, UNDERSTANDING AI
Según un estudio de Data Provenance Initiative, cada vez se cierran más puertas a los algoritmos que recopilan datos para el entrenamiento de los modelos IA. En conjunto, se les ha vedado el acceso a entre el 5 y el 7% de los tokens (frases y palabras que los rastreadores recopilan). Entre los sitios de noticias, el 45% impone restricciones, y hasta un 33% en las fuentes de datos. (Cabe señalar que estas restricciones se indican en los términos de servicio y en los ficheros robots.txt, lo cual son poco más que fórmulas de cortesía. Que después se respeten o no, queda al criterio de cada uno). LINK
La firma de inversiones Coatue Management ha presentado un informe sobre el estado actual y las perspectivas de evolución de los humanoides y la robótica. La IA y los datos de calidad, antes que el software, serán el factor diferenciador clave en su evolución. El análisis sugiere que estamos ante una gradual y profunda transformación. Los robots pasarán de la automatización en almacenes y tiendas a estar presentes en tareas complejas como la extinción de incendios, la cirugía y la asistencia a domicilio. PDF
En 2025 veremos agentes autónomos que interactuarán entre sí, según las previsiones de Cap Gemini. Los sistemas multi-agentes serán capaces de comprender, interpretar y actuar de forma autónoma, y ejecutar flujos de trabajo complejos con mínima supervisión humana. CNBC
Hace un año, las siete compañías líderes en IA (Amazon, Anthropic, Google, Inflection, Meta, Microsoft y OpenAI) se comprometieron a auto regularse en ocho áreas clave para el desarrollo de una IA segura y fiable. ¿Han cumplido lo prometido? Ha habido avances en prácticas de red teaming, identificación del contenido creado con IA y colaboración sectorial. Sin embargo, aún presentan grandes lagunas en transparencia, auditorías independientes y enfoques integrales de ciberseguridad. La mayoría de los esfuerzos se han centrado en soluciones técnicas, pero se necesitan más acciones que aborden preocupaciones sociales y cuestiones regulatorias. TECH REVIEW
Pete Sena es un diseñador que añora la Web 2.0. Ahora, argumenta, la web es plana, aburrida y transaccional, muy lejos de la época alocada y lúdica. Herramientas como Websim.ai (respaldado por Claude 3.5 Sonnet) revitalizan esa creatividad, permitiendo a cualquiera generar páginas web y aplicaciones, inventar experiencias digitales novedosas y sorprendentes. LINK
La alfabetización en IA para todos los trabajadores del conocimiento, no sólo los equipos técnicos, es obligatoria para las empresas que desean mantenerse competitivas en 2024 y más allá. Es fundamental crear un entorno donde todos los empleados puedan experimentar, aprender e innovar con la IA. La transformación no será instantánea, pero empezar ahora con programas piloto y aplicaciones prácticas de la IA es crucial. El objetivo es construir una fuerza laboral adaptable y con conocimientos de IA, lista para enfrentar los desafíos futuros. LINK
Las 10 cualidades que deben poseer los líderes empresariales en la era de la IA. En esencia, conocimientos técnicos, sentido empresarial y dotes de liderazgo. LINK
El CIO de Chevron, una empresa petrolera californiana, declaró en The Information que sus 20.000 empleados están probando Microsoft Copilot, pero todavía están dudando si la herramienta aporta valor como para justificar el coste de las licencias. Paul Roetzer, de The Marketing AI Institute, replica: "Si una empresa no puede justificar los 30 dólares (o menos) que cuesta una licencia de Copilot, ChatGPT, Gemini o Claude, se debe más a la falta de educación, formación y planificación que a las deficiencias de la IA". LINK
Un estudio de la London School y la Universidad de Exeter incide en la idea de la IA como igualadora de capacidades. A la hora de redactar un texto, la IA mejora la creatividad individual, pero al mismo tiempo reduce la diversidad de las historias, tendiendo a la homogeneización. A largo plazo, el riesgo es que la web se llene de historias indistintamente generadas con IA, que a su vez se utilicen para entrenar a los LLMs. VENTURE BEAT
Casi el 70% de los consumidores muestran frustración cuando les atiende un agente virtual y prefieren tratar con un humano, según un estudio que ha elaborado Tenyx. Las quejas más frecuentes tienen que ver con la incapacidad para manejrar cuestiones complejas, la falta de entendimiento o el rango limitado de las respuestas. (Disclaimer: Tenyx es proveedor de soluciones de IA conversacional). LINK
Off Tópicos.
Muchas marcas han ido abandonando X desde que Elon Musk se convirtió en su dueño. Según este estudio independiente, de entre 100 marcas con un total de más de 130 millones de seguidores, solo 24 han publicado algo 10 o más veces en el último mes. Nombres tan conocidos como Best Buy, Crocs, H&M, Levi's, Sephora, Target, The North Face o Vans llevan meses sin publicar. LINK
El problema es el término Inteligencia Artificial. Yo empiezo mis clases diciendo que el término es erróneo. Lo que tenemos a fecha de hoy es Reconocimiento de Patrones. Patrones muy complejos, sí, pero nada más. La inteligencia humana es mucho más que eso, y efectivamente, hacer algo parecido a ella necesitaría de modelos muy, muy distintos.
Madre mía Fernando, mira que parece que todavía existe un gran desconocimiento sobre los LLMs y como sacarles el máximo partido y ya hay voces expertas diciendo que el futuro no irá por ahí!