Llms

Al trabajar con LLMs, la elección del idioma tiene efectos en términos de precisión, precio y fiabilidad. La evidencia empírica está alineada con lo que se esperaría razonando desde primeros principios: en inglés funcionan mejor. En términos de precisión, existe una degradación sistemática fuera del inglés que se acentúa en lenguas minoritarias y exóticas. Esto es así por el sobremuestreo de los contenidos en inglés en el entrenamiento, que, además, es mucho más sustancial en disciplinas científicas y técnicas. Por lo tanto, se especula que los modelos «internalizan» mejor los patrones semánticos y las estructuras argumentativas en ese idioma. La conclusión operativa es que si la tarea requiere exactitud (análisis, programación, medicina, etc.), usar el inglés reduce el riesgo de error. ...

A la hora de evaluar el potencial impacto de los LLMs en el mercado laboral, tanto en general como en el más concreto de la ciencia de datos y la estadística, es conveniente distinguir entre tipos de conocimiento. En esta entrada voy a considerar una dimensión muy particular en la que la inteligencia de los LLMs y la humana operan de manera muy distinta: la de la legibilidad de la información y el conocimiento. ...

Tiene Jesús Alfaro una entrada en su blog, Por qué la AI generativa es menos útil para lidiar con cuestiones jurídicas que en otros ámbitos, cuyo contenido no es enteramente fiel a su rótulo. Aunque aporta razones de peso (y que no voy a cuestionar) sobre los problemas que plantean los LLMs a la hora de resolver cuestiones jurídicas, no acaba de explicar qué cosa concreta los hace precisamente menos útiles que en otros campos. Es decir, aunque anuncia una comparación, luego no la realiza expresamente. El objetivo de esta entrada es comparar el uso de los LLMs en el ámbito del derecho —basándome necesariamente en la entrada anterior en tanto que mi experiencia en esa disciplina es nula— con otros que conozco mejor, matemáticas y programación, para acabar proponiendo una síntesis (en el sentido dialéctico del término). ...

He implementado las entradas relacionadas en el blog. Dos entradas están relacionadas cuando el producto escalar de sus embeddings es alto. Así que en primer lugar he asociado a cada entrada un embedding. Las entradas son ficheros de markdown con un preámbulo en yaml. Los embeddings no están creados directamente sobre el texto bruto de la entrada sino sobre la entrada y algunos de los elementos, no todos, del preámbulo. ...

ALIA es el LLM público español. Hasta hace no mucho se sabía poco de él. Durante meses, solo hubo dos clústers de noticias: Uno, alrededor del 25 de febrero de 2024, coincidiendo con el anuncio de la cosa (véase, por ejemplo, esto o esto). Otro, alrededor de abril de 2024, cuando se anunció un acuerdo con IBM para el desarrollo de dicho modelo (veáse esto o esto). En esa época ya tenía nombre, ALIA, y se lo esperaba para después del verano (véase esto). Después hubo una especie de apagón informativo —acabó el verano y yo no paraba de pulsar F5 en Google en vano— solo rasgado por una críptica nota de Alberto Palomo, aquel que fue ungido tiempo atrás como el CDO del Reino de España, que en una entrevista en El Confidencial a principios de diciembre decía de pasada que: ...

Estas cosas hace ahora mi terminal: carlos:bin/ $ clih "Find all files older than 45 days" find / -type f -mtime +45 -print A clih le paso la descripción de una tarea que quiero realizar en mi ordenador y me devuelve el comando correspondiente. Lo he construido así: He instalado LLM para llamar modelos desde línea de comandos. Lo he conectado con mi cuenta en DeepInfra según estas instrucciones (con la salvedad de que estoy usando Llama-3.3-70B-Instruct). De todos modos, es posible que cambie pronto a DeepSeek V3, que es mejor y más barato. He creado un template con el nombre de clihint; véanse los detalles debajo. He creado un alias así: alias clih='llm -t clihint' El template, inspirado en esto, es un fichero yaml con el siguiente contenido: ...

Dice Gaussianos: Siguiendo la tradición desde 2012, vuelve el Desafío Matemático RSME-El País de Navidad. Este año, como hace ya tiempo, de nuevo es Adolfo Quirós (profesor de la Universidad Autónoma de Madrid (UAM) y director de La Gaceta de la Real Sociedad Matemática Española) quien nos lo presenta. El problema es el siguiente: El desafío comienza cuando elegimos dos números de la Lotería de Navidad (recordemos que tienen 5 cifras), con la única condición de que cumplan estos dos requisitos: ...

I Hay gente que estudia el funcionamiento del cerebro. Una de las cosas que buscan es tratar de relacionar funciones cognitivas con regiones concretas. Para eso usan MRI, electrodos, etc. Yo qué sé. Un problema al que se enfrentan los investigadores es que estos procedimientos son o muy intrusivos, o tienen mucho ruido o ambos a la vez. Hay gente que busca entender de manera similar los LLMs y responder a preguntas del tipo: ¿es posible identificar coeficientes (o grupos de coeficientes) relacionados con conceptos concretos? Además, examinar los coeficientes de un LLM es mucho más sencillo que estudiar sinapsis de lejos. De todos modos, no está claro, a priori, que tenga que ocurrir de esa manera, es decir, que tengan que existir regiones (no necesariamente físicamente colindantes) de los coeficientes que estén vinculadas unívocamente a un concepto determinado. ...

Hace unos años argumenté sobre estimaciones e intervalos de confianza alrededor de que muestra estimaciones históricas de la velocidad de la luz. Pero (extraído de aquí) es todavía mucho más jugoso: Por un lado, como en el otro caso, ¿qué significan realmente los intervalos de confianza? Pero, además, las estimaciones se arraciman en el tiempo, y eso refleja… ¿dependencia de la tecnología disponible en el tiempo? ¿Estimaciones rebaño? Muy instructivo sobre la verdad de las cosas.

I. En los años 50 y 60 se hicieron muchas predicciones acerca de cómo sería el mundo de hoy. Eran los años en que se popularizó la ciencia ficción y, además, el cambio de milenio estaba a la vuelta de la esquina. Puede que alguien se sienta tentado de recopilar predicciones —y elucubraciones— sobre innovaciones técnicas realizadas en esa época y analizar su grado de acierto. Que sepa que llega tarde. Un análisis de ese tipo aparece en (el muy extravagante libro) Where Is My Flying Car?: A Memoir of Future Past. Si uno realizase un análisis discriminante con el objetivo de separar ambas clases —las tecnologías de las que hoy disponemos de las que siguen siendo una ensoñación— observaría que la variable más relevante es la intensidad del uso de la energía: no viajamos regularmente a la luna o nos desplazamos en coches voladores: eso consume mucha energía; sin embargo, realizamos videollamadas y tenemos a un clic de distancia prácticamente toda la información disponible en el mundo: energéticamente, es casi gratis. Dicen que una búsqueda en Google consume 0.3 Wh (o lo hacía en 2011); tendría que hacer más de 300 búsquedas en una hora para gastar en eso más de lo que quemo yo sentado mientras las realizo. ...