Tokens

💻 ¿Brendan Long: El Nuevito con 10 Años de Retraso? 🤷‍♂️

Brendan Long ha propuesto una técnica para mejorar la generación de texto por un LLM, sugiriendo que los tokens más cortos son más probables debido a su capacidad para completar múltiples palabras. Esto podría explicar por qué los modelos de inteligencia artificial tienden a repetir palabras comunes. Si te gustan las aplicaciones de IA como asistentes virtuales o chatbots, este avance podría explicar por qué a menudo se repiten ciertas palabras o frases. Saber cómo funciona por dentro puede ayudarte a entender mejor cómo interactuar con estos sistemas.

Ve más información acerca de modelos: modelos.

Long ha desarrollado una aplicación para leer contenido RSS y está interesado en la seguridad de IA. Realizó un experimento con nanoGPT que demostró que tokenizar palabras en su primer carácter puede aumentar la probabilidad de ciertas palabras en la salida del modelo.

¿Esto significa que mi teléfono va a empezar a repetir palabras más seguido?

Esto no significa que tu teléfono vaya a empezar a repetir palabras más seguido. Lo que sucede es que los modelos de IA, como los que usamos en tu teléfono, tienden a elegir palabras cortas porque son más comunes. Por ejemplo, si estás escribiendo un mensaje y tu teléfono sugiere palabras, a veces te dará «que» o «el» antes de algo más específico. Es como si tu teléfono estuviera buscando la forma más rápida de completar tu pensamiento, y las palabras cortas son como monedas fáciles de ganar en un juego.

¿Mis datos se van a ver comprometidos con esto, Brendan?

No te preocupes, tu privacidad no está en riesgo con esto. Los modelos de IA, como nanoGPT, solo usan algoritmos matemáticos y no se conectan con tu información personal. Es como si tu teléfono estuviera jugando a un juego solo con datos generales, no con tus datos personales. De hecho, el objetivo es hacer que la IA sea más privada y segura, no menos.

Ve más información acerca de modelos: modelos.

¿Cómo se compara esto con los métodos de otros modelos de IA?

Compara esto con otros modelos de IA como GPT-3, que también prefieren palabras cortas pero no tanto. En GPT-3, puedes poner cualquier cosa y a veces obtienes respuestas sorprendentes. Con la técnica de Brendan, el modelo se vuelve un poco más predecible, pero también más eficiente en términos de palabras comunes. Es como si GPT-3 fuera un chef creativo mientras que este modelo sea más como un chef que cocina con recetas básicas.

¿Podrías explicarme qué son estos «tokens» y por qué importa su longitud?

Los «tokens» son como piezas del puzzle que el modelo de IA usa para construir sus respuestas. Piensa en ellos como las letras de un acertijo. Si tienes una frase y la divides en tokens, cada palabra se convierte en una pieza. Los tokens cortos son como las piezas fáciles de encajar, mientras que los largos son como los rompecabezas difíciles. Lo importante es que los modelos prefieren tokens cortos porque son más comunes y fáciles de usar.

Ve más información acerca de modelos: modelos.

¿Brendan, esto significa que los modelos de IA van a empezar a parecerse a Mario Bros con sus monedas, llenándose de palabras comunes?

No exactamente como Mario Bros, pero sí como si los modelos de IA se volvieran un poco más predecibles. En lugar de buscar palabras raras y únicas, se inclinan más por las comunes, como si estuvieran llenándose de «monedas» más pequeñas. Es como si la IA se volviera un poco más «grunge», preferiendo lo básico y lo común, en lugar de buscar siempre lo más innovador.