NLP y Audio

Tokenización, BERT, LLMs, encoder-decoder y encoders de audio.

Volver a los 11 temas · Referencia · el temario oficial: Syllabus IOAI

📋 En el syllabus oficial: sección 6. NLP and audio.

La sección 6 del syllabus. Junta dos modalidades porque se atacan igual: tokenizar → encoder preentrenado → fine-tuning. En audio el encoder cambia de nombre (Whisper, HuBERT) pero el patrón es idéntico.

📌 Qué abarca

  • Texto 🧠💻: encoders preentrenados (BERT) y language modeling.
  • Texto 💻: clasificación, encoder-decoder (traducción, visión-lenguaje), LLMs preentrenados (open-source y vía API).
  • Audio 💻: encoders preentrenados (HuBERT), Qwen-Audio, Whisper, Voxtral.
  • Tokenización y vocabularios, tanto de texto como de audio (vía Metodología y Datos).

Alcance y prioridades de estudio

Distingue lo no incluido oficialmente de lo que esta ruta pospone por presupuesto. El alcance oficial lo fija Syllabus IOAI.

  • No listado como subtema en el syllabus 2026: Teoría de Transformers para audio (el syllabus la limita a texto e imagen).
  • No listado como subtema en el syllabus 2026: Síntesis de voz, diarización, traducción simultánea como temas propios.
  • No listado como subtema en el syllabus 2026: Entrenar un LLM desde cero.

🎯 En competencia

Tres de las seis tareas de 2026 fueron de texto o audio. Y trajeron una restricción que hay que interiorizar: la lista de modelos permitidos es cerrada y está en el enunciado. Find the Order solo admitía wav2vec 2.0, Whisper y Qwen2.5-0.5B; Ghost of the Machine, únicamente bge-base-en-v1.5. Saber usar ese modelo vale más que conocer diez.

⚠️ La trampa típica

Cargar un modelo por su id del Hub ("BAAI/bge-m3") en vez de por su ruta exigida por la tarea. En offline, un ID puede resolverse desde caché, pero eso no acredita que el modelo esté permitido; prepara y prueba los activos.

🏋️ Tareas de la IOAI con este tema

Ordenadas por media observada descendente. La ronda y el tamaño de cohorte importan: este orden no prescribe una progresión de estudio.

TareaEdiciónRondaRendimiento observado
Synthetic Speech DetectorIOAI 2025GAITE🟢 media ≥50 · media 79.18 · n=16
Combinatorial Word SegmentationIOAI 2025GAITE🟢 media ≥50 · media 55.35 · n=16
ConceptsIOAI 2025Día 1🟠 media ≥12 · media 19.1 · n=284
Robot ChasingIOAI 2026Día 1🔴 media <12 · media 11.98 · n=440
Find the OrderIOAI 2026Día 1🔴 media <12 · media 9.72 · n=440
Ghost of the MachineIOAI 2026Día 2🔴 media <12 · media 8.7 · n=440
PotatoIOAI 2026Día 1🔴 media <12 · media 8.19 · n=440
Help BOBAIIOAI 2024Científica on-site⚪ sin datos
BobaiIOAI 2024Científica at-home⚪ sin datos
ChameleonIOAI 2025At-home⚪ sin datos
Operation Night WatchIOAI 2026At-home⚪ sin datos
The Analytical Language of John WilkinsIOAI 2026At-home⚪ sin datos

Las otras puertas del vault: Ruta de Aprendizaje · Referencia · IOAI