TritonGen — Control en Tiempo de Inferencia para Kernels de GPU Generados por LLM

Resumen

TritonGen es un proyecto de investigación de licenciatura (TC3002B, ACA-2026) en el Tecnológico de Monterrey que estudia cómo los mecanismos de control en tiempo de inferencia afectan la calidad de los kernels de GPU generados por modelos de lenguaje. Escribir kernels de Triton correctos es difícil incluso para ingenieros con experiencia, y los modelos suelen producir código que compila pero es numéricamente incorrecto o más lento que una implementación ingenua. La pregunta que buscamos responder fue si restringir al modelo durante el decodificado —en lugar de reentrenarlo— basta para cerrar esa brecha.

Enfoque

• Modelo: Qwen2.5-Coder-7B-Instruct-AWQ, un modelo de código cuantizado servido localmente, elegido para que todo el ciclo de evaluación pudiera correr en hardware accesible.
• Mecanismos de control: comparación de estrategias aplicadas durante la generación contra una línea base sin restricciones.
• Evaluación: los kernels generados se verificaron por compilación, corrección numérica contra una implementación de referencia y rendimiento de ejecución.

Entregables

• Póster científico elaborado en LaTeX (Beamer), presentado como resultado final de la investigación.
• Artículos de referencia traducidos y anotados como sustento de la revisión de literatura.
• Pipeline reproducible de generación y evaluación.

Por qué importa

La escritura de kernels de GPU es uno de los casos más claros en los que la salida de un modelo puede parecer plausible y aun así ser inútil, porque la corrección es verificable y el rendimiento es medible. Eso lo convierte en un banco de pruebas útil para el control en tiempo de inferencia en general, más allá de este dominio específico.