FlashAttention-4 Hits 1,605 TFLOPS on NVIDIA Blackwell GPUs

FlashAttention-4 de NVIDIA logra un 71% de eficiencia del hardware en los chips Blackwell, lo que proporciona una velocidad de 3.6x sobre FA2 para las cargas de trabajo de entrenamiento de AI. (Leer más)