In Breve
- Cosa è Jalapeño?
- Jalapeño è un chip sviluppato da OpenAI per ottimizzare le prestazioni nell'inferenza AI.
- Quali sono i vantaggi di Jalapeño?
- Il chip offre un maggior numero di token per utente e una maggiore throughput per kilowatt rispetto ai processori attuali.
- Quando sarà disponibile Jalapeño?
- Il primo dispiegamento è previsto entro la fine del 2026, con una distribuzione più ampia nel 2027.
Durante la conferenza Hot Chips, OpenAI ha presentato Jalapeño, un nuovo chip progettato per ottimizzare le prestazioni nell’inferenza AI. I risultati dei benchmark condotti da Semianalysis mostrano che Jalapeño offre un numero maggiore di token per utente e una maggiore throughput per kilowatt rispetto ai processori attualmente considerati all’avanguardia, come il sistema Nvidia Blackwell.
OpenAI, in collaborazione con Broadcom, ha sviluppato Jalapeño utilizzando i propri modelli nel processo di progettazione, con l’obiettivo di creare una piattaforma multigenerazionale in grado di coordinare chip, memoria e modelli. L’architettura del chip è stata studiata per ridurre i ritardi nelle fasi di prefill e comunicazione, che rappresentano colli di bottiglia durante l’inferenza. Come spiegato nel comunicato aziendale, “We designed Jalapeño to minimize data movement and communication delays.” Questo approccio consente di mantenere lo stato del modello, inclusa la KV cache utilizzata durante la generazione delle risposte, allocato localmente, mentre il sistema attiva la combinazione adeguata di calcolo, memoria e rete per ogni fase di inferenza.
Richard Ho, responsabile hardware di OpenAI, ha dichiarato: “The bottom line is that the results show a very, very significant performance advance over state of the art. Jalapeño can serve more AI work per unit of power, while also returning responses more quickly. It’s very efficient to serve a lot of customers, but it can also be very low latency.”
OpenAI prevede di avviare un primo dispiegamento in volumi molto ridotti entro la fine del 2026, con una distribuzione più significativa programmata per il 2027. Questa innovazione potrebbe segnare un passo avanti significativo nel campo dell’intelligenza artificiale, rendendo le applicazioni più efficienti e reattive.
