HuisNieuwsUntether AI heroverweegt de architectuur van Von Neumann voor AI-inferentieversnellerkaarten

Untether AI heroverweegt de architectuur van Von Neumann voor AI-inferentieversnellerkaarten

In plaats van een conventionele Von Neumann-architectuur die is ontworpen om gegevens te verplaatsen, zijn de run200AI-apparaten die worden gebruikt in de tsunAImi-acceleratorkaarten ontworpen voor berekeningen. Het verwerkingselement bevindt zich in het geheugen om een ​​gedistribueerde verwerkingsarray te creëren.

De runAI200-apparaten gebruiken integer datatypes en een batchmodus van 1. De geheugenbank heeft 385kbyte SRAM met een 2D-array van 512 verwerkingselementen. Er zijn 511 banken per chip, die samen 200Mbyte per apparaat opleveren. De werking is tot 502 TOPS in ‘sport’-modus. Geconfigureerd in ‘eco’ modus, levert het 8 TOPS.

De rekenkracht van de acceleratorkaart vertaalt zich in meer dan 80.000 fps aan ResNet-50 v 1.5 doorvoer bij batch = 1, oftewel driemaal de doorvoer van zijn naaste concurrent, aldus het bedrijf. In een andere benchmarktest, voor natuurlijke taalverwerking, kunnen de acceleratorkaarten meer dan 12.000 zoekopdrachten per seconde van BERT-base verwerken, zegt het bedrijf. Dit is vier keer sneller dan elk aangekondigd product, zegt het.


De runAI200-apparaten worden vervaardigd met behulp van een kosteneffectief 16nm-proces.

AI voor inferentie zal een belangrijk element zijn in datacenters, waar de computerdichtheid de prestaties van slimme steden en andere AI- en machine learning-toepassingen zal versnellen.

De tsunAImi-acceleratorkaart is een PCI Express-kaart met standaardvormfactor voor gebruik in de cloud of servers. Het ondersteunt de open software TensorFlow en PyTorch voor machine learning.

Om de acceleratorkaart te begeleiden, heeft de Untether AI imAIgine softwareontwikkelingskit (SDK) drukknopkwantisering, optimalisatie, fysieke toewijzing en multi-chip partitionering. Het biedt ook een visualisatietoolkit, een cyclusnauwkeurige simulator en een runtime-API voor integratie.

De tsunAImi-acceleratorkaart neemt nu bemonstering en zal in het eerste kwartaal van 2021 commercieel verkrijgbaar zijn. De imAIgine SDK is in vroege toegang bij geselecteerde klanten en partners.