AI-startupen Stability AI har just släppt Stable Audio Open Small. Den beskrivs som ”en stereoljudgenererande AI-modell”. Företaget hävdar att modellen är den snabbaste på marknaden. Det mest spännande är dock att Open Small-modellen är så kompakt och effektiv att den kan köras direkt på smartphones.
Stable Audio Open Small är resultatet av ett samarbete mellan Stability AI och Arm. Arm är chiptillverkaren bakom många processorer i surfplattor, telefoner och andra mobila enheter. Det finns andra AI-drivna appar som kan generera ljud, till exempel Suno och Udio, men de flesta är beroende av molnbehandling och kan därför inte användas offline. Stable Audio Open Small är utformad för att köras lokalt.
En viktig detalj är att Stability hävdar att Stable Audio Open Smalls träningsset uteslutande består av låtar från de licensfria ljudbiblioteken Free Music Archive och Freesound. Det innebär att det, till skillnad från tidigare musik-AI:er, inte kan uppstå upphovsrättsliga problem med musiken som genereras med Open Small-modellen. Totalt ingick 486 492 ljudinspelningar i träningsmaterialet, varav 472 618 från Freesound och 13 874 från Free Music Archive.
Modellen innehåller 341 miljoner parametrar och är optimerad för att köras på Arm-processorer. Det är precis vad du hittar i de flesta smartphones. Den är utformad för att snabbt generera korta ljudklipp och ljudeffekter, såsom trum- och instrumentriff.
Modellen har dock sina begränsningar. Stable Audio Open Small stöder endast promptar skrivna på engelska. Stability påpekar också att modellen inte kan generera realistiska röster eller högkvalitativa sånger och att den på grund av begränsningar i träningsmaterialet fungerar bäst i populära västerländska stilarter.
Den största begränsningen är dock att Stable Audio Open Small just nu bara kan skapa upp till 11 sekunders ljud på en smartphone. Men det kan i gengäld göras på mindre än åtta sekunder.
När det gäller användarvillkoren är Stable Audio Open Small gratis att använda för forskare, hobbyanvändare och företag med en årsomsättning på mindre än 1 miljon dollar. Ett belopp som väldigt få musiker kan hoppas komma i närheten av.
Mer information: Stability AI
