Startupen Aleph Alpha, erk\u00e4nd som en av de europeiska p\u00e4rlorna inom artificiell intelligenssektorn, avsl\u00f6jade nyligen ett stort framsteg inom omr\u00e5det f\u00f6r stora spr\u00e5kmodeller (LLM). P\u00e5 Davos Economic Forum presenterade f\u00f6retaget en innovativ arkitektur designad f\u00f6r att fungera utan tokenizer. Detta tillv\u00e4gag\u00e5ngss\u00e4tt avsl\u00f6jar en tydlig ambition: att minska kraven p\u00e5 datorresurser b\u00e5de f\u00f6r utbildning och f\u00f6r slutledning av modeller. Borttagandet av tokenizers kan mycket v\u00e4l representera en vattendelare f\u00f6r generativ AI.<\/p>\n\n\n
Det \u00e4r viktigt att f\u00f6rst\u00e5 hur tokenizers fungerar. Dessa verktyg omvandlar str\u00e4ngar till listor med symboler som NLP-modeller (natural language processing) kan tolka. \u00c4ven om deras anv\u00e4ndning har varit avg\u00f6rande f\u00f6r framv\u00e4xten av nuvarande LLM, uppm\u00e4rksammar Aleph Alpha den ineffektivitet som dessa system kan generera, s\u00e4rskilt under finjustering och \u00f6vervakad tr\u00e4ning. Spr\u00e5kmodeller l\u00e4r sig utifr\u00e5n m\u00f6nster som finns i tokeniserade texter, vilket g\u00f6r deras anpassning till tidigare osynliga data mer komplex.<\/p>\n\n\n\n
Tokenisering \u00e4r inte en trivial process och v\u00e4cker flera utmaningar. \u00c5 ena sidan har metoden att segmentera meningar i tecken gradvis \u00f6vergivits p\u00e5 grund av dess \u00f6verdrivna f\u00f6rbrukning av ber\u00e4knings- och minnesresurser. Den nuvarande metoden, som delar in ord i sekvenser av intilliggande tecken, \u00e4ven om den till\u00e5ter effektiv hantering av ok\u00e4nda ord, \u00ab\u00a0belastar\u00a0\u00bb modellerna och g\u00f6r dem mindre effektiva p\u00e5 innovativa texter. Faktum \u00e4r att de f\u00f6rdomar som introduceras av det statiska ordf\u00f6rr\u00e5det som anv\u00e4nds f\u00f6r att tr\u00e4na modellerna g\u00f6r det inte m\u00f6jligt att prioritera de resurser som allokeras efter komplexiteten hos de f\u00f6rsta symbolerna i en mening.<\/p>\n\n\n
Aleph Alpha f\u00f6resl\u00e5r en radikal f\u00f6r\u00e4ndring med Hierarchical Architecture Transformer (HAT). Detta ramverk kombinerar teckenbaserad och ordbaserad bearbetning, som b\u00f6rjar med en enkel uppdelning av texter i ord, med regler som \u00f6verensst\u00e4mmer med Unicode-definitionen. Varje ord kodas sedan in i en inb\u00e4ddningsvektor, som kommer att mata en mycket kraftfullare huvudmodell.<\/p>\n\n\n\n
Begr\u00e4nsningarna f\u00f6r tokenizers verkar s\u00e4rskilt betydande i industriella milj\u00f6er, d\u00e4r anv\u00e4ndare letar efter modeller som kan svara p\u00e5 fr\u00e5gor som \u00e4r specifika f\u00f6r deras dom\u00e4n. Ofta \u00e4r tokeniserade modeller d\u00e5ligt l\u00e4mpade n\u00e4r det g\u00e4ller att arbeta med andra spr\u00e5k \u00e4n engelska. Att ta bort tokenizern presenterar sig d\u00e4rf\u00f6r som en lovande l\u00f6sning f\u00f6r att garantera modellernas suver\u00e4nitet och minska koldioxidavtrycket kopplat till deras tr\u00e4ning.<\/p>\n\n\n
N\u00e4r Aleph Alpha bygger mer effektiva modeller, finns det ett v\u00e4xande behov av modeller som anpassar sig inte bara till branschspecifikationer utan ocks\u00e5 till olika spr\u00e5k. Den nuvarande f\u00f6rk\u00e4rleken f\u00f6r flerspr\u00e5kiga spr\u00e5kmodeller kr\u00e4ver justeringar inom ramen f\u00f6r tokenisering, som f\u00f6r n\u00e4rvarande f\u00f6rblir alltf\u00f6r stel och statisk.<\/p>\n\n\n\n
Aleph Alpha HAT f\u00f6rest\u00e4ller sig en fullst\u00e4ndig omdefiniering av textdatabehandling. Genom att minska storleken p\u00e5 ordf\u00f6rr\u00e5det till endast 256 tokens samtidigt som man f\u00f6rlitar sig p\u00e5 UTF-8 som alfabet, utm\u00e4rker sig denna arkitektur f\u00f6r sin enkelhet och effektivitet. Systemet m\u00f6jligg\u00f6r end-to-end-tr\u00e4ning utan att beh\u00f6va f\u00f6rlita sig p\u00e5 en fast, f\u00f6rtr\u00e4nad tokenizer, vilket representerar ett betydande framsteg j\u00e4mf\u00f6rt med traditionella arkitekturer.<\/p>\n\n\n
F\u00f6r att testa sitt koncept implementerade Aleph Alpha en modell med 7 miljarder parametrar, tr\u00e4nad p\u00e5 en enorm dataupps\u00e4ttning inklusive 2,3 biljoner tokens p\u00e5 engelska och finska. De erh\u00e5llna resultaten \u00e4r imponerande, b\u00e5de n\u00e4r det g\u00e4ller slutledningskostnader och prestanda j\u00e4mf\u00f6rt med tokenizer-baserade modeller.<\/p>\n\n\n\n
Den f\u00f6rsta feedbacken p\u00e5 denna \u00ab\u00a0Tokenizer Free\u00a0\u00bb-arkitektur fr\u00e5n Aleph Alpha belyser flera anm\u00e4rkningsv\u00e4rda f\u00f6rdelar. Ut\u00f6ver en tydlig minskning av slutledningskostnader har \u00f6verl\u00e4gsen prestanda i termer av effektivitet observerats, som \u00f6vertr\u00e4ffar m\u00e5nga andra modeller under utveckling. Dessutom \u00e4r modellerna mindre k\u00e4nsliga f\u00f6r vanliga misstag som typografiska fel eller ofullst\u00e4ndiga ord, vilket ger b\u00e4ttre robusthet. Dessa egenskaper g\u00f6r HAT s\u00e4rskilt lovande f\u00f6r avancerade applikationer d\u00e4r precision \u00e4r avg\u00f6rande. I ett sammanhang d\u00e4r AI alltmer integreras i industriella l\u00f6sningar kan detta ocks\u00e5 inneb\u00e4ra en betydande minskning av driftskostnaderna.<\/p>\n\n\n\n
Men alla utmaningar \u00f6vervinns inte med borttagning av tokenizer. Aleph Alphas arkitektur, \u00e4ven om den \u00e4r effektiv, har \u00e4nnu inte visat sin livskraft mot logografiska spr\u00e5k, som kinesiska eller japanska, d\u00e4r en karakt\u00e4r kan b\u00e4ra hela betydelser. Denna verklighet utg\u00f6r hinder f\u00f6r implementeringen av modeller inom programmering eller komplex matematik. Aleph Alpha forts\u00e4tter att utforska andra metoder f\u00f6r att separera inmatningsord och anpassa sitt tillv\u00e4gag\u00e5ngss\u00e4tt d\u00e4refter.<\/p>\n\n\n
Inf\u00f6r konkurrenter som Meta som ocks\u00e5 str\u00e4var efter tokenizerfria l\u00f6sningar kommer fortsatt innovation att vara avg\u00f6rande f\u00f6r Aleph Alpha. Det internationella laboratoriet m\u00e5ste anpassa sina dataupps\u00e4ttningar och st\u00f6dja kapaciteter relaterade till multisektormodeller samtidigt som h\u00f6ga kvalitetsstandarder uppr\u00e4tth\u00e5lls.<\/p>\n\n\n\n
N\u00e4r Aleph Alpha utvecklar sin HAT-arkitektur arbetar andra forskningslabb som Meta i samma riktning. Metas senaste f\u00f6rslag, Byte Latent Transformer, delar liknande m\u00e5l men fokuserar p\u00e5 mer komplexa tillv\u00e4gag\u00e5ngss\u00e4tt som syftar till att ers\u00e4tta tokenizern med hj\u00e4lp av dynamiska teckenrepresentationer. Denna utveckling visar p\u00e5 ett v\u00e4xande intresse f\u00f6r decentraliserade modeller som p\u00e5 r\u00e4tt s\u00e4tt kan m\u00f6ta olika behov samtidigt som kostnaderna minskar. Debatten om framtiden f\u00f6r tokenisering \u00e4r mer relevant \u00e4n n\u00e5gonsin och involverar de olika intressenterna inom AI-sektorn.<\/p>\n\n\n\n
Med sin nya arkitektur str\u00e4var Aleph Alpha efter att positionera sig som en nyckelspelare i spr\u00e5kmodelllandskapet. \u00d6verg\u00e5ngen till mer autonoma generativa AI-system kan st\u00f6ra nuvarande utvecklingsprocesser, vilket ger f\u00f6retag ett h\u00e5llbart alternativ till redan existerande modeller.<\/p>\n\n\n
Aleph Alphas st\u00f6d f\u00f6r detta tillv\u00e4gag\u00e5ngss\u00e4tt lovar att driva betydande f\u00f6r\u00e4ndringar, vilket g\u00f6r det m\u00f6jligt f\u00f6r f\u00f6retag att fullt ut utnyttja AI-kapaciteten utan de begr\u00e4nsningar som tokenizers \u00e5l\u00e4gger. Potentialen att f\u00f6rb\u00e4ttra produktiviteten och minska utbildningskostnaderna skulle kunna \u00f6ppna d\u00f6rrar f\u00f6r \u00e4nnu bredare anv\u00e4ndning av artificiell intelligens inom olika branscher. I slut\u00e4ndan kan Aleph Alphas engagemang f\u00f6r innovation inom LLM-omr\u00e5det inneb\u00e4ra b\u00f6rjan p\u00e5 en ny era f\u00f6r AI.<\/p>\n\n","protected":false},"excerpt":{"rendered":"
Startupen Aleph Alpha, erk\u00e4nd som en av de europeiska p\u00e4rlorna inom artificiell intelligenssektorn, avsl\u00f6jade nyligen ett stort framsteg inom omr\u00e5det f\u00f6r stora spr\u00e5kmodeller (LLM). P\u00e5 Davos Economic Forum presenterade f\u00f6retaget en innovativ arkitektur designad f\u00f6r att fungera utan tokenizer. Detta tillv\u00e4gag\u00e5ngss\u00e4tt avsl\u00f6jar en tydlig ambition: att minska kraven p\u00e5 datorresurser b\u00e5de f\u00f6r utbildning och f\u00f6r […]<\/p>\n","protected":false},"author":1,"featured_media":663,"comment_status":"closed","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1452],"tags":[1847,269,2687,2690,2693],"class_list":["post-782","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-nyheter-ai-sv","tag-alfa-alfa-sv","tag-artificiell-intelligens-sv","tag-beroende-sv","tag-sprakmodeller-sv","tag-tokenizers-sv"],"_links":{"self":[{"href":"https:\/\/www.mon-agent-ia.fr\/blog\/wp-json\/wp\/v2\/posts\/782","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.mon-agent-ia.fr\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.mon-agent-ia.fr\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.mon-agent-ia.fr\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.mon-agent-ia.fr\/blog\/wp-json\/wp\/v2\/comments?post=782"}],"version-history":[{"count":1,"href":"https:\/\/www.mon-agent-ia.fr\/blog\/wp-json\/wp\/v2\/posts\/782\/revisions"}],"predecessor-version":[{"id":783,"href":"https:\/\/www.mon-agent-ia.fr\/blog\/wp-json\/wp\/v2\/posts\/782\/revisions\/783"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.mon-agent-ia.fr\/blog\/wp-json\/wp\/v2\/media\/663"}],"wp:attachment":[{"href":"https:\/\/www.mon-agent-ia.fr\/blog\/wp-json\/wp\/v2\/media?parent=782"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.mon-agent-ia.fr\/blog\/wp-json\/wp\/v2\/categories?post=782"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.mon-agent-ia.fr\/blog\/wp-json\/wp\/v2\/tags?post=782"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}