Oppstarten Aleph Alpha, anerkjent som en av de europeiske perlene i sektoren for kunstig intelligens, avduket nylig et stort fremskritt innen store spr\u00e5kmodeller (LLM). P\u00e5 Davos Economic Forum presenterte selskapet en innovativ arkitektur designet for \u00e5 fungere uten tokenizer. Denne tiln\u00e6rmingen avsl\u00f8rer en klar ambisjon: \u00e5 redusere kravene til dataressurser b\u00e5de for oppl\u00e6ring og for slutninger om modeller. Fjerningen av tokenizers kan godt representere et vannskille \u00f8yeblikk for generativ AI.<\/p>\n\n\n
Det er viktig \u00e5 forst\u00e5 hvordan tokenizere fungerer. Disse verkt\u00f8yene konverterer strenger til lister over symboler som NLP-modeller (natural language processing) kan tolke. Selv om bruken deres har v\u00e6rt avgj\u00f8rende i fremveksten av n\u00e5v\u00e6rende LLM-er, trekker Aleph Alpha oppmerksomheten til ineffektiviteten som disse systemene kan generere, spesielt under finjustering og overv\u00e5ket trening. Spr\u00e5kmodeller l\u00e6rer basert p\u00e5 m\u00f8nstre som er tilstede i tokeniserte tekster, noe som gj\u00f8r deres tilpasning til tidligere usett data mer kompleks.<\/p>\n\n\n\n
Tokenisering er ikke en triviell prosess og reiser flere utfordringer. P\u00e5 den ene siden har metoden for \u00e5 segmentere setninger i tegn gradvis blitt forlatt p\u00e5 grunn av dens overdrevne forbruk av beregnings- og minneressurser. Den n\u00e5v\u00e6rende metoden, som deler ord inn i sekvenser av tilst\u00f8tende tegn, selv om den tillater effektiv h\u00e5ndtering av ukjente ord, \u00ab\u00a0belaster\u00a0\u00bb modellene og gj\u00f8r dem mindre effektive p\u00e5 nyskapende tekster. Fordommene introdusert av det statiske vokabularet som brukes til \u00e5 trene modellene, gj\u00f8r det faktisk ikke mulig \u00e5 prioritere ressursene som tildeles i henhold til kompleksiteten til de f\u00f8rste symbolene i en setning.<\/p>\n\n\n
Aleph Alpha foresl\u00e5r en radikal endring med Hierarchical Architecture Transformer (HAT). Dette rammeverket kombinerer tegnbasert og ordbasert behandling, starter med en enkel inndeling av tekster i ord, ved \u00e5 bruke regler som samsvarer med Unicode-definisjonen. Hvert ord blir deretter kodet inn i en innebyggingsvektor, som vil mate en mye kraftigere hovedmodell.<\/p>\n\n\n\n
Begrensningene til tokenizere er spesielt viktige i industrielle milj\u00f8er, der brukere leter etter modeller som kan svare p\u00e5 sp\u00f8rsm\u00e5l som er spesifikke for deres domene. Ofte er tokeniserte modeller d\u00e5rlig egnet n\u00e5r det gjelder \u00e5 jobbe med andre spr\u00e5k enn engelsk. \u00c5 fjerne tokenizeren presenterer seg dermed som en lovende l\u00f8sning for \u00e5 garantere modellens suverenitet og redusere karbonavtrykket knyttet til treningen deres.<\/p>\n\n\n
Ettersom Aleph Alpha bygger mer effektive modeller, er det et \u00f8kende behov for modeller som tilpasser seg ikke bare bransjespesifikt, men ogs\u00e5 forskjellige spr\u00e5k. Den n\u00e5v\u00e6rende forkj\u00e6rligheten for flerspr\u00e5klige spr\u00e5kmodeller krever justeringer innenfor rammen av tokenisering, som for tiden fortsatt er for rigid og statisk.<\/p>\n\n\n\n
Aleph Alpha HAT ser for seg en fullstendig omdefinering av tekstdatabehandling. Ved \u00e5 redusere st\u00f8rrelsen p\u00e5 vokabularet til bare 256 tokens mens du stoler p\u00e5 UTF-8 som alfabetet, skiller denne arkitekturen seg ut for sin enkelhet og effektivitet. Systemet muliggj\u00f8r ende-til-ende-trening uten \u00e5 m\u00e5tte stole p\u00e5 en fast, forh\u00e5ndstrent tokenizer, som representerer et betydelig fremskritt i forhold til tradisjonelle arkitekturer.<\/p>\n\n\n
For \u00e5 teste konseptet, implementerte Aleph Alpha en modell med 7 milliarder parametere, trent p\u00e5 et massivt datasett inkludert 2,3 billioner tokens p\u00e5 engelsk og finsk. Resultatene som er oppn\u00e5dd er imponerende, b\u00e5de n\u00e5r det gjelder slutningskostnader og ytelse sammenlignet med tokenizer-baserte modeller.<\/p>\n\n\n\n
Den f\u00f8rste tilbakemeldingen p\u00e5 denne \u00ab\u00a0Tokenizer Free\u00a0\u00bb-arkitekturen fra Aleph Alpha fremhever flere bemerkelsesverdige fordeler. Utover en klar reduksjon i slutningskostnader, har overlegen ytelse n\u00e5r det gjelder effektivitet blitt observert, som overg\u00e5r mange andre modeller under utvikling. Videre er modellene mindre f\u00f8lsomme for vanlige feil som typografiske feil eller ufullstendige ord, noe som gir bedre robusthet. Disse egenskapene gj\u00f8r HAT spesielt lovende for avanserte applikasjoner hvor presisjon er avgj\u00f8rende. I en sammenheng hvor AI i \u00f8kende grad integreres i industrielle l\u00f8sninger, kan dette ogs\u00e5 bety en betydelig reduksjon i driftskostnadene.<\/p>\n\n\n\n
Imidlertid er ikke alle utfordringer overvunnet med fjerning av tokenizer. Aleph Alphas arkitektur, selv om den er effektiv, har enn\u00e5 ikke demonstrert sin levedyktighet mot logografiske spr\u00e5k, som kinesisk eller japansk, der en karakter kan b\u00e6re hele betydninger. Denne virkeligheten utgj\u00f8r hindringer for implementering av modeller i programmering eller kompleks matematikk. Aleph Alpha fortsetter \u00e5 utforske andre metoder for \u00e5 skille innord og tilpasse tiln\u00e6rmingen deretter.<\/p>\n\n\n
Stilt overfor konkurrenter som Meta som ogs\u00e5 s\u00f8ker tokenizer-frie l\u00f8sninger, vil fortsatt innovasjon v\u00e6re avgj\u00f8rende for Aleph Alpha. Det internasjonale laboratoriet m\u00e5 tilpasse sine datasett og st\u00f8ttefunksjoner knyttet til multisektormodeller samtidig som de opprettholder h\u00f8ye kvalitetsstandarder.<\/p>\n\n\n\n
Mens Aleph Alpha utvikler sin HAT-arkitektur, jobber andre forskningslaboratorier som Meta i samme retning. Metas nylige forslag, Byte Latent Transformer, deler lignende m\u00e5l, men fokuserer p\u00e5 mer komplekse tiln\u00e6rminger som tar sikte p\u00e5 \u00e5 erstatte tokenizeren ved \u00e5 bruke dynamiske tegnrepresentasjoner. Denne utviklingen fremhever en \u00f8kende interesse for desentraliserte modeller som kan m\u00f8te varierte behov og samtidig redusere kostnadene. Debatten om fremtiden for tokenisering er mer relevant enn noen gang og involverer de ulike interessentene i AI-sektoren.<\/p>\n\n\n\n
Med sin nye arkitektur \u00f8nsker Aleph Alpha \u00e5 posisjonere seg som en n\u00f8kkelakt\u00f8r i spr\u00e5kmodelllandskapet. Overgangen til mer autonome generative AI-systemer kan forstyrre dagens utviklingsprosesser, og gi bedrifter et levedyktig alternativ til eksisterende modeller.<\/p>\n\n\n
Aleph Alphas st\u00f8tte til denne tiln\u00e6rmingen lover \u00e5 drive betydelige endringer, slik at bedrifter kan utnytte mulighetene til AI fullt ut uten begrensningene p\u00e5lagt av tokenizers. Potensialet for forbedret produktivitet og reduserte oppl\u00e6ringskostnader kan \u00e5pne d\u00f8rer for enda bredere bruk av kunstig intelligens p\u00e5 tvers av ulike bransjer. Til syvende og sist kan Aleph Alphas forpliktelse til innovasjon innen LLM-er bety begynnelsen p\u00e5 en ny \u00e6ra for AI.<\/p>\n\n","protected":false},"excerpt":{"rendered":"
Oppstarten Aleph Alpha, anerkjent som en av de europeiske perlene i sektoren for kunstig intelligens, avduket nylig et stort fremskritt innen store spr\u00e5kmodeller (LLM). P\u00e5 Davos Economic Forum presenterte selskapet en innovativ arkitektur designet for \u00e5 fungere uten tokenizer. Denne tiln\u00e6rmingen avsl\u00f8rer en klar ambisjon: \u00e5 redusere kravene til dataressurser b\u00e5de for oppl\u00e6ring og for […]<\/p>\n","protected":false},"author":1,"featured_media":663,"comment_status":"closed","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1524],"tags":[1895,2723,209,2726,2729],"class_list":["post-790","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-nyheter-ai-nb","tag-alfa-alfa-nb","tag-avhengighet-nb","tag-kunstig-intelligens-nb","tag-sprakmodeller-nb","tag-tokenizere-nb"],"_links":{"self":[{"href":"https:\/\/www.mon-agent-ia.fr\/blog\/wp-json\/wp\/v2\/posts\/790","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.mon-agent-ia.fr\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.mon-agent-ia.fr\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.mon-agent-ia.fr\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.mon-agent-ia.fr\/blog\/wp-json\/wp\/v2\/comments?post=790"}],"version-history":[{"count":1,"href":"https:\/\/www.mon-agent-ia.fr\/blog\/wp-json\/wp\/v2\/posts\/790\/revisions"}],"predecessor-version":[{"id":791,"href":"https:\/\/www.mon-agent-ia.fr\/blog\/wp-json\/wp\/v2\/posts\/790\/revisions\/791"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.mon-agent-ia.fr\/blog\/wp-json\/wp\/v2\/media\/663"}],"wp:attachment":[{"href":"https:\/\/www.mon-agent-ia.fr\/blog\/wp-json\/wp\/v2\/media?parent=790"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.mon-agent-ia.fr\/blog\/wp-json\/wp\/v2\/categories?post=790"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.mon-agent-ia.fr\/blog\/wp-json\/wp\/v2\/tags?post=790"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}