Modellen er ikke tænkt som en lille lokal assistent til en almindelig bærbar. Den består af 770 milliarder parametre i alt, men bruger en arkitektur, der kun aktiverer en del af dem for hvert stykke input. Dermed forsøger Tencent at forene meget stor kapacitet med et mere målrettet ressourceforbrug.
En kæmpemodel, der vælger dele af sig selv
Hy4 preview er bygget som en såkaldt blanding af eksperter. I stedet for at sende hver opgave gennem hele modellen vælges bestemte underdele undervejs. Tencent oplyser, at 49 milliarder af modellens 770 milliarder parametre aktiveres per token.Det gør ikke modellen lille, men det forklarer, hvordan en så omfattende model kan arbejde uden at bruge alle sine dele på hvert trin. I praksis er målet at lade forskellige dele specialisere sig og kun kalde på dem, der er relevante for den aktuelle opgave.
Tencent fremhæver især lange opgaver inden for softwareudvikling, dokumentarbejde, dataanalyse, spiludvikling og forskning. Den store kontekst kan være nyttig, når oplysninger ligger spredt på mange filer, men kilderne dokumenterer ikke, at modellen altid udnytter hele mængden lige godt.
Åbne vægte er ikke det samme som nem lokal drift
Modelvægtene er de tal, som rummer det indlærte mønster i modellen. Tencent har lagt både standardudgaven og en komprimeret FP8-udgave ud og udgiver dem under Apache 2.0-licensen, som giver brede muligheder for brug og videreudvikling.Det er en vigtig forskel fra modeller, der kun kan tilgås gennem leverandørens egen tjeneste. Udviklere kan i princippet køre Hy4 preview på egen infrastruktur, finjustere den og undersøge, hvordan den virker.
Den praktiske barriere er udstyret. Tencents egen vejledning viser opsætninger, der fordeler den komprimerede model over otte grafikkort. Åben adgang sænker derfor den juridiske og tekniske adgang til vægtene, men ikke nødvendigvis prisen på den computerkraft, der skal til for at bruge dem.
Resultaterne kommer fra Tencent selv
Tencent har afprøvet modellen på 203 ingeniøropgaver med 163 interne eksperter. I selskabets egen blinde sammenligning fik Hy4 preview et lille forspring over GLM-5.3 og Kimi K3.Det er relevant som et tidligt tegn på, hvad Tencent har optimeret modellen til, men det er ikke en uafhængig test. Sammenligningen bør derfor læses som leverandørens egen måling, indtil eksterne evalueringer og erfaringer fra åben brug giver et bredere billede.
Ordet preview er et vigtigt forbehold
Tencent beskriver selv Hy4 preview som en tidlig udgave. Blandt de kendte problemer nævner udviklerne, at modellen kan bruge længere tid end nødvendigt på svære opgaver og kontrollere sit eget arbejde for meget.Det gør udgivelsen mere til en åben arbejdsplatform end til et færdigt facit på markedets bedste model. Den brede licens og de tilgængelige vægte giver forskere og udviklere mulighed for at prøve påstandene af, mens preview-mærket gør det klart, at både adfærd og effektivitet stadig kan ændre sig.
For den brede AI-udvikling er det mest interessante derfor kombinationen: en meget stor model, lang kontekst og reel adgang til vægtene. Om Hy4 preview også bliver praktisk attraktiv uden for de bedst udstyrede miljøer, afhænger af kommende målinger, lettere varianter og erfaringer fra dem, der nu kan tage modellen i brug.
Der er benyttet AI til at skrive denne artikel.
