Saskaņā ar Pinplay ziņojumu 19. oktobrī, Arxiv lapa rāda, ka Microsoft Research kopā ar Ķīnas Zinātņu akadēmijas Universitāti un Tsinghua Universitāti kopīgi izlaida pētījumu un paziņoja par mērogojamu un stabilu 1-$BIT$ Transformer arhitektūru BitNet arhitektūru. BitNet ir izstrādāts lieliem valodas modeļiem. Pētniecības komanda teica, ka, lai apmācītu 1-bit svaru, komanda ieviesa BitLinear kā nn. Alternatīva $LINEAR$ slānim. Eksperimentālie rezultāti rāda, ka BitNet sasniedz konkurētspējīgu veiktspēju valodas modelēšanas uzdevumos, vienlaikus ievērojami samazinot atmiņas patēriņu un enerģijas patēriņu. Turklāt BitNet prezentē mērogošanas likumu, kas līdzīgs pilna precizitātes Transformers, parādot, ka tam ir potenciāls paplašināties uz lielākiem valodas modeļiem, saglabājot efektivitāti un veiktspējas ieguvumus.

#bitcoin #microsoft

#axs #zkevm #etf #enjoy #crypto2023 #cryptonews