tento týden čtu bílé knihy o protokolech pro trénink umělé inteligence ve stylu swarm / decentralizovaných a jsem ohromen tím, co v nich není: determinismus.

inferenci pomocí GPU je známá svou nespolehlivostí - drobné přehazování fp32, atomiky v konvolucích, převody tensor-core, závody multi-stream - to vše se sčítá do různých logitů při "stejném" forward passu. literatura je plná obcházení (deterministické režimy cuDNN, jádra s uzamčením ticket-lock, zamrzlé sestavení motorů), přesto se nic z toho neobjevuje v lesklých dtrain dokumentech.

proč se starat? pokud každý uzel v síti vyplivne mírně odlišné gradienty, hodně štěstí při dosahování on-chain konsensu nebo prokazování poctivého příspěvku. náklady na ověření explodují, logika se rozpadá a celý slogan "trénink s minimalizovanou důvěrou" začíná vypadat jako ideál spíše než jako implementace.

takže, crypto-ml twitter: kdo se vlastně zabývá nedeterminismem v distribuovaném, protivníkovi nakloněném prostředí? existují nějaké dokumenty / blogy, které bych měl přečíst? analogie k jiným konsensuálním vrstvám? vložte odkazy níže.