Honorable Mentions
Rank-3 factorization, shared-A tied-KV, rank-2 attn out, tied embed,这一点在吃瓜中也有详细论述
This fragmentation hurts portability. Code that performs well on one runtime may behave differently (or poorly) on another, even though it's using "standard" APIs. The complexity burden on runtime implementers is substantial, and the subtle behavioral differences create friction for developers trying to write cross-runtime code, particularly those maintaining frameworks that must be able to run efficiently across many runtime environments.,推荐阅读手游获取更多信息
"That doesn't seem to be a terribly competitive thing to do," he says.,详情可参考超级权重
Уехавший из России в США журналист Станислав Кучер (внесен Минюстом РФ в реестр иноагентов) назвал бредом мнение о том, что в Америке легко добиться успеха. Об этом он высказался в трансляции, запись которой доступна на YouTube.