Cross-layer sharing, rank-1 projections, sparse gate, low-rank head, frozen scaling params
1L Qwen3, d=3, 4h/1kv, hd=2, ff=3
，更多细节参见搜狗输入法2026
// 栈不为空时才判断（避免访问stack.at(-1)时报错）
СюжетСанкции против России:
Банда угрожала иностранцу ножом и украла два миллиона батов (пять миллионов рублей) наличными из его дома в Таиланде. Об этом пишет издание Bangkok Post.