DaH QInlIj DaleghDI', po'wI' ghom (Mixture of Experts, MoE — QI'ntel chenmoHmeH mIw) DughojmoH Hoch. mIllogh 'IHmey tu'lu', QoQ ro'qegh tu'lu', „chenmoHwI' chu'mey ghop mIw 'oH". chu'qu' 'e' luja'.
DIS 1991 qaSpu' qech.
loS QulwI'pu' — pagh Geoffrey Hinton (DIS 2024 Nobel naQ Suqta') — mIw luDel. pong: „Adaptive Mixtures of Local Experts". DIS 2017 Google ghom mIw parHa' chenmoH; DaH mIwvam lo' Hoch. qul-chenmoHwI' rur: chu' law' 'oHbe'.
'ach vIt tu'lu'. latlhDaq Sum neH.
nuq 'oH po'wI' ghom
vaS'a' Hergh qach yIqel. vatlhvatlh Hergh po'wI'pu' tu'lu', Hoch qormey ghaj. DeSlIj Sor'a' ghorlu'; bIjaH. loSvatlh po'wI'pu' pa'Daq tlheghbe'chugh — wa' neH ngoQ: bIQaH 'e' wIvbogh nuv (router) jatlh: „Hergh-chIrgh, cha'DIch tabDaq."
tIn qach. 'ach nI'be' poHlIj.
MoE chenmoHwI' rur. law' QI'ntel Sar tu'lu'; po'wI'pu' ponglu'. Doch mach tu'lu' — router 'oH — mu' Hoch wIvbogh. cha', loS, chorgh po'wI'pu' neH vum. latlh po'wI'pu' Qong.
latlh mIw: „dense" (naQ). Hoch DIchDaq Hoch chenmoHwI' vum. Hoch mu', Hoch poH, Hoch Doch. Huch tIn.
nuq 'oH chu''e'
naDev val Doch — 'ej naDev mev QIn law'.
MoE chenmoHwI' ghaj cha' mI'. wa': Hoch parameter mI' (Hoch nuqDaq tu'lu'). cha': parameter vumbogh mI' (nuq vum wa' jangmeH). qaStaHvIS DISmey rap rurchuq. DaH pIm'eghqu':
- DeepSeek V4 Flash: 284 milliard Hoch, 13 milliard neH vum.
- Qwen 3.8 Max: 2,4 billion Hoch, 95 milliard neH vum.
- Kimi K3: 896 po'wI'pu' tu'lu', 16 neH vum.
jangmeH, chenmoHwI' 2 – 5% neH vum. vaj tInqu'be' chenmoHwI' — chImqu' chenmoHwI'. Sov law' lupolqu' chenmoHwI'pu', 'ach wa' jang vumbogh Doch nIteb rap.
choHvam luyItlh QInlIj — 'ach pongbe'.
qatlh SaH SoH
cha' Doch, lo'laH.
QIn nachDaq parameter mI' — pagh 'oH. „2,4 billion parameter" DalaDDI', pol'a' tIn 'oH, yab HoS 'oHbe'. chenmoHwI'pu' DaSIchchugh, vumbogh mI' yISam — pIj pongDaq tu'lu'. 35B-A3B 'oS: 35 milliard Hoch, 3 milliard vum.
vaj QI'ntel Huch DIch — 'ach QaQ law'. wa' jang Huch ghurbe'; QaQ ghur. ngoQ ngeb 'oHbe'; mIwvam 'oH. QI'ntel Huch yIlaD.
nuq luqonbe' QIn law'
cha' Doch luqonbe', po'wI' ghom botjan Qu'law' luja'DI'.
vum neH chIm; pol chImbe'. 284 milliard parameter naQ chargh'egh nIS, vum 13 milliard neH 'a'. juHlIjDaq chenmoHwI' DatuQmoHchugh: MoE QaHbe'. vaS'a' Hoch pol Daq DaghajnIS, Hergh-chIrgh neH DajaHchugh je.
po'wI'pu' — qormey ghajbe'. mIS ruStaHqu' 'oH. chutwI' po'wI' retlhDaq mI'wI' po'wI' ba'be'. po'wI' ghojpu'bogh Doch — maH nuvpu'vaD pagh qor Sar 'oH. ghojmeH poH, chenmoHwI' 'e' wIv'egh; qelbogh nuv tu'lu'be'. „po'wI'" — QI'ntel mu' 'oH, Qu' pong 'oHbe'.
DaSovnIS'a'?
vIt: ghobe'. ChatGPT, Gemini, DeepSeek Dalo'laH, „router" mu' Daqoybe'taHvIS je.
'ach cha' Doch Del: qatlh QIn nachDaq parameter mI'mey qatlhqu' choH — 'ej qatlh Huch bortaS ghurbe'.
vaj latlh jaj MoE „choH tIn" luja'chugh: mIw qan law' qonwI'pu' qan puS. chu' neH wa' Doch: DaH „chImqu'" chenmoHwI'pu'.