Nuntii tui hodie mixturam peritorum (mixtura peritorum, Anglice „Mixture of Experts") tibi explicant. Disputationes cum figuris coloratis, imagines moventes cum musica gravi, „ecce structura quae novas machinas regit". Sonat quasi inventum hebdomadis superioris.
Consilium anno 1991 natum est.
Tunc quattuor investigatores — inter quos Godefridus Hinton, qui anno 2024 praemium Nobelianum physicae accepit — rationem descripserunt quam „adaptivas mixturas peritorum locorum" appellaverunt. Anno 2017 manus Googliana ex ea formam parcam fecit qua omnes hodie utuntur. Tam nova est quam machina ignivoma.
Clamor tamen nucleum verum habet. Alibi tantum iacet quam disputationes affirmant.
Quid sit mixtura peritorum
Finge tibi valetudinarium ingens. Centeni periti, singulae partes cum proprio campo. Bracchio fracto intras — neque quadringenti simul in cubiculum irrumpunt. Ad ianuam aliquis intra momenta decernit: chirurgia, tabulatum secundum.
Valetudinarium ingens est. Tempus tuum tamen breve manet.
Sic prorsus machina MoE operatur. Ex multis retibus minoribus constat, quae „periti" vocantur. Ante eos sedet particula parva, router (dispositor, id est ianua nostra). Pro quaque particula textus dispositor decernit qui duo, quattuor aut octo periti computent. Ceteri quiescunt.
Contrarium consilium „densum" dicitur. Ibi ad omnem rogationem machina tota computat. Omne verbum, omni vice, omnia. Carum.
Quid vere novum sit
Hic res acrior fit — et hic plurimae disputationes desinunt.
Machina MoE duos numeros habet: magnitudinem totam, id est quot parametra omnino insint, et parametra activa, id est quot ex illis re vera in singulis responsis computent. Per annos hi numeri satis propinqui manebant. Nunc crudeliter dissiliunt:
- DeepSeek V4 Flash: 284 miliarda parametrorum in summa, ex quibus circiter 13 miliarda activa.
- Qwen 3.8 Max: 2,4 billiones in summa, ex quibus circiter 95 miliarda activa.
- Kimi K3: 896 periti praesto sunt, ex quibus 16 laborant.
Id sunt fere 2 ad 5% machinae in singulis responsis. Machinae igitur non simpliciter maiores fiunt — inaniores fiunt. Venditores plus plusque scientiae in pluteum congerunt, dum labor computandi per rogationem vix movetur.
Haec est vera mutatio quam nuntii tui celebrant sine nomine.
Cur hoc ad te pertineat
Duo, plane utilia.
Numeri parametrorum in titulis fere nihil iam significant. Cum legis „2,4 billiones parametrorum", magnitudo horrei est, non vis cogitandi in singulis responsis. Qui machinas comparare vult, numerum activum quaerat — saepe in ipso nomine stat. Nota qualis 35B-A3B significat: 35 miliarda parametrorum in summa, 3 miliarda ex his activa.
Ideo intelligentia artificialis vilior fit neque peior. Pretia per rogationem nuper ceciderunt, dum qualitas crevit. Non est praestigium mercatorum, sed magna ex parte haec ipsa structura — plura in Quantum machina pecuniae constet.
Quid disputationes omittant
Duae cautiones quae raro apparent, cum quis MoE quasi remedium omnium vendit.
Parcum est solum computare, non memoria. Illa 284 miliarda parametrorum tota onerata esse debent, quamquam sola 13 miliarda laborant. Quod tibi significat: MoE domesticam administrationem non subito facilem reddit. Spatio pro toto valetudinario adhuc opus est, etiamsi solam chirurgiam adis.
„Periti" non sunt campi doctrinae. Haec est opinio falsa pertinacissima ex imaginibus moventibus. Non sedet peritus iuris iuxta peritam mathematicae. Quod talis peritus didicit, nobis hominibus plerumque nullum argumentum purum reddit — machina divisionem sibi ipsa inter exercitationem composuit, secundum formas quas nemo praescripsit. „Peritus" vocabulum artis est, non officii nomen.
Num hoc scire debeas?
Sincere: minime. ChatGPT, Gemini aut DeepSeek tractare potes neque umquam verbum router audivisse.
Sed duo explicat quae tibi assidue occurrunt: cur numeri parametrorum in titulis semper absurdiores fiant — et cur ratio tua nihilo minus non crescat.
Cum igitur proximo tempore quis tibi MoE quasi mensis revolutionem vendet: structura antiquior est quam plerique qui de ea scribunt. Novum est solum quam „inanes" machinae interim factae sint.