Cervisiam unam emere voluisti. Intelligentia artificialis duas tibi infudit.
Hoc ipsum mihi accidit — in lusu adventuroso quem ipse aedificavi. Intelligentia artificialis ibi magistrum lusus agit: mundum, munera, personas fingit et ad omnem inscriptionem respondet. „Cervisiam eme", „ad casinum vade", „cum musico viae loquere" — cetera sua sponte oriuntur. Nullus cursus alteri par est. Satis lepidum.
Regulae huius rei in prompto systematis insunt: in mandato perpetuo quod machina ad omnem actionem una legit. Et tempore crevit. A quattuor milibus ad supra sexaginta milia tokenorum (token fere una syllaba est). Tandem se ipsum quibusdam locis repugnabat, mandata duplicata bis exsecuta sunt — inde duae cervisiae.
Plus contextus paene semper rectum est
Primum nuntium bonum, quod ad plurima prompta valet: intelligentiae artificiali vix nimium contextus dare potes. Dum promptum manu scribis, plus scribe quam minus. Machina non addit quod tu pro certo habes — id in articulo de prompto fallaci pertractavimus. Qui parce promptum scribit, responsa parca et saepe inutilia accipit. Fundamenta in Quid est promptum? leguntur.
Ergo: copiose. Quid velis, quo tono, cui, quibus finibus.
Et quando nimium est?
Cum promptum tam longum fit ut tu fila amittas — tum etiam machina ea amittit.
In regulis magistri mei lusus tria simul acciderunt:
- Repugnantiae. Uno loco regula A, triginta paragraphis post contrarium. Machina sortita est quae valeret.
- Duplicationes. Idem mandatum bis — et statim bis exsecutum est.
- Laqueus pretii. Sexaginta milia tokenorum sola machinae carae et summae pure tractare poterant. Machinae viles per omnia purgamenta produxerunt.
Hoc ultimum bis carum fit: et plura tokena solvis et machinam cariorem.
Computemus semel
Computemus cum Claude Sonnet (ad praesentem statum circiter tria dollaria pro miliōne tokenorum ingressus). Per actionem lusoris: sexaginta quinque milia tokenorum intro, quingenta foras pro fabula.
Id sunt circiter viginti centēsimae — pro uno „sinistrorsum vade". Et quidem per actionem, per lusorem. Lusum ad finem percurrere? Facile quingentae actiones. Id sunt centum euro — pro uno cursu. Per omnem visitatorem qui temptat. Ita lusum in rete ponere non possum; primum meridiem curiosum me magnam pecuniam constaret.
Deinde promptum recensui: redundantia sublata, verba inania sublata, capita rerum loco sententiarum integrarum, informationes meta superfluae deletae. Eventus: triginta duo milia tokenorum. Dimidio minus, idem lusus. Pretium per actionem: circiter decem centēsimae. Iam dimidiatum.
Et nunc vectis verus: ad triginta duo milia tokenorum etiam MiniMax M2.7 sufficit — machina vilis e Sinis (nunc circiter viginti quinque centēsimae pro miliōne tokenorum ingressus, pars minima Sonnetis). Eadem actio sic circiter unum centēsimum constat — cursus integer ergo circiter quinque euro loco centum. Cum consilio tokenorum MiniMacis, iterum circiter 90% minus.
Ita, cum Sonnet vel Opus lusus paulo iucundior est. Sed in tanta pretii differentia?
Estne intelligentia localis alternativa?
Quaestio prompta: machinam in computatro proprio simpliciter currere, tum nulla rogatio quicquam constat. Ollama id facere sinit.
In hoc casu: potius non. In ferramentis communibus solae machinae parvae (7B) currunt, et eae cum fenestra contextus circiter sedecim milium et quingentorum tokenorum veniunt — regulae meae triginta duorum milium tokenorum ne illuc quidem capiunt. De tempore exspectationis taceo. Intelligentia localis praeclara est, sed non ad omne munus.
Exitus elegans: machinam in lusu instituere
Tamen problema manet: lusus qui gratis in rete stat omnem tactum omnis visitatoris e crumena mea solvit. Unum centēsimum per quingentas actiones per multos curiosos — accumulatur. Vere otiosum demum fit cum rogatio paene nihil constat.
Ad id consilium illecebrosum est: loco regularum ad omnem actionem mittendarum, machinam parvam semel in eis instituo. Tum regulas „memoriter" novit, et solam actionem lusoris mitto — minimam. Fortasse tale SLM (Small Language Model, frater minor magni LLM) etiam localiter curreret, et tum rogatio nihil omnino constat. Machina magna carmina scribere et codicem reparare et magister lusus esse potest — in lusu meo plus quam 99% eius in omni rogatione abicio.
Hamus: institutio machinae praecipue mores et stilum imprimit, non memoriam fidam factorum. Machina parva ergo tonum lusus mei attingeret — et tamen libenter regulas proprias fingeret. Id ipsum problema quod tollere volebam.
Num operae pretium sit, quamdiu talis institutio duret, et num computatrum meum id omnino ferat? Hic articulus proprius est. Notatum. 😉
Hamus ex altera parte
Noli nunc in alterum extremum cadere et metu pretii nimis parum scribere. Nam id quoque ulciscitur:
Si promptum tuum nimis tenue est, machina interrogat — vel ineptias profert quas corrigere debes. In omni interrogatione totum cursum hactenus iterum mittis. In summa saepe plura tokena sunt quam si statim recte promptum scripsisses. (Ita, multa eorum in memoria reponuntur — gratis tamen non sunt.)
Et noli timere: etiam nos, qui cotidie cum his rebus laboramus, prompta nostra assidue emendamus. Plus quam interdum. Non est error tironis, sed status normalis.
Regula pollicis
Omne promptum quod manu scribis fere nimis breve est. Cogita num plus contextus dare possis.
Nimis longum promptum demum est cum tam longum factum est ut tu ipse fila amittas. Tum saltem: expurga. Quod sibi repugnat, quod se duplicat, quod nemo eget — eice.
Dimidio brevius, duplo clarius. Et obiter multo vilius.