Finge te velle ut machina statuta sodalitatis tuae octoginta paginarum noverit. Aut indicem culinarium tuum. Aut tabulas calorarum quibus asseclam alimentarium tuum pascis.
Solutio simplex: omnia in colloquium transcribere. Operatur — donec documentum nimis magnum fit, machina principium obliviscitur, et singula rogatio frustra pretiosa fit.
Solutio elegans promptuarium vectoriale (vector store) appellatur. Et facilius intellegitur quam nomen suspicari sinit.
Difficultas fundamentalis: machina memoriam non habet
Machina linguae nihil de te novit. Omne colloquium novum ab integro incipit. Contextum transcribere potes, sane — sed spatium finitum est (fenestra contextus dicta), et totum librum cum singulis quaestionibus mittere est quasi totam bibliothecam circumferre ut unam paginam consulas.
Via igitur esse debet machinae id solum quod rectum est porrigendi. Hoc ipsum promptuarium vectoriale facit.
Cogitatio: sententia in numeros vertitur
Computatrum verba non intellegit, sed numeros solos. Quare promptuarium vectoriale omnem textum in longam seriem numerorum vertit — insertionem (embedding) dictam. Ars: hi numeri sententiam capiunt, non litteras.
Textus simili sententia similes numeros accipiunt et prope se collocantur. "Canis" et "quadrupes" prope iacent. "Canis" et "professio tributaria" longe distant.
Finge bibliothecam in qua libri non secundum litteras dispositi sunt, sed secundum argumentum congregati — omnia de coquendo simul, quaecumque tituli dicant. Non vocabulum exactum quaeris, sed sensum.
Exemplum quod manu computare potes
Hic paulo technicius fit — sed ne timeas: omnia ad multiplicationem et additionem redeunt, quae quivis calculator perficit. Hunc locum praeterire licet; principium etiam sine numeris stat.
Sumamus quinque dimensiones sententiae — quinque argumenta quibus textum metimur: coctio, nutritio, exercitatio, instrumenta, pecunia. Quisque textus pro argumento valorem accipit, maiorem quo magis convenit. (Vera exemplaria insertionis hos valores ipsa inveniunt — hic manu ponimus.)
Duo documenta:
| Coctio | Nutritio | Exercitatio | Instrumenta | Pecunia | |
|---|---|---|---|---|---|
| Doc A — receptum farinae paucarum calorarum | 3 | 4 | 0 | 0 | 1 |
| Doc B — exercitatio roboris pro incipientibus | 0 | 1 | 4 | 2 | 1 |
Hi quinque numeri vector documenti sunt. Ut solam directionem comparemus (non utrum textus plura verba habeat), quemque vectorem ad longitudinem 1 redigimus — quod "normare" dicitur. Per longitudinem propriam dividis:
- longitudo A = √(3² + 4² + 1²) = √26 ≈ 5,10 → A ≈ (0,59; 0,78; 0; 0; 0,20)
- longitudo B = √(1² + 4² + 2² + 1²) = √22 ≈ 4,69 → B ≈ (0; 0,21; 0,85; 0,43; 0,21)
Nunc quaestio. Quaestio tua quoque in talem vectorem (normatum) vertitur, prout argumenta premit. Et quia omnes vectores longitudinem 1 habent, mensura similitudinis cosini iam solum productum scalare est: valores binos multiplicare, omnia addere. Eventus prope 1 significat "in eandem partem spectat" — simillimum; prope 0 "parum commune habet".
Cur autem cosinus? Quia facilis est computatu et perspicuus manet: cosinus magnus angulum parvum inter vectores significat — fere in eandem partem spectant. Sunt et aliae mensurae similitudinis, sed cosinus classicus est.
Semel computatum pro quaestione "coquere paucis caloribus" = (1; 1; 0; 0; 0), normatum (0,71; 0,71; 0; 0; 0):
- cum A: 0,59 · 0,71 + 0,78 · 0,71 = 0,97
- cum B: 0,21 · 0,71 = 0,15
Doc A clare vincit. En pro quattuor quaestionibus:
| Quaestio (pondera) | · A | · B | Aptius |
|---|---|---|---|
| "coquere paucis caloribus" (1,1,0,0,0) | 0,97 | 0,15 | Doc A |
| "quomodo exercear?" (0,0,1,0,0) | 0,00 | 0,85 | Doc B |
| "sane edere, parva pecunia" (0,1,0,0,1) | 0,69 | 0,30 | Doc A |
| "nutritio ad exercitationem" (0,1,1,0,0) | 0,55 | 0,75 | Doc B |
Ultima linea notatu digna est: "nutritio" sola ad Doc A spectaret — sed "exercitatio" fortius ad Doc B trahit, et in summa B vincit. Promptuarium vocabula non comparat; totam sententiam expendit.
Et hic totus dolus est: sola multiplicatio et additio. Quod hic pro 2 documentis et 5 dimensionibus calculatore facimus, servitor pro decies centenis milibus documentorum et milibus dimensionum facit — intra paucas millesimas secundae. Vera exemplaria insertionis fere 500 ad 4000 dimensiones adhibent loco quinque. Principium exacte idem manet.
Quomodo coniungitur: RAG
Terminus technicus RAG est — retrieval-augmented generation (generatio recuperatione adiuta). Aspere sonat, sed solum significat: antequam respondet, machina particulas convenientes ex basi scientiae tuae petit.
Quattuor gradibus:
- Dividere: Documentum tuum in particulas parvas secatur ("chunks") — fere per singulos paragraphos.
- Inserere: Quaeque particula vestigium numerale suum accipit et in promptuarium vectoriale it.
- Quaerere: Cum quaestionem ponis, ea quoque in numeros vertitur — et promptuarium particulas simillimas reddit.
- Respondere: Solae illae paucae particulae, cum quaestione tua, ad machinam eunt.
Ceterum in usu raro solum unum optimum inventum sumis, sed — prout res postulat — tres ad quinque optimos. Praesertim cum milia vel decies centena milia documentorum in promptuario iacent, hoc cavet ne quid magni effugiat. Principium non mutatur.
Pro toto libro mittendo, sola pagina conveniens exit. Hoc pecuniam servat et responsum certius reddit — fontibus tuis nititur, non eo quod machina aliquando alicubi legit.
Effectus secundarius gratus: minus hallucinationis. Cum machina locum rectum ante oculos habet, rarius aliquid affingit.
Quid revera tibi opus est
Nuntius bonus: promptuarium vectoriale ipse non componis. Instrumenta parata divisionem, insertionem, quaestionem pro te perficiunt:
- OpenWebUI basim scientiae inclusam habet — PDF intrahe, perfectum est.
- Flowise integros cursus machinae conglutinare sinit, sine ulla linea codicis.
- Qdrant ipsum promptuarium vectoriale est — munde in Docker currit, si mavis ipse tenere.
Et haec pars vere grata est: omnia haec apud te currunt. Documenta tua computatrum proprium non relinquunt — nulla nubes, nullus advena qui simul legat. Pro omni re secreta, argumentum verum.
Historia brevis: nihil novi
Magia nova machinae videtur? Non est. Textus ut vectores in spatio disponere antiquius est quam plerique huius blog lectores — cogitatio ad Vector Space Model annorum 1960 et 1970 redit. Iam magna systemata quaerendi et bibliothecaria sic operabantur, et circa millennii initium machinae quaerendi interretiales eventus suos hoc ipso principio ordinabant.
Non igitur promptuarium vectoriale novum est. Novum est quomodo numeri oriantur. Olim verba simpliciter numerabant et formulis ut TF-IDF (in mundo SEO etiam WDF*IDF dicta) ponderabant: quo rarius verbum in universum, eo magis grave huic uni documento. Mera ratiocinatio verborum — sententiae nullum vestigium.
Hodie machina linguae insertionem perficit. Didicit "canem" et "quadrupedem" cohaerere, quamquam idem verbum numquam cadit. Hoc olim fieri non poterat — et hac ipsa de causa cogitatio vetus nunc ver alterum experitur.
Quando operae pretium est — et quando non
Sincere: pro celeri quaestione ad ChatGPT promptuario vectoriali non eges. Operae pretium est cum identidem contra eandem scientiae copiam laboras — notas proprias, manualia, documentationem, indicem culinarium. Omnia quae nimis magna sunt ut singulis vicibus de integro explicentur.
Pro usu unico nimium est. Pro memoria quae tecum crescit, exacte aptum.
Quomodo incipias
Aditus facillimus OpenWebUI est: basim scientiae crea, documenta intrahe, machinae propriae attribue — cetera instrumentum facit. Qui altius descendere vult, Qdrant uno iusso Docker incipit et experitur quomodo quaestio secundum sententiam sentiatur.
Hoc initium est seriei parvae de systematibus intelligentibus propriis aedificandis. Proximo Qdrant concrete inspiciemus — et quomodo inde fiat colloquens (chatbot) qui contenta tua vere noverit.