Vir: Creating RAG-Based Question-and-Answer LLM Workflows at NVIDIA
Hitri razvoj rešitev z uporabo tehnologije obogatenega generiranja z iskanjem (RAG) za delovne tokove vprašanj in odgovorov z LLM je privedel do novih vrst sistemskih arhitektur. Delo v podjetju NVIDIA z uporabo umetne inteligence za notranje operacije je privedlo do več pomembnih ugotovitev za usklajevanje zmogljivosti sistemov z uporabniškimi pričakovanji.
Ugotovili so, da uporabniki, ne glede na predvideni obseg ali primer uporabe, na splošno želijo biti sposobni izvajati naloge, ki niso povezane z RAG, kot so prevajanje dokumentov, urejanje e-pošte ali celo pisanje kode. Aplikacija RAG brez dodatkov bi lahko bila izvedena tako, da izvaja iskalni proces pri vsakem sporočilu, kar vodi do prekomerne uporabe žetonov in neželene latence, saj so vključeni nepomembni rezultati.
Več o tem si preberite na Creating RAG-Based Question-and-Answer LLM Workflows at NVIDIA
