Kategorija: NVIDIA Novice

Udeležite se konference NVIDIA GTC 2025, vodilnega svetovnega dogodka na področju umetne inteligence, visokozmogljivega računalništva in inovacij. Odkrijte najnovejše tehnologije, povežite se z industrijskimi strokovnjaki in spoznajte, kako napredna AI rešuje največje izzive sodobnega sveta.

📅 Datum: 17.–21. marec 2025
📍 Lokacija: San Jose, Kalifornija & spletno predvajanje

Ne zamudite ekskluzivnih predstavitev, delavnic in priložnosti za mreženje z vodilnimi AI strokovnjaki. Registrirajte se zdaj in soustvarjajte prihodnost AI!

🔗 Več informacij: NVIDIA GTC 2025.

Vir: DeepSeek-R1 Now Live With NVIDIA NIM | NVIDIA Blog

Da bi razvijalcem omogočili varno eksperimentiranje z zmogljivostmi DeepSeek-R1 in gradnjo lastnih specializiranih agentov, je model DeepSeek-R1 s 671 milijardami parametrov zdaj na voljo kot predogled mikroservisa NVIDIA NIM na build.nvidia.com. Mikrostoritev DeepSeek-R1 NIM lahko zagotovi do 3.872 tokenov na sekundo na enem sistemu NVIDIA HGX H200.

Razvijalci lahko preizkusijo in eksperimentirajo z vmesnikom za programiranje aplikacij (API), ki bo kmalu na voljo kot prenosljiv mikroservis NIM, del programske platforme NVIDIA AI Enterprise.

Mikrostoritev DeepSeek-R1 NIM poenostavlja uvajanje s podporo za industrijsko standardizirane API-je. Podjetja lahko povečajo varnost in zasebnost podatkov z izvajanjem mikrostoritve NIM na svoji izbrani pospešeni računalniški infrastrukturi. Z uporabo NVIDIA AI Foundry in programske opreme NVIDIA NeMo bodo podjetja prav tako lahko ustvarila prilagojene DeepSeek-R1 NIM mikrostoritve za specializirane AI agente.

Več o tem si preberite na DeepSeek-R1 Now Live With NVIDIA NIM | NVIDIA Blog.

NVIDIA širi AI delovne tokove z NVIDIA NIM™ in NVIDIA Blueprints

Vir: https://blogs.nvidia.com/blog/nim-agent-blueprints/

NVIDIA v svojem širokem naboru programske opreme ponuja tudi NIM (NVIDIA Inference Microservices) in NVIDIA Blueprints, ki poenostavljajo uvedbo generativne umetne inteligence v različnih panogah. NVIDIA NIM™ omogoča optimizirane, oblačne mikrostoritve za sklepanje na osnovi AI, medtem ko NVIDIA Blueprints ponujajo vnaprej pripravljene delovne tokove za hitrejši razvoj in implementacijo.

Te rešitve podjetjem omogočajo hitrejšo uvedbo AI, zmanjšanje kompleksnosti infrastrukture in večjo produktivnost. Ne glede na to, ali gre za oblak, lokalne strežnike ali hibridna okolja, NVIDIA-jeva nova AI orodja prinašajo prilagodljivost in razširljivost.

Več informacij o NVIDIA Blueprints: NVIDIA AI Workflows.

Vir: NVIDIA Puts Grace Blackwell on Every Desk and at Every AI Developer’s Fingertips | NVIDIA Newsroom

Na sejmu CES 2025 je NVIDIA predstavila Project DIGITS, osebni AI superračunalnik, zasnovan za zagotavljanje namiznega dostopa do platforme NVIDIA Grace Blackwell raziskovalcem umetne inteligence, podatkovnim znanstvenikom in študentom. Osrednji del sistema je novi NVIDIA GB10 Grace Blackwell Superchip, ki zagotavlja do 1 petaflop AI zmogljivosti pri natančnosti FP4. GB10 združuje NVIDIA Blackwell GPU z najnovejšimi CUDA® jedri in peto generacijo Tensor Cores, povezanimi prek NVLink®-C2C z visokozmogljivim NVIDIA Grace™ CPU, ki vsebuje 20 jeder na osnovi Arm arhitekture. Razvit v sodelovanju z MediaTek, GB10 poudarja energetsko učinkovitost in zmogljivost. Vsaka enota Project DIGITS vključuje 128 GB enotnega pomnilnika in do 4 TB NVMe shrambe, kar omogoča obdelavo AI modelov z do 200 milijardami parametrov. Za večje modele je mogoče povezati dve enoti, da podpirata do 405 milijard parametrov. Ta konfiguracija omogoča uporabnikom razvoj in izvajanje inferenc modelov lokalno ter njihovo brezhibno

Vir: GPU Memory Essentials for AI Performance | NVIDIA Technical Blog

Na blogu podjetja NVIDIA so izpostavili, kako ključna je kapaciteta pomnilnika grafičnih procesorjev (GPU) za uspešno izvajanje naprednih modelov umetne inteligence (UI). Uporaba velikih UI modelov, kot je na primer Llama 2 s 7 milijardami parametrov, zahteva velike količine pomnilnika. Na primer, za obdelavo v natančnosti FP16 je potrebno najmanj 28 GB pomnilnika.

NVIDIA ponuja visokozmogljive RTX GPU-je, kot je model RTX 6000 Ada Generation, ki vključuje do 48 GB VRAM-a. Ti GPU-ji so zasnovani za delo z največjimi modeli umetne inteligence, kar omogoča lokalni razvoj in izvajanje zahtevnih nalog. Poleg tega so opremljeni s posebno strojno opremo, kot so Tensor Cores, ki znatno pospešijo izračune, potrebne za umetno inteligenco.

Z zmogljivimi rešitvami NVIDIA lahko podjetja in raziskovalci optimizirajo razvoj in implementacijo modelov UI neposredno na lokalnih napravah, kar odpira številne nove možnosti za napredek v umetni inteligenci.

Več informacij najdete na uradnem NVIDIA blogu: developer.nvidia.com.

Če želite izvedeti več o zmogljivih NVIDIA rešitvah, se obrnite na nas v Xenya d.o.o., kjer vam z veseljem pomagamo najti pravo rešitev za vaše potrebe!

Vir: An Easy Introduction to Multimodal Retrieval-Augmented Generation | NVIDIA Technical Blog

Gradnja multimodalnega sistema z uporabo arhitekture RAG predstavlja velik izziv. Težave izhajajo iz zajemanja in indeksiranja informacij iz različnih modalitet, vključno z besedilom, slikami, tabelami, avdio in video ter drugimi. Avtorji so v prejšnji objavi, “Enostaven uvod v multimodalni Retrieval-Augmented Generation“, razpravljali o tem, kako se spopasti z besedilom in slikami. Ta objava razširja razpravo na avdio in video. Posebej raziskujejo, kako zgraditi multimodalni RAG sistem za iskanje informacij v videoposnetkih.

Več o tem si preberite na An Easy Introduction to Multimodal Retrieval-Augmented Generation for Video and Audio | NVIDIA Technical Blog

Vir: Creating RAG-Based Question-and-Answer LLM Workflows at NVIDIA

Hitri razvoj rešitev z uporabo tehnologije obogatenega generiranja z iskanjem (RAG) za delovne tokove vprašanj in odgovorov z LLM je privedel do novih vrst sistemskih arhitektur. Delo v podjetju NVIDIA z uporabo umetne inteligence za notranje operacije je privedlo do več pomembnih ugotovitev za usklajevanje zmogljivosti sistemov z uporabniškimi pričakovanji.

Ugotovili so, da uporabniki, ne glede na predvideni obseg ali primer uporabe, na splošno želijo biti sposobni izvajati naloge, ki niso povezane z RAG, kot so prevajanje dokumentov, urejanje e-pošte ali celo pisanje kode. Aplikacija RAG brez dodatkov bi lahko bila izvedena tako, da izvaja iskalni proces pri vsakem sporočilu, kar vodi do prekomerne uporabe žetonov in neželene latence, saj so vključeni nepomembni rezultati.

Več o tem si preberite na Creating RAG-Based Question-and-Answer LLM Workflows at NVIDIA

Vir: What Is Agentic AI?

Agentična umetna inteligenca uporablja prefinjeno sklepanje in ponavljajoče se načrtovanje za avtonomno reševanje zapletenih, večstopenjskih problemov.

Klepetalni roboti UI uporabljajo generativno umetno inteligenco za zagotavljanje odzivov na podlagi ene same interakcije. Oseba poda poizvedbo, klepetalni robot pa odgovori z obdelavo naravnega jezika.

Naslednja meja umetne inteligence je agentična umetna inteligenca, ki uporablja prefinjeno sklepanje in iterativno načrtovanje za avtonomno reševanje kompleksnih, večstopenjskih problemov. To bo povečalo produktivnost in delovanje v različnih panogah.

Agentični sistemi umetne inteligence sprejemajo velike količine podatkov iz različnih virov, da bi samostojno analizirali izzive, razvijali strategije in izvajali naloge, kot so optimizacija dobavne verige, analiza ranljivosti na področju kibernetske varnosti in pomoč zdravnikom pri dolgotrajnih opravilih.

Več o tem si preberite na What Is Agentic AI?

Vir: Access to NVIDIA NIM Now Available Free to Developer Program Members

Zmožnost uporabe preprostih API-jev za vključevanje predhodno usposobljenih temeljnih modelov umetne inteligence v izdelke in izkušnje je znatno povečala uporabo končnih točk LLM in okvirov za razvoj aplikacij s strani razvijalcev. NVIDIA NIM™ omogoča razvijalcem in inženirskim ekipam hitro uvajanje lastnih končnih točk modelov UI za varen razvoj pospešenih generativnih aplikacij UI z uporabo priljubljenih razvojnih orodij in ogrodij

Razvijalci so povedali, da želijo lažji dostop do NVIDIA NIM™ za razvojne namene, zato so pri podjetju NVIDIA navdušeni, da lahko več kot 5 milijonom članov programa NVIDIA Developer Program omogočijo brezplačen dostop do prenosljivih mikrostoritev NIM™ za razvoj, testiranje in raziskave. Članom programa so na voljo obsežni viri, usposabljanje, orodja in skupnost strokovnjakov, ki pomagajo pri gradnji pospešenih aplikacij in rešitev

Več o tem si preberite na Access to NVIDIA NIM Now Available Free to Developer Program Members.

Vir: A Simple Guide to Deploying Generative AI with NVIDIA NIM.

Ne glede na to, ali delate lokalno ali v oblaku, mikrostoritve NVIDIA NIM™ omogočajo razvijalcem v podjetjih enostavno uporabo optimiziranih modelov UI iz skupnosti, partnerjev in družbe NVIDIA. Kot del NVIDIA AI Enterprise, NVIDIA NIM™ ponuja varno in poenostavljeno pot naprej za hitro iteracijo in gradnjo inovacij za vrhunske generativne rešitve UI.

Z uporabo enega samega optimiziranega vsebnika lahko mikrostoritev NVIDIA NIM™ preprosto namestite v manj kot 5 minutah na pospešenih sistemih NVIDIA GPU v oblaku ali podatkovnem centru ali na delovnih postajah in osebnih računalnikih. Če se želite izogniti namestitvi vsebnika, lahko začnete prototipno razvijati svoje aplikacije z vmesniki NVIDIA NIM API iz NVIDIA API kataloga.

Več o tem si preberite na A Simple Guide to Deploying Generative AI with NVIDIA NIM.