Vir: DeepSeek-R1 Now Live With NVIDIA NIM | NVIDIA Blog
Da bi razvijalcem omogočili varno eksperimentiranje z zmogljivostmi DeepSeek-R1 in gradnjo lastnih specializiranih agentov, je model DeepSeek-R1 s 671 milijardami parametrov zdaj na voljo kot predogled mikroservisa NVIDIA NIM na build.nvidia.com. Mikrostoritev DeepSeek-R1 NIM lahko zagotovi do 3.872 tokenov na sekundo na enem sistemu NVIDIA HGX H200.
Razvijalci lahko preizkusijo in eksperimentirajo z vmesnikom za programiranje aplikacij (API), ki bo kmalu na voljo kot prenosljiv mikroservis NIM, del programske platforme NVIDIA AI Enterprise.
Mikrostoritev DeepSeek-R1 NIM poenostavlja uvajanje s podporo za industrijsko standardizirane API-je. Podjetja lahko povečajo varnost in zasebnost podatkov z izvajanjem mikrostoritve NIM na svoji izbrani pospešeni računalniški infrastrukturi. Z uporabo NVIDIA AI Foundry in programske opreme NVIDIA NeMo bodo podjetja prav tako lahko ustvarila prilagojene DeepSeek-R1 NIM mikrostoritve za specializirane AI agente.
Več o tem si preberite na DeepSeek-R1 Now Live With NVIDIA NIM | NVIDIA Blog.
