NVIDIA近日發(fā)布了ChatRTX 0.3版本，為人工智能對話系統(tǒng)帶來了諸多令人興奮的新功能。作為基于RTXGPU的本地大語言模型（LLM），NVIDIAChatRTX憑借其卓越的性能和安全的本地處理，已經(jīng)成為企業(yè)和開發(fā)者的理想選擇。此次0.3版本更新，進(jìn)一步提升了其功能和用戶體驗(yàn)，增加了照片搜索、AI驅(qū)動的語音識別等新特性。本文將詳細(xì)介紹NVIDIAChat RTX的安裝與使用方法、新增功能及其優(yōu)點(diǎn)，并推薦幾款其他本地LLM解決方案。

NVIDIAChat RTX 0.3配置要求

如何安裝和使用NVIDIAChat RTX 0.3

下載地址：https://www.nvidia.com/en-us/ai-on-rtx/chatrtx/

在強(qiáng)大的大型語言模型（LLM）支持下，ChatRTX0.3版本還新增了查詢筆記和文檔的功能。用戶可以通過ChatRTX快速生成相關(guān)回復(fù)，并在用戶設(shè)備上本地運(yùn)行。這一功能的加入，將使得用戶能夠更加方便地管理和利用自己的筆記和文檔資源，提高工作和學(xué)習(xí)效率。

由于我們下載的這個Gemma7B int4模型非常龐大，因此我們使用的顯卡是映眾RTX4090 D超級冰龍版，在使用過程中顯存容量已經(jīng)到了14.5GB。所以，顯存容量低于8GB的RTX30/40系列顯卡無法勝任這類大模型的運(yùn)行任務(wù)。建議使用顯存容量在16GB及以上的顯卡來處理此類大模型，以確保流暢運(yùn)行。

其他本地LLM解決方案：

Olama

Olama是另一個用干運(yùn)行LLM 的工具和框架，例如yistral、Llama2、或codellama本地運(yùn)行(請參閱庫)。它目前僅在macOs 和Linux上運(yùn)行，因此我將使用WSL。值得注意的是，LangChain和 Ollama之間存在很強(qiáng)的集成度。

安裝Olama后，我們可以使用o1lamaserve.o11ama run $M0DEL現(xiàn)在，我們可以使用簡單地運(yùn)行應(yīng)用程序和模型o1lamarun、llama2。運(yùn)行命令后，我們有一個提示窗口作為我們的用戶界面。

GPT4AII

Nomic的GPT4AI既是一系列模型，也是一個用于訓(xùn)練和部署模型的生態(tài)系統(tǒng)。如下所示，GPT4AI桌面應(yīng)用程序很大程度上受到OpenAl的ChatGPT 的啟發(fā)。

安裝后，您可以從多種型號中進(jìn)行選擇。對于本示例，選擇了Mistral0pen0rca.但是，GPT4AI支持多種模型。

LM工作室

LMStudio作為一個應(yīng)用程序，在某些方面與GPT4AI 類似，但更全面。LMStudio 旨在本地運(yùn)行LLM 并試驗(yàn)不同的模型，通常從HuggingFace存儲庫下載。它還具有聊天界面和兼容OpenA! 的本地服務(wù)器。在幕后，LMStudio 也嚴(yán)重依賴llama.cpp。

讓我們嘗試運(yùn)行我們已建立的示例，首先，我們需要使用模型瀏覽器下載模型。這是一個很棒的工具，因?yàn)樗苯舆B接到HuggingFace并負(fù)責(zé)文件管理。也就是說，模型瀏覽器還將顯示不一定可以開箱即用的模型以及模型的許多變體。

使用上面演示的工具，我們能夠在本地輕松使用此類開放模型。這不僅使我們能夠在沒有隱私風(fēng)險的情況下利用生成式人工智能，而且還可以更輕松地嘗試開放模型。其中NVIDIAChat RTX0.3版本通過引入照片搜索和AI驅(qū)動的語音識別功能，再次提升了其在本地LLM解決方案中的地位。無論是在高效處理能力、多功能集成還是數(shù)據(jù)隱私保護(hù)方面，NVIDIAChat RTX都表現(xiàn)出色。

除此之外，Olama、GPT4AII和LMStudio等解決方案也提供了多樣化的選擇，滿足不同用戶的需求。根據(jù)自身的硬件條件和具體需求，選擇適合的本地LLM解決方案，開啟智能對話新時代。

【來源：中關(guān)村在線】