一、介紹

      DeepSeek-VL2，這是一系列先進(jìn)的大型混合專家 (MoE) 視覺語言模型，其顯著改進(jìn)了其前身 DeepSeek-VL。DeepSeek-VL2 在各種任務(wù)中都表現(xiàn)出卓越的能力，包括但不限于視覺問答、光學(xué)字符識(shí)別、文檔/表格/圖表理解和視覺基礎(chǔ)。我們的模型系列由三個(gè)變體組成：DeepSeek-VL2-Tiny、DeepSeek-VL2-Small 和 DeepSeek-VL2，分別具有 1.0B、2.8B 和 4.5B 激活參數(shù)。與現(xiàn)有的開源密集和基于 MoE 的模型相比，DeepSeek-VL2 以相似或更少的激活參數(shù)實(shí)現(xiàn)了具有競(jìng)爭(zhēng)力或最先進(jìn)的性能。

      二、部署過程

      基礎(chǔ)環(huán)境最低要求說明：

      1. 更新基礎(chǔ)軟件包

      查看系統(tǒng)版本信息

      配置 apt 國(guó)內(nèi)源

      這個(gè)命令用于更新本地軟件包索引。它會(huì)從所有配置的源中檢索最新的軟件包列表信息，但不會(huì)安裝或升級(jí)任何軟件包。這是安裝新軟件包或進(jìn)行軟件包升級(jí)之前的推薦步驟，因?yàn)樗_保了您獲取的是最新版本的軟件包。

      這個(gè)命令用于安裝 Vim 文本編輯器。 選項(xiàng)表示自動(dòng)回答所有的提示為“是”，這樣在安裝過程中就不需要手動(dòng)確認(rèn)。Vim 是一個(gè)非常強(qiáng)大的文本編輯器，廣泛用于編程和配置文件的編輯。

      為了安全起見，先備份當(dāng)前的 sources.list 文件之后，再進(jìn)行修改：

      這個(gè)命令將當(dāng)前的 文件復(fù)制為一個(gè)名為 的備份文件。這是一個(gè)好習(xí)慣，因?yàn)榫庉? 文件時(shí)可能會(huì)出錯(cuò)，導(dǎo)致無法安裝或更新軟件包。有了備份，如果出現(xiàn)問題，您可以輕松地恢復(fù)原始的文件。

      這個(gè)命令使用 Vim 編輯器打開 文件，以便您可以編輯它。這個(gè)文件包含了 APT(Advanced Package Tool)用于安裝和更新軟件包的軟件源列表。通過編輯這個(gè)文件，您可以添加新的軟件源、更改現(xiàn)有軟件源的優(yōu)先級(jí)或禁用某些軟件源。

      在 Vim 中，您可以使用方向鍵來移動(dòng)光標(biāo)，i 鍵進(jìn)入插入模式(可以開始編輯文本)，Esc 鍵退出插入模式，:wq 命令保存更改并退出 Vim，或 :q! 命令不保存更改并退出 Vim。

      編輯 sources.list 文件時(shí)，請(qǐng)確保您了解自己在做什么，特別是如果您正在添加新的軟件源。錯(cuò)誤的源可能會(huì)導(dǎo)致軟件包安裝失敗或系統(tǒng)安全問題。如果您不確定，最好先搜索并找到可靠的源信息，或者咨詢有經(jīng)驗(yàn)的 Linux 用戶。

      使用 Vim 編輯器打開 文件，復(fù)制以下代碼替換 里面的全部代碼，配置 apt 國(guó)內(nèi)阿里源。

      安裝常用軟件和工具

      出現(xiàn)以下頁面，說明國(guó)內(nèi)apt源已替換成功，且能正常安裝apt軟件和工具

      2. 安裝 NVIDIA CUDA Toolkit 12.1

      · 下載 CUDA Keyring ：

      這個(gè)命令用于下載 CUDA 的 GPG 密鑰環(huán)，它用于驗(yàn)證 CUDA 軟件包的簽名。這是確保軟件包安全性的一個(gè)重要步驟。

      · 安裝 CUDA Keyring ：

      使用 安裝下載的密鑰環(huán)。這是必要的，以便 能夠驗(yàn)證從 NVIDIA 倉(cāng)庫(kù)下載的軟件包的簽名。

      · 刪除舊的 apt 密鑰(如果必要) ：

      這一步可能不是必需的，除非您知道 是與 CUDA 相關(guān)的舊密鑰，并且您想從系統(tǒng)中刪除它以避免混淆。通常情況下，如果您只是安裝 CUDA 并使用 NVIDIA 提供的最新密鑰環(huán)，這一步可以跳過。

      · 更新 apt 包列表 ：

      更新 apt 的軟件包列表，以便包括剛剛通過 添加的 NVIDIA 倉(cāng)庫(kù)中的軟件包。

      · 安裝 CUDA Toolkit ：

      出現(xiàn)以下頁面，說明 NVIDIA CUDA Toolkit 12.1 安裝成功

      注意：這里可能有一個(gè)問題。NVIDIA 官方 Ubuntu 倉(cāng)庫(kù)中可能不包含直接名為 cuda-toolkit-12-1 的包。通常，您會(huì)安裝一個(gè)名為 cuda 或 cuda-12-1 的元包，它會(huì)作為依賴項(xiàng)拉入 CUDA Toolkit 的所有組件。請(qǐng)檢查 NVIDIA 的官方文檔或倉(cāng)庫(kù)，以確認(rèn)正確的包名。

      如果您正在尋找安裝特定版本的 CUDA Toolkit，您可能需要安裝類似 cuda-12-1 的包(如果可用)，或者從 NVIDIA 的官方網(wǎng)站下載 CUDA Toolkit 的 .run 安裝程序進(jìn)行手動(dòng)安裝。

      請(qǐng)確保您查看 NVIDIA 的官方文檔或 Ubuntu 的 NVIDIA CUDA 倉(cāng)庫(kù)以獲取最準(zhǔn)確的包名和安裝指令。

      · 出現(xiàn)以上情況，需要配置 NVIDIA CUDA Toolkit 12.1 系統(tǒng)環(huán)境變量

      編輯 ~/.bashrc 文件

      插入以下環(huán)境變量

      激活 ~/.bashrc 文件

      查看cuda系統(tǒng)環(huán)境變量

      3. 安裝 Miniconda

      · 下載 Miniconda 安裝腳本 ：

      · 使用 wget 命令從 Anaconda 的官方倉(cāng)庫(kù)下載 Miniconda 的安裝腳本。Miniconda 是一個(gè)更小的 Anaconda 發(fā)行版，包含了 Anaconda 的核心組件，用于安裝和管理 Python 包。

      · 運(yùn)行 Miniconda 安裝腳本 ：

      · 使用 bash 命令運(yùn)行下載的 Miniconda 安裝腳本。這將啟動(dòng) Miniconda 的安裝過程。

      按下回車鍵(enter)

      輸入yes

      輸入yes

      安裝成功如下圖所示

      pip配置清華源加速

      加入以下代碼

      注意事項(xiàng)：

      · 請(qǐng)確保您的系統(tǒng)是 Linux x86_64 架構(gòu)，因?yàn)橄螺d的 Miniconda 版本是為該架構(gòu)設(shè)計(jì)的。

      · 在運(yùn)行安裝腳本之前，您可能需要使用 chmod +x Miniconda3-latest-Linux-x86_64.sh 命令給予腳本執(zhí)行權(quán)限。

      · 安裝過程中，您將被提示是否同意許可協(xié)議，以及是否將 Miniconda 初始化。通常選擇 "yes" 以完成安裝和初始化。

      · 安裝完成后，您可以使用 conda 命令來管理 Python 環(huán)境和包。

      · 如果鏈接無法訪問或解析失敗，可能是因?yàn)榫W(wǎng)絡(luò)問題或鏈接本身的問題。請(qǐng)檢查網(wǎng)絡(luò)連接，并確保鏈接是最新的和有效的。如果問題依舊，請(qǐng)?jiān)L問 Anaconda 的官方網(wǎng)站獲取最新的下載鏈接。

      4. 從 github 倉(cāng)庫(kù) 克隆項(xiàng)目

      · 克隆存儲(chǔ)庫(kù)：

      5. 創(chuàng)建虛擬環(huán)境

      6. 安裝模型依賴庫(kù)

      · 切換到項(xiàng)目目錄、激活 trellis 虛擬環(huán)境、安裝 requirements.txt 依賴

      7. 下載預(yù)訓(xùn)練模型

      · 下載預(yù)訓(xùn)練權(quán)重

      8. 運(yùn)行 gradio_demo.py 文件

      三、網(wǎng)頁演示

      出現(xiàn)以下 Gradio 頁面，即是模型已搭建完成。