技術(shù)實(shí)戰(zhàn)|飛凌RK3588開發(fā)板上部署DeepSeek-R1大模型的完整指南（一）
RK3588作為瑞芯微推出的旗艦級(jí)芯片，憑借多核異構(gòu)計(jì)算能力以及強(qiáng)大的CPU、GPU和NPU性能，成為嵌入式AI應(yīng)用的理想平臺(tái)。DeepSeek-R1與OK3588-C開發(fā)板的深度融合，標(biāo)志著國(guó)產(chǎn)AI大模型從云端向邊緣端的延伸。這種“先進(jìn)算法+定制化芯片”的協(xié)同模式，不僅解決了邊緣側(cè)實(shí)時(shí)性、隱私保護(hù)等關(guān)鍵需求，更構(gòu)建起從技術(shù)研發(fā)到產(chǎn)業(yè)賦能的完整價(jià)值鏈條，為各行業(yè)智能化轉(zhuǎn)型提供可復(fù)用的創(chuàng)新范式。接下來，讓我們深入探討這一過程是如何具體實(shí)現(xiàn)的。
一、移植過程
（1）下載DeepSeek-R1源碼
在Ubuntu虛擬機(jī)上從DeepSeek-R1官網(wǎng)地址下載DeepSeek-R1-Distill-Qwen-1.5B權(quán)重文件。
（2）安裝轉(zhuǎn)換工具
在Ubuntu創(chuàng)建虛擬環(huán)境并安裝RKLLM-Toolkit，以便將DeepSeek-R1大語言模型轉(zhuǎn)換為RKLLM模型格式和編譯板端推理的可執(zhí)行程序。
（3）模型轉(zhuǎn)換
使用RKLLM-Toolkit對(duì)模型進(jìn)行轉(zhuǎn)換，RKLLM-Toolkit提供模型的轉(zhuǎn)換、量化功能。作為RKLLM-Toolkit的核心功能之一，它允許用戶將Hugging Face或GGUF格式的大語言模型轉(zhuǎn)換為RKLLM模型，從而將RKLLM模型在Rockchip NPU上加載運(yùn)行。
（4）編譯DeepSeek-R1程序
安裝交叉編譯工具鏈，以編譯RKLLM Runtime可執(zhí)行文件，該程序包含模型初始化、模型推理、回調(diào)函數(shù)處理輸出和模型資源釋放等全部流程。
（5）模型部署
將編譯好的RKLLM模型和可執(zhí)行文件上傳至板端即可執(zhí)行，這樣就可以在OK3588-C開發(fā)板的調(diào)試串口上和DeepSeek-R1對(duì)話了，而且無需聯(lián)網(wǎng)。
二、效果展示
DeepSeek-R1是一款多功能的人工智能助手，它在多個(gè)領(lǐng)域內(nèi)均能提供高效而全面的支持。即便是本地離線版本，無論是日常的信息檢索需求、專業(yè)設(shè)備的維修指導(dǎo)建議、復(fù)雜數(shù)學(xué)問題的解答，還是編程任務(wù)的輔助完成，R1都能憑借其強(qiáng)大的數(shù)據(jù)處理能力和廣博的知識(shí)儲(chǔ)備庫，給出既準(zhǔn)確且實(shí)用的建議，成為用戶在各領(lǐng)域探索時(shí)的可靠伙伴。
（1）普通信息搜索
DeepSeek-R1能夠快速檢索并提供準(zhǔn)確的信息。例如，當(dāng)詢問“保定飛凌嵌入式技術(shù)有限公司”時(shí)，DeepSeek-R1可以詳細(xì)介紹該公司的背景、主營(yíng)業(yè)務(wù)、產(chǎn)品特點(diǎn)等，幫助用戶全面了解該公司的情況。
（2）專業(yè)設(shè)備問題維修意見
對(duì)于專業(yè)設(shè)備問題，DeepSeek-R1能夠提供詳細(xì)的故障分析和解決方案。例如，針對(duì)PLC報(bào)錯(cuò)誤碼E01的問題，R1分析可能造成故障的原因，如電源問題、接線錯(cuò)誤或硬件故障，并提供相應(yīng)的解決步驟，幫助用戶快速排除故障。
（3）數(shù)學(xué)題解答
DeepSeek-R1擁有卓越的數(shù)學(xué)運(yùn)算能力，擅長(zhǎng)解決各類數(shù)學(xué)難題。舉例來說，在面對(duì)紅藍(lán)鉛筆的采購問題時(shí)，它能夠巧妙地構(gòu)建方程組并迅速求解，精確計(jì)算出紅鉛筆與藍(lán)鉛筆的應(yīng)購數(shù)量，為用戶提供即時(shí)且準(zhǔn)確的解決方案。不僅如此，DeepSeek-R1還附帶了詳盡的驗(yàn)證步驟，確保結(jié)果的準(zhǔn)確無誤。
（4）編程任務(wù)
DeepSeek-R1在編程方面表現(xiàn)出色，能夠根據(jù)用戶需求編寫代碼。例如，針對(duì)OK3588-C開發(fā)板的串口通信需求，R1可以提供完整的C語言示例程序，包括串口初始化、數(shù)據(jù)接收和發(fā)送等功能，幫助用戶實(shí)現(xiàn)串口通信。
從上述視頻中不難發(fā)現(xiàn)，DeepSeek-R1在眾多領(lǐng)域內(nèi)彰顯了其卓越的實(shí)用價(jià)值與高效性能，已然成為用戶工作中不可或缺的智能伙伴。
三、性能測(cè)評(píng)
在完成移植后我們進(jìn)行了全面的性能評(píng)測(cè)，以驗(yàn)證 DeepSeek-R1在OK3588-C開發(fā)板上的運(yùn)行效果。經(jīng)過詳細(xì)的測(cè)試與對(duì)比，歸納了以下幾個(gè)關(guān)鍵性能指標(biāo)：
實(shí)時(shí)性：從上文視頻播放中可以看到，DeepSeek-R1輸出的回答結(jié)果清晰且流暢，未出現(xiàn)任何延遲或卡頓現(xiàn)象。
CPU占用：DeepSeek-R1在OK3588-C開發(fā)板上運(yùn)行的CPU占用為12%~17%，這一表現(xiàn)證明了框架的高效性，使其即便在資源受限的設(shè)備上也能順利運(yùn)行，擴(kuò)展了其應(yīng)用場(chǎng)景和商業(yè)潛力。
內(nèi)存占用：在進(jìn)行上述功能測(cè)試時(shí)，DeepSeek-R1的內(nèi)存使用量約為825MB。這保證了系統(tǒng)的流暢運(yùn)行，避免了由于內(nèi)存不足引起的性能問題，使得用戶的應(yīng)用體驗(yàn)更加順暢。
NPU占用：由下圖可見DeepSeek-R1在OK3588-C開發(fā)板上運(yùn)行時(shí)，能夠更高效地分配計(jì)算資源，其NPU（神經(jīng)處理單元）的三個(gè)核心負(fù)載均達(dá)到了83%。
在此次演示中，我們?nèi)嬲故玖薉eepSeek-R1的實(shí)際應(yīng)用成效，其強(qiáng)大功能與高效能表現(xiàn)得到了有力證明。后續(xù)文章中將詳細(xì)介紹DeepSeek-R1向OK3588-C開發(fā)板的移植細(xì)節(jié)，包括多樣化的移植方式及操作步驟。如果您對(duì)這一過程感興趣，歡迎隨時(shí)與我們聯(lián)系，飛凌嵌入式將為您提供全面的技術(shù)支持和詳細(xì)指導(dǎo)，期待與您共同探索更多可能性！點(diǎn)擊下圖進(jìn)入飛凌嵌入式官網(wǎng)，即可了解有關(guān)OK3588-C開發(fā)板的更多產(chǎn)品詳情。
相關(guān)產(chǎn)品 >
-
FET3568-C核心板
RK3568性能強(qiáng)而穩(wěn) 國(guó)產(chǎn)芯|飛凌嵌入式RK3568系列核心板，采用瑞芯微國(guó)產(chǎn)高性能AI處理器RK3568設(shè)計(jì)生產(chǎn)，RK3568兼具CPU、GPU、NPU、VPU于一身，RK3568 性能、性價(jià)比在同類產(chǎn)品中具有較高優(yōu)勢(shì)，RK3568處理器是一款定位中高端的通用型SoC， 飛凌RK3568核心板主要面向工業(yè)互聯(lián)網(wǎng)、HMI、NVR存儲(chǔ)、車載中控、工業(yè)網(wǎng)關(guān)等領(lǐng)域。目前RK3568系列已經(jīng)批量穩(wěn)定出貨
了解詳情
-
FET3588-C核心板
RK3588芯片系列是Rockchip推出的旗艦級(jí)工業(yè)級(jí)產(chǎn)品，采用先進(jìn)的8nm制程工藝，集成4核Cortex-A76+4核Cortex-A55架構(gòu)，A76主頻高達(dá)2.4GHz，A55核主頻高達(dá)1.8GHz，能夠提供強(qiáng)大的性能支撐。飛凌FET3588-C核心板經(jīng)過了嚴(yán)苛的環(huán)境溫度測(cè)試和壓力測(cè)試，確保在高端應(yīng)用中能夠穩(wěn)定運(yùn)行。您可以通過飛凌提供的rk3588開發(fā)套件充分評(píng)估和驗(yàn)證其性能。
了解詳情
換一批
