亚洲乱色熟女一区二区三区丝袜,天堂√中文最新版在线,亚洲精品乱码久久久久久蜜桃图片,香蕉久久久久久av成人,欧美丰满熟妇bbb久久久

先看效果圖，這是一個比較典型的邏輯推理問題，以下是本地運行的模型和openai gpt3.5的推理對比

本地運行Mixtral-8x7B大模型：

 chatgpt3.5的回答：

 關(guān)于Mixtral 8x7B這個就不多介紹了，但凡在關(guān)注開源大模型的朋友應(yīng)該知道這個模型是目前市場上最具競爭力的開源大型模型之一，其能力水平在多項任務(wù)中都有可以和gpt3.5打的有來有回，今天主要聊聊使用c#如何本地化部署實踐

整個模型部署其實相對已經(jīng)比較簡單了，其核心是采用了llama.cpp這個項目，這個項目是用 ggml(一個用 c++ 開發(fā)的一個機器學(xué)習(xí)的張量庫)寫的一個推理 LLaMA 的 demo，隨著項目持續(xù)火爆吸引了大量沒有昂貴GPU 的玩家，成為了在消費級硬件上玩大模型的首選。而今天我們要用到的項目就是依賴llama.cpp的c#封裝實現(xiàn)的nuget包LLamaSharp，地址(https://github.com/SciSharp/LLamaSharp)?；谒鼘lama.cpp的c#封裝從而完成本機純c#部署大模型的實現(xiàn)。通過LLamaSharp既可以使用cpu進行推理，如果你有30系以上的N卡，也可以使用它的LLamaSharp.Backend.Cuda11或者Cuda12進行推理，當(dāng)然其效果肯定相比純CPU推理速度更快。

整個項目我已經(jīng)放到github上了，有興趣的同學(xué)可以自取：https://github.com/sd797994/LocalChatForLlama

另外關(guān)于模型格式說一下，當(dāng)前使用llama.cpp主要通過gguf格式加載，這是一種專門面向llama.cpp的格式，可以通過huggingface搜索：https://huggingface.co/models?search=gguf。而我目前使用的是Nous-Hermes基于Mixtral-8x7B微調(diào)的版本，它的repo如下：https://huggingface.co/TheBloke/Nous-Hermes-2-Mixtral-8x7B-DPO-GGUF/tree/main 據(jù)說Nous-Hermes微調(diào)版本的性能略好于Mixtral-8x7B。唯一需要注意的是如果不是使用我推薦的模型，index.cshtml這里需要根據(jù)模型的實際輸出硬編碼成對應(yīng)的字段：

最后的Tips:由于模型確實比較大，在純CPU模式下如果內(nèi)存不太夠(一般16G)的情況下推理很緩慢，一分鐘可能也就能輸出幾個字。建議上較大內(nèi)存的純CPU推理或者使用NVIDIA的顯卡安裝對應(yīng)的CUDA環(huán)境后基于CUDA推理，整個效果會快很多。

作者：a1010

轉(zhuǎn)自：https://www.cnblogs.com/gmmy/p/17989497