huggingface上有safetones 参数
下载完,
GitHub装一个 oobabooga/text-generation-webui
https://github.com/oobabooga/text-generation-webui
把模型放到model文件夹
启动即可
conda create -n textgen python=3.10.9
conda activate textgen
pip3 install torch torchvision torchaudio
git clone https://github.com/oobabooga/text-generation-webui
cd text-generation-webui
pip install -r requirements.txt
cd text-generation-webui
python server.py
由
http://localhost:7860/?__theme=dark
进入
可以试试WEB-LLM. 本地一键运行(需要最新版Chrome,可能要Canary) https://webllm.mlc.ai/
聊天
代码生成
参数调教
生成
话说有webllm的demo 直接调用最新版Chrome的底层api,可以渲染shader,浏览器直接调用显卡资源。
实测LLAMA 13B via GPTQ method int4效果还可以. 当然最好的还是65B.(现在是LLama-2的70B)
这里有排行榜:
https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
Platypus2-70B-instruct 很有趣hhh 波士顿大学[鸭嘴兽-70B]