Hugging Face上又一个模型爆红：bigcode/starcoder

效果更好，显存占用更低，速度更快（AI先把程序员要先卷死了）

前几天看到刚刚发布来一个30亿模型的，马上就有人发布更小更快，更好的模型了。而且还自带vscode插件（这下连怎么私有化部署，训练的方案齐活了）

30亿模型参考这个：

发抖吧程序员，私有化编程模型来了：ReplitLM 30亿模型参数

这个模型上线2天，就马上成为了Hugging Face最红的模型。而且划重点：官方自动带了一个vscode的自动补齐插件，这样再也不用白嫖copilot也可以照猫画虎在私有云里部署了。

而且不光如此，Hugging Face还专门为此出了插件，算是官方的插件

有两种体验方式：

1. 直接使用vscode体验，无需本地部署
2. 本地部署

硬件训练用的硬件资源：512张A100卡（AI真是一个极其烧钱的工作）

• GPUs: 512 Tesla A100
• Training time: 24 days

真是太上老君炼丹的节奏

体验如下：

VSCode下安装插件

安装hf code插件后，把Huggingface api key配置好就行

本地部署的代码如下

# pip install -q transformers
from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "bigcode/starcoder"
device = "cuda" # for GPU usage or "cpu" for CPU usage

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint, trust_remote_code=True).to(device)

inputs = tokenizer.encode("def print_hello_world():", return_tensors="pt").to(device)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))