AI文摘

blog-thum
HuggingFace分词器新增聊天模板属性

一个幽灵,格式不正确的幽灵,在聊天模型中游荡!太长不看版现存的聊天模型使用的训练数据格式各各不同,我们需要用这些格式将对话转换为单个字符串并传给分词器。如果我们在微调或推理时使用的格式与模型训练时使用

read more
blog-thum
面向生产的LLM优化

注意:本文同时也是Transformers的文档。以GPT34、Falcon以及LLama为代表的大语言模型(LargeLanguageModel,LLM)在处理以人为中心的

read more