什么是大模型幻觉假设我们有一个基于大型生成模型（如GPT-3）的问答系统，该系统用于回答药企内部知识库中的问题。我们向其提出一个问题：“阿司匹林的主要药理作用是什么？”正确的答案应该是：“阿司匹林主要

在过去几年中，Transformer在自然语言处理（NLP）领域引起了巨大关注。现在，它们在NLP之外的领域也得到了成功使用。Transformer之所以如此强大，关键在于它的“注意力（At

大家好，这段时间精读了一下vLLM源码实现，打算开个系列来介绍它的源码，也把它当作我的总结和学习笔记。整个vLLM代码读下来，给我最深的感觉就是：代码呈现上非常干净历练，但是逻辑比较复杂，环环嵌套，毕

这是关于Transformer的系列文章第三篇，在本系列中，我们由浅入深地介绍了Transformer的功能。在前面的文章里，我们已经了解了Transformer是什么，它的架构以及其工作

此前，我们更多专注于大模型训练方面的技术分享和介绍，然而在完成模型训练之后，上线推理也是一项非常重要的工作。后续，我们将陆续撰写更多关于大模型推理优化的技术文章，包括但不限于KVCache、Page

大家好哇，好久没有更新了，今天想来讲讲FlashAttention（V1）。不知道你有没有和我一样的感受，第一次读FlashAttention的论文时，感觉头懵懵的：它不仅涉及了硬件和cuda的知