最近长上下文的业务需求越来越多，刚好把这个能力现状和主流方案的基础内容简单梳理一下。跟长文本最相关的自然就是位置编码，现在很多模型都使用了RoPE这种位置编码，之前已经把RoPE的基础内容梳理了一遍：

在这篇博客中，我们将向你介绍俄罗斯套娃嵌入的概念，并解释为什么它们很有用。我们将讨论这些模型在理论上是如何训练的，以及你如何使用SentenceTransformers来训练它们。除此之外，我们

OpenAI：Superalignment的一种途径——Weak-to-StrongGeneralizationIIya在OpenAI出大新闻之前在好多场合讲了要推进“Superalignment”

写在前面Yi模型很早就发布了，但技术报告昨天才出来。之前分享过Llama2、Baichuan2、Qwen，今天来给大家进行细节分享。Yi模型在开篇就强调了模型设计思路是围绕模型规模、数据规模和数据质量

前言    文档的智能解析与理解成为知识管理的关键环节。特别是在处理扫描文档时，如何有效地理解和提取表单信息，成为了一个具有挑战性的问题。扫描文档的复杂性，包括其结构的多样性、非文本元素的融合

什么是检索增强生成（RAG）以及它如何增强AI响应OpenAI的GPT-4Turbo和Llama2等大型语言模型（LLMs）改变了我们的思维、工作和协作方式。但即使是最先进的人