编辑：蛋酱

简介

大语言模型（LLM）通常采用“预训练-然后微调”模式进行部署，但当针对大量任务微调基本模型时，训练和服务成本会变得高昂。低秩适配（LoRA）是一种参数效率高的微调方法，可将基本模型适配到多种任务，从而产生了大量从一个基本模型衍生出的 LoRA 适配程序。这种模式为服务过程中的批量推理提供了机会。

LoRA 研究表明，仅对适配器权重进行微调即可获得与全权重微调相当的性能。虽然这种方法可以实现单个适配器的低延迟推理和跨适配器的串行执行，但在同时为多个适配器提供服务时，会显著降低整体服务吞吐量并增加总延迟。

为了解决这个问题，来自加州大学伯克利分校和斯坦福大学的研究人员提出了一种名为 S-LoRA 的新微调方式。S-LoRA 专为大量 LoRA 适配程序的可扩展服务而设计，它将所有适配程序存储在主内存中，并将当前运行查询所使用的适配程序取到 GPU 内存中。

S-LoRA

S-LoRA 包含三个主要创新部分：

1. 批处理：研究人员提出了新的批处理策略，该策略分解了基本模型和 LoRA 适配器之间的计算，并解决了需求调度的难题。
2. 统一分页：研究人员推广了 PagedAttention，实现了 UnifiedPaging，支持动态加载 LoRA 适配器。这种方法使用统一的内存池以分页方式存储 KV 缓存和适配器权重，减少碎片并平衡 KV 缓存和适配器权重的动态变化大小。
3. 张量并行：研究人员介绍了一种新的张量并行策略，能够高效地解耦基本模型和 LoRA 适配器。

批处理

对于单个适配器，建议的方法是将适配器权重合并到基本模型权重中，从而得到一个新模型。这样做的好处是在推理过程中没有额外的适配器开销，因为新模型的参数数与基本模型相同。相反，S-LoRA 建议实时计算 LoRA 计算。

在 S-LoRA 中，计算基本模型被批处理，然后使用定制的 CUDA 内核分别执行所有适配器的附加计算。这一过程如图 1 所示。

研究人员实施了定制的 CUDA 内核，以便在不使用填充的情况下实现更高效的计算，实施细节在第 5.3 小节中。

统一分页

为了利用当前运行批所需的 LoRA 适配器数量是可控的这一优势，S-LoRA 将所有的 LoRA 适配卡都存储在主内存中，并在为当前正在运行的批进行推理时将它们取到 GPU 内存中。

为了支持动态加载 LoRA 适配器，研究人员推广了 PagedAttention，实现了 UnifiedPaging。这种方法使用统一的内存池以分页方式存储 KV 缓存和适配器权重，可以减少碎片并平衡 KV 缓存和适配器权重的动态变化大小。

张量并行

研究人员介绍了一种新的张量并行策略，该策略能够高效地解耦基本模型和 LoRA 适配器。通过使用此策略，S-LoRA 可以避免不必要的数据复制，并在为多个 LoRA 适配器提供服务时提高性能。

结果

与最先进的库（如 HuggingFace PEFT 和 vLLM）相比，S-LoRA 的吞吐量最多可提高 4 倍，服务的适配器数量可增加几个数量级。因此，S-LoRA 能够为许多特定任务的微调模型提供可扩展的服务，并为大规模定制微调服务提供了潜力。

结论

S-LoRA 是一种为大量 LoRA 适配程序的可扩展服务而设计的系统。它利用了批处理、统一分页和张量并行的创新，以较小的开销在单个 GPU 或多个 GPU 上为数千个 LoRA 适配器提供服务。S-LoRA 为大规模定制微调服务提供了潜力，并为基于 LoRA 的个性化语言服务铺平了道路。

---

中国传统礼仪文化有哪些

一、从制度方面来说，《周礼·春官·大宗伯》有“五礼”的说法，分别是吉礼、凶礼、军礼、宾礼、嘉礼，这五礼作为我国古代礼仪制度的主要内容，许多内容至今还在延续。 二、从文化方面来说，礼仪是一种文化行为，是文明的符号，也是内在道德的表征和外在的自律。 礼仪的本质是尊重人以及对自己所从事活动的敬重。 所以现在我们通常会“礼貌待人”，这样给人的印象由内而外就很好，会觉得这个人有修养，有素质。 礼仪在中华民族文明史中与政体和文化融为一体，也是传统文化的核心。 学习传统文化，礼仪很关键，比如我们给大家讲非遗文化时也曾教大家“香、茶、花、礼、乐、诗书。 这其中每一个环节都在教大家文化和礼仪。 三、从人分娩成长方面来说，有诞生礼俗，又称生育礼，是人生开始阶段的主要礼仪习俗。 更细的还包括求子礼俗、怀孕礼俗，以及诞生和养育诸过程都有礼俗。 这又包括诞生礼俗、中的三朝礼、满月礼、百岁礼、周晬礼、命名礼。 有钱人家要给孩子启蒙授书，这是传统的“童蒙礼”，12岁时举行圆锁礼，把百天或满月时身上挂的长命锁取下来，这就算圆锁，表示孩子已经长大，灵魂已经健全，可以独立面对灾厄等。 成长过程中最后就是成年礼。 前段时间我们给一些喜欢传统文化的朋友还策划举办了“成人礼”，完全按照古代的礼俗来做，并拍摄记录下18岁成人时的重要时刻，也非常有意思。 四、从婚丧嫁娶方面来说，结婚礼，婚嫁过程从先秦以来规范，我们说有六个程序，“六礼”，即纳采、问名、纳吉、纳征、请期、亲迎。 另外还有中国传统丧葬礼俗。 五、在从中国的传统节日上看，每个节日都有自己的礼仪习俗，春节、人日、元宵节、寒食节、清明节、浴佛节、端午节、七夕节、中元节、中秋节、重阳节、腊八节、祭灶等节日。 各有各要做好的礼仪。

中国文化的习俗有那些？

中国文化的习俗有很多，以下是其中一些：1. 春节春节是中国最重要的传统节日，也是中国人最喜欢的节日之一。 在春节期间，人们会贴春联、挂灯笼、放鞭炮、吃年夜饭、拜年等。

2. 中秋节中秋节是中国传统节日之一，也是家庭团聚的日子。 人们会吃月饼、赏月、猜灯谜等。 3. 端午节端午节是中国传统节日之一，也是纪念屈原的日子。 人们会吃粽子、赛龙舟、挂艾草等。 4. 清明节清明节是中国传统节日之一，也是祭祖的日子。 人们会扫墓、烧纸钱、祭拜祖先等。 5. 婚礼习俗中国的婚礼习俗非常丰富多彩，不同地区有不同的习俗。 比如说，新娘会穿红色婚纱、新郎会送彩礼、喜糖等。 6. 茶文化中国的茶文化源远流长，茶艺表演、品茶等都是中国茶文化的重要组成部分。 以上是中国文化的一些习俗，还有很多其他的习俗和文化，都是值得探索和了解的。