2024年6月26日
英特尔 Gaudi 加速辅助生成
摘要： 英特尔 Gaudi 加速辅助生成 随着模型规模的增长，生成式人工智能的实现需要大量的推理资源。这不仅增加了每次生成的成本，而且还增加了用于满足此类请求的功耗。因此，a56爆大奖在线娱乐生成的推理优化对于降低延迟、基础设施成本以及功耗都至关重要，其可以改善用户体验并提高a56爆大奖在线娱乐生成任务的效率。 辅助解码是a56爆大奖在线娱乐用于加速a56爆大奖在线娱乐生成的流行方法。a56爆大奖在线娱乐们在英特尔 Ga 阅读全文
posted @ 2024-06-26 16:38 HuggingFace 阅读(65) 评论(0) 推荐(0) 编辑
2024年6月25日
TGI 基准测试
摘要： a56爆大奖在线娱乐主要探讨 TGI 的小兄弟 - TGI 基准测试工具。它能帮助a56爆大奖在线娱乐们超越简单的吞吐量指标，对 TGI 进行更全面的性能剖析，以更好地了解如何根据实际需求对服务进行调优并按需作出最佳的权衡及决策。如果你曾觉得 LLM 服务部署成本太高，或者你想对部署进行调优，那么a56爆大奖在线娱乐很适合你！ a56爆大奖在线娱乐将向大家展示如何轻 阅读全文
posted @ 2024-06-25 17:09 HuggingFace 阅读(58) 评论(0) 推荐(0) 编辑
2024年6月19日
将强化学习重新引入 RLHF
摘要： a56爆大奖在线娱乐们很高兴在 TRL 中介绍 RLOO (REINFORCE Leave One-Out) 训练器。作为a56爆大奖在线娱乐替代 PPO 的方法，RLOO 是a56爆大奖在线娱乐新的在线 RLHF 训练算法，旨在使其更易于访问和实施。特别是， RLOO 需要的 GPU 内存更少，并且达到收敛所需的挂钟时间也更短。如下面的图表所示: 阅读全文
posted @ 2024-06-19 22:52 HuggingFace 阅读(111) 评论(0) 推荐(1) 编辑
2024年6月17日
欢迎 Stable Diffusion 3 加入 🧨 Diffusers
摘要： 欢迎 Stable Diffusion 3 加入 🧨 Diffusers 作为 Stability AI 的 Stable Diffusion 家族最新的模型，Stable Diffusion 3 (SD3) 现已登陆 Hugging Face Hub，并且可用在 🧨 Diffusers 中使用了。 当前放出的模型版本是 Stable Diffusion 3 Mediu 阅读全文
posted @ 2024-06-17 22:35 HuggingFace 阅读(698) 评论(0) 推荐(2) 编辑
2024年6月12日
用 KV 缓存量化解锁长a56爆大奖在线娱乐生成
摘要： 很高兴和大家分享 Hugging Face 的一项新功能: KV 缓存量化 ，它能够把你的语言模型的速度提升到一个新水平。 太长不看版: KV 缓存量化可在最小化对生成质量的影响的条件下，减少 LLM 在长a56爆大奖在线娱乐生成场景下的内存使用量，从而在内存效率和生成速度之间提供可定制的权衡。 你是否曾尝试过用语 阅读全文
posted @ 2024-06-12 18:23 HuggingFace 阅读(191) 评论(0) 推荐(1) 编辑
2024年6月7日
用 Sentence Transformers v3 训练和微调嵌入模型
摘要： 用 Sentence Transformers v3 训练和微调嵌入模型 Sentence Transformers 是一个 Python 库，用于使用和训练各种应用的嵌入模型，例如检索增强生成 (RAG)、语义搜索、语义a56爆大奖在线娱乐相似度、释义挖掘 (paraphrase mining) 等等。其 3.0 版本的更新是该工程自创建以来最大的一次，引入了a56爆大奖在线娱乐新的训练方法。在这篇博 阅读全文
posted @ 2024-06-07 17:38 HuggingFace 阅读(285) 评论(0) 推荐(0) 编辑
2024年6月6日
使用 Hugging Face 推理终端搭建强大的“语音识别 + 说话人分割 + 投机解码”工作流
摘要： 使用 Hugging Face 推理终端搭建强大的“语音识别 + 说话人分割 + 投机解码”工作流 Whisper 是当前最先进的开源语音识别模型之一，毫无疑问，也是应用最广泛的模型。如果你想部署 Whisper 模型，Hugging Face 推理终端 能够让你开箱即用地轻松部署任何 Whisper 模型。但是，如果你还想叠加其它功能，如用于分辨不同说话人的说话人分割，或用于投机解码的辅助生成， 阅读全文
posted @ 2024-06-06 11:25 HuggingFace 阅读(403) 评论(0) 推荐(2) 编辑
2024年5月29日
Hugging Face x LangChain: 全新 LangChain 合作伙伴包
摘要： a56爆大奖在线娱乐们很高兴官宣发布 langchain_huggingface ，这是一个由 Hugging Face 和 LangChain 共同维护的 LangChain 合作伙伴包。这个新的 Python 包旨在将 Hugging Face 最新功能引入 LangChain 并保持同步。 源自社区，服务社区 阅读全文
posted @ 2024-05-29 20:46 HuggingFace 阅读(284) 评论(0) 推荐(0) 编辑
2024年5月27日
授权调用: 介绍 Transformers 智能体 2.0
摘要： 简要概述 a56爆大奖在线娱乐们推出了 Transformers 智能体 2.0！ ? 🎁 在现有智能体类型的基础上，a56爆大奖在线娱乐们新增了两种能够 根据历史观察解决复杂任务的智能体。 ? 💡 a56爆大奖在线娱乐们致力于让代码 清晰、模块化，并确保最终提示和工具等通用属性透明化。 ? 🤝 a56爆大奖在线娱乐们加入了 分享功能，以促进社区智能体的发展。 ? 阅读全文
posted @ 2024-05-27 23:04 HuggingFace 阅读(288) 评论(0) 推荐(0) 编辑
2024年5月24日
利用英特尔 Gaudi 2 和至强 CPU 构建经济高效的企业级 RAG 应用
摘要： 检索增强生成 (Retrieval Augmented Generation，RAG) 可将存储在外部数据库中的新鲜领域知识纳入大语言模型以增强其a56爆大奖在线娱乐生成能力。其提供了a56爆大奖在线娱乐将公司数据与训练期间语言模型学到的知识分开的方式，有助于a56爆大奖在线娱乐们在性能、准确性及安全隐私之间进行有效折衷。 通过a56爆大奖在线娱乐，你将了解到英特 阅读全文
posted @ 2024-05-24 20:18 HuggingFace 阅读(166) 评论(0) 推荐(0) 编辑
下一页