准确的电话号码和 WhatsApp 号码提供商。 如果您想要电子邮件营销活动列表或短信营销活动,那么您可以联系我们的团队。 电报: @latestdbs

Meta 开发的大规模语言模型“Rama 2 是什么

是Facebook母公司Meta的AI小组开发的大规模语言模型(LLM)。根据参数规模的不同,提供了三种模型,分别使用 70 亿、130 亿和 700 亿个参数进行预训练和微调。据 Meta AI 称, Llama 2 Chat LLM 针对对话用例进行了优化,并且在专有基准测试中优于开源聊天模型。Mehta 表示,根据其可用性和安全性评估,Rama 2 是“闭源模型的合适替代品”。

Rama 2 是 Google Transformer 架构的改进模型。Llama 第一个版本中所做的改进包括仿照 GPT-3 建模的 RMSNorm 预归一化、受 Google PaLM 启发的 SwiGLU 激活函数、和Neo查询注意力而不是多头注意力、GPT多 AdamW优化器用于学习 Llama 。此外,与 Rama 相比,Rama 2 的上下文长度有所增加(从 2,048 个标记翻倍到 4,096 个),并使用组查询注意力而不是多查询注意力。

ⓒ盖蒂图片银行

 的训练语料库是从公开来源获取的数据的混合体

该公司表示,它不包 荷兰号码数据 括来自 Meta 产品或服务的数据。训练数据中的 token 数量为 2 万亿个。Meta 使用研究超级集群和内部生产集群以及 NVIDIA A100 GPU 进  行预训练。70 亿参数模型的预训练花费了 184,000 个 GPU 小时,700 亿参数模型的预训练花费了 170 万个 GPU 小时。

微调 Lamar 2 Chat 花了几个月的时间,涉及监督微调 (SFT) 和人类反馈强化学习 (RLHF)。Meta 使用 Ghost Attention (GAtt) 来确保 Rama 2 聊天在对话轮流时不会忘记系统消息(完整命令)。

拉玛2号安全吗?
一些生成型人工智能通过引发各种事件和事故而给人留下了不好的印象,比如自己编造答案、引起幻觉、说出令人不快的话,甚至建议自杀。因为错误的答案可能是危险的,包括鼓励社会混乱,所以几乎所有法学硕士都带有刻板的警告。“无论人工智能被认为有多安全,它最终都只是一只‘概率鹦鹉’(一个术语,指的是生成有说服力的语言但并不真正理解该语言的含义的语言模型),因此你应该始终检查答案。”

Meta 声称 根据人类评估者使用大约 2000 个对抗性提

荷兰号码数据

示的评估,Rama 2 Chat 与其他模型一样安全或更安全。不过,也有必要留意Meta的警告。由于提示集的限制、评审指南的主观性以及个别评估者的主观判断,LLM 评估可能存在固有的偏差。这些安全评估中使用的内容标准可能偏向于 Rama 2 聊天模型。

《罗摩 2》中的伦理考量
除了一般的 LLM 道德和安全问题外,Rama 2 和 Rama还存在 开源训练数据集之一The Pile的 Books3 部分的问题。在集体诉讼中,理查德·卡德里 (Richard Cadry)、莎拉·西尔弗曼 (Sarah Silverman) 和克里斯托弗·戈尔登 (Christopher Golden)声称,Meta 使用第 3 册(其中包括他们拥有版权的书籍)进行模型训练是侵犯版权,并要求赔偿损失并返还利润。目前,该诉讼正在进行中。

最近,一个名为“Eye”的存储库响应丹 大胆的数据 麦反盗版组织(权利联盟)的DMCA删除请求,删除了第 3 册。权利联盟还正在采取措施删除其他网站。讽刺的是,在 OpenAI 使用个人书籍数据集训练 GPT-3 之后,Book3 的创建目的是使生成式 AI 学习民主化。

拉玛2是开源的吗?
在介绍 Rama 2 Chat 和 Code Rama 时,他将 Rama 2 描述为“几乎开源”。为什么它“几乎”开源?这是因为 Rama 2 许可证有两个限制。根据开源倡议 (OSI) 的 Stefano Mapuli 的说法,限制因素是:

“要实现开源,就必须不存在基于个人、团体或领域的歧视(OSD 第 5 条和第 6 条)。Meta 的 Llama 模型和代码许可不满足此要求。特别是,它限制某些用户的商业用途(第 2 条),还限制将模型和软件用于特定目的(可接受的使用政策)。”

Rama 2 社区许可协议第 2 段如下:

“附加商业条款和条件。如果截至 Rama 2 版本发布之日的前一个月,被许可方或用户的关联公司提供的产品或服务数量超过 7 亿月度活跃用户,则必须向 Meta 请求许可,Meta 可以授予许可自行决定。“在 Meta 明确授予这些权利之前,不得行使本协议项下的任何权利。”

该条款似乎排除了 AWS、Google Cloud 和 Microsoft Azure,与 MariaDB 设计的商业软件许可证具有相同的上下文。大多数软件开发人员不太关注这些限制,但开源倡导者却很关注。

Rama 的可接受使用政策规定: ▲ 违反或侵犯任何法律或他人权利 ▲ 参与、促进、煽动、促进或协助规划或开展任何对任何个人造成死亡或身体伤害风险的活动 ▲故意规定Rama不能用于欺骗或误导他人或未向最终用户充分披露AI系统已知风险的行为。

换句话说,利用美洲驼开发武器、制造非法药物、制作诽谤性短语或视频,或者造成其他人工智能模型发生的许多损害案件中的任何一种,都属于许可证违规行为。

我可以同情 Meta 的态度并且几乎同意它,但Mapuli 正确地指出这违反了开源定义(OSD) 。例如,人们不禁要问,使用生成式人工智能设计一种最终证明是合法的药物与设计一种最终证明是非法的药物之间是否存在明确的先验界限。

假设您设计了一种使用美洲驼缓解疼痛的药物,但在其释放后,安全监测确定该药物具有高度成瘾性,并且作为附表 1 管制物质被禁止。您如何知道您的设计过程是否会违反使用政策?也许几乎不可能。

与此同时,OSI 目前正在准备一个新的开源 AI 定义。

《Coderama》是什么?
Coderama 是一种自动生成编程代码的 AI 模型。我们通过使用特定于代码的数据集对 Rama 2 进行微调来进行训练,特别是使用与最初训练 Rama 2 相同的大部分代码。Mehta 表示,Coderama 可以根据代码和自然语言提示生成代码和自然语言,还可以用于代码补全和调试目的。Coderama 支持当今使用的多种语言,包括 Python、C++、Java、PHP、TypeScript (JavaScript)、C# 和 Bash。

Meta AI 透露的内容如下:

• Coderama 是一个法学硕士,可以根据代码和自然语言提示生成代码和代码的自然语言。

Coderama 可免费用于研究和商业用途。

Code Rama 基于Rama 2 构建,有以下三种型号。
(Code Llama:基本代码模型/Code Llama – Python:Python 专用模型/Code Llama – Instruct:经过微调以理解自然语言命令的模型) • 基于 Meta 自己的基准测试结果,Code Llama 已公开

优于其他最先进的法学硕士。

Coderama的大小分为70亿、130亿、340亿个参数。所有 Coderama 模型均在 16,000 个令牌序列上进行训练,并针对最多 100,000 个令牌的输入进行了改进。70 亿/130 亿基础和指令模型还接受了中间填充训练以实现代码补全。

70 亿个模型可以在单个 GPU 上运行。正如预期的那样,340 亿的模型返回了最佳结果,但较小的模型速度更快且延迟更低,使它们更适合在编辑器中使,这就是为什么它们也接受了中间填充训练。

Leave a comment

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *