首页 > Ai工具箱 > Ai提示指令内容详情
PromptBench

PromptBench

所属分类:Ai提示指令

访问人数:              收录日期:2024-03-23 22:18:13

相关标签: Ai工具箱 Ai提示指令

官方网址:https://github.com/microsoft/promptbench

SEO查询: 爱站网 站长工具

进入网站

网站简介

PromptBench,这是一个用于评估 LLM 的统一库。它由研究人员易于使用和扩展的几个关键组件组成:提示构建、提示工程、数据集和模型加载、对抗性提示攻击、动态评估协议和分析工具。PromptBench 被设计为一个开放、通用和灵活的代码库,用于研究目的,可以促进在创建新基准、部署下游应用程序和设计新评估协议方面进行原创研究。。

PromptBench项目地址:https://github.com/microsoft/promptbench

promptbench.jpg

promptbench 目前提供什么?

快速模型性能评估:我们提供用户友好的界面,允许快速构建模型、加载数据集和评估模型性能。

提示工程:我们实施了几种快速工程方法。例如:Few-shot Chain-of-Thought [1]、Emotion Prompt [2]、Expert Prompting [3] 等。

评估对抗性提示:promptbench 集成了提示攻击 [4],使研究人员能够模拟模型上的黑盒对抗性提示攻击并评估其鲁棒性(详见此处)。

动态评估以减轻潜在的测试数据污染:我们集成了动态评估框架 DyVal [5],该框架以可控的复杂性即时生成评估样本。

PromptBench安装方式pip

我们为想要快速开始评估的用户提供了一个 Python 包提示台。只需运行:

pipinstallpromptbench

请注意,pip 安装可能落后于最近的更新。因此,如果您想使用最新功能或基于我们的代码进行开发,您应该通过 GitHub 安装。

通过 GitHub 安装

首先,克隆存储库:

gitclonegit@github.com:microsoft/promptbench.git

然后

cdpromptbench

若要安装所需的包,可以创建 conda 环境:

condacreate--namepromptbenchpython=3.9

然后使用 pip 安装所需的软件包:

pipinstall-rrequirements.txt

请注意,这只安装了基本的 python 包。对于提示攻击,您还需要安装 TextAttack。

PromptBench用法:

Promptbench 易于使用和扩展。通过以下示例将帮助您熟悉 promptbench 以便快速使用、评估现有数据集和 LLM,或创建自己的数据集和模型。

网站评估

      PromptBench收录在cd解析,点击人数实时更新,并归类Ai提示指令分类中,所以这是一个Ai提示指令类型的网站,本站只是简单分析 "PromptBench" 的价值、可信度、类型、更新速度等,包括PromptBench百度权重、PromptBench搜狗权重等。

      PromptBench真正的价值在于它是否为社会的发展带来积极促进作用。另外还取决于各种因素的综合分析,以PromptBench的流量或权重多少来衡量站点价值当然不够准确。唯一的办法是自己笔算网站的价值,这个估算不需要你雇佣任何人,掌握 "PromptBench" 的所有数据资料将成为你估算的基础。

      声明:

      本站cd解析提供的PromptBench来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由cd解析实际控制,在2024-03-23 22:18:13收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,cd解析不承担任何责任。

标签列表

发布评论