Awesome-LLM-Eval: A curated list of tools, datasets/benchmark, demos, leaderboard, papers, docs and models, mainly

作者 onejune2018 · Agent 工具 · ★ 658

最后更新: · 由 Agent Skills Hub 收录 · 每 8 小时同步一次

安全审计结论:安全 · 质量分 59/100

42 条规则都没有命中:没有凭证窃取,没有数据外泄,没有 curl | sh 式安装。按慢雾(SlowMist)agent 安全分类法建立的 42 条公开规则扫描,每 8 小时更新一次。 完整审计 →

质量分综合九项启发式检查:完整度、清晰度、具体程度、示例、结构、对 agent 的友好度、分步内容、指令质量和安全提示。它衡量的是项目把自己讲清楚的程度,不是代码质量。

awsome-listawsome-listsbenchmarkbertchatglmchatgptdatasetevaluationgpt3large-language-model

基本信息

Star 数658
Fork 数98
分类Agent 工具
许可证MIT
质量分59/100
未关闭的 Issue59
最后更新2025-11-24
创建时间2023-04-26
支持平台aws
估计 Token 数~1132k

关于 Awesome-LLM-Eval

Awesome LLM Eval English | 中文 Awesome-LLM-Eval: a curated list of tools, datasets/benchmark, demos, leaderboard, papers, docs and models, mainly for Evaluation on Large Language Models and exploring the boundaries and limits of Generative AI. The is the official project of our survey: Beyond Benchmark: LLMs Evaluation with an Anthropomorphic and Value-oriented Roadmap.

Awesome-LLM-Eval 的替代品:最接近的 6 个工具

想找 Awesome-LLM-Eval 的替代品?在 Agent Skills Hub 收录的 Agent 工具里,下面 6 个项目和它最接近,按话题重合度、星数和社区热度排序。

  • spacy-llm 作者 explosion · ⭐ 1.4k

    🦙 Integrating LLMs into structured NLP pipelines

  • cai 作者 ad-si · ⭐ 203

    User friendly CLI tool for AI tasks. Stop thinking about LLMs and prompts, start getting results!

  • tools 作者 strands-agents · ⭐ 1.3k

    A set of tools that gives agents powerful capabilities.

  • sre 作者 SmythOS · ⭐ 1.3k

    The SmythOS Runtime Environment (SRE) is an open-source, cloud-native runtime for agentic AI. Secure, modular,

  • samples 作者 strands-agents · ⭐ 926

    Agent samples built using the Strands Agents SDK.

  • ClawProBench 作者 suyoumo · ⭐ 829

    ClawProBench is a live-first benchmark harness for evaluating LLM agents in the OpenClaw runtime with determ

更多 Agent 工具

其他热门的 Agent 工具:

查看全部 Agent 工具 →

这个安全评级是怎么来的

评级来自基于 SlowMist agent 安全分类法的规则扫描:42 条公开规则,覆盖凭证窃取、数据外泄、curl | sh 安装等。它是第一层扫描,不是人工审计 — 我们如实说明,不夸大。

问题规模有独立研究佐证:Liu et al. (2026) 对 31,132 个 agent skill 的研究发现,26.1% 含有安全漏洞。我们自己的全目录普查已作为可引用的开放数据集发布。

信源与负责人:

在 GitHub 上查看 → 浏览 Agent 工具