OpenAI-Parallel-Toolkit — Agent Tool by CZT0

by CZT0 · Agent Tool · ★ 74

Last updated: · Indexed by AgentSkillsHub · Auto-synced every 8h

About OpenAI-Parallel-Toolkit

OpenAI 并行工具箱 中文 | English 这个项目利用 OpenAI 5美元账户的密钥,通过购买大量5美元密钥并结合密钥管理与多线程并行处理大量数据,绕过了5美元账户每分钟只能请求3次的限制。 并行处理的速度为 key的数目/20,即20个key的速度为1 it/s,40个key的速度为2 it/s,以此类推。注意每个账号每天只能请求200次。 默认模型使用的是,如果你的上下文过长,可以在运行完成一遍后使用自定义模型,指定再次运行,会将无法处理的数据继续处理。 更简易的框架 如果你想使用一个更简易的key管理框架,可以查看我的另一个开源项目StableOpenAI,这个项目利用指数退避算法和读写锁,简洁高效的实现了线程安全的Key管理。 功能 ✅ 在使用量达到限制时,自动轮换 OpenAI API 密钥,内置错误处理和自动重试机制。 ✅ 提供在中国代理访问 OpenAI 服务的解决方案。 ✅ 支持 API 和文件操作的并行处理,优化吞吐量和效率,支持断点续传。 安装 使用方法 目前提供三种使用方法: 对一个数据集进行并行处理,支持中断后继续运行。 在代码中同时处理多个数据。 在代码中处理单个数据。 处理数据集 数据集格式 数据的输入和输出都采用 jsonl 格式。 输入文件 格式例子,注意index为字符串: 输出文件 格式例子: 注意,如果遇到问题,比如上下文过长或者网络问题,数据会以下面的格式标记,重新运行会再次尝试处理这些数据。 合并文件 可以将input.jsonl与output.jsonl合并成一个json文件,便于进行LLM训练 json [ { "index": "0", "instruction": "把这句话翻译成英文", "input": "今天天气真好", "output": "The weath

Quick Facts

Stars74
Forks10
LanguagePython
CategoryAgent Tool
LicenseMIT
Quality Score65.976774771677/100
Open Issues1
Last Updated2024-09-04
Created2023-05-14
Platformspython
Est. Tokens~5k

Compatible Skills

These tools work well together with OpenAI-Parallel-Toolkit for enhanced workflows:

  • open-responses-server — semantic(0.21)+complementary+shared_fw(openai)+same_lang+similar_pop+shared_platform (60%)
  • ccproxy-api — semantic(0.17)+complementary+same_lang+similar_pop+shared_platform (51%)
  • MCP-Bridge — semantic(0.16)+complementary+shared_fw(openai)+same_lang+shared_platform (49%)
  • token_proxy — semantic(0.23)+complementary+shared_fw(openai)+similar_pop (46%)

More Agent Tool Tools

Explore other popular agent tool tools:

View all Agent Tool tools →

Popular Python Agent Tools

Frequently Asked Questions

What is OpenAI-Parallel-Toolkit?

OpenAI-Parallel-Toolkit is OpenAI-Parallel-Toolkit is a Python library for handling multiple OpenAI API keys and parallel tasks. It provides API key rotation, multithreading for faster task execution, and utility functions to b. It is categorized as a Agent Tool with 74 GitHub stars.

What programming language is OpenAI-Parallel-Toolkit written in?

OpenAI-Parallel-Toolkit is primarily written in Python.

How do I install or use OpenAI-Parallel-Toolkit?

You can find installation instructions and usage details in the OpenAI-Parallel-Toolkit GitHub repository at github.com/CZT0/OpenAI-Parallel-Toolkit. The project has 74 stars and 10 forks, indicating an active community.

What license does OpenAI-Parallel-Toolkit use?

OpenAI-Parallel-Toolkit is released under the MIT license, making it free to use and modify according to the license terms.

View on GitHub → Browse Agent Tool tools