Show HN: Blast - 用于 Web 浏览 AI Agent 的快速多线程服务引擎
文章介绍了一款名为 BLAST 的高性能 Web 浏览 AI 服务引擎。它兼容 OpenAI API，提供并发和流式传输功能，并支持自动缓存和并行化，以降低成本和延迟。用户可以通过简单的 `pip install blastai && blastai serve` 命令快速启动，并使用类似 OpenAI 的 API 进行调用。主要特性包括 OpenAI 兼容性、高性能、流式传输和并发支持。该项目采用 MIT 许可证，并提供文档和贡献指南。
一款用于 Web 浏览 AI 的高性能服务引擎。
❓ 使用场景
- 我想向我的应用添加 Web 浏览 AI... BLAST 使用兼容 OpenAI 的 API 提供 Web 浏览 AI，并且内置了并发和流式传输功能。
- 我需要自动化工作流程... BLAST 将自动缓存和并行化，以降低成本并实现交互级别的延迟。
- 只想在本地使用它... BLAST 确保您保持在预算范围内，并且不会占用计算机的内存。
🚀 快速开始
pip install blastai && blastai serve
from openai import OpenAI
client = OpenAI(
api_key="not-needed",
base_url="http://127.0.0.1:8000"
)
# Stream real-time browser actions
stream = client.responses.create(
model="not-needed",
input="Compare fried chicken reviews for top 10 fast food restaurants",
stream=True
)
for event in stream:
if event.type == "response.output_text.delta":
print(event.delta if " " in event.delta else "<screenshot>", end="", flush=True)
✨ 特性
- 🔄 OpenAI 兼容 API：可直接替换 OpenAI 的 API。
- 🚄 高性能：自动并行和前缀缓存。
- 📡 流式传输：将浏览器增强的 LLM 输出流式传输给用户。
- 📊 并发：开箱即用地支持许多用户，并进行有效的资源管理。
📚 文档
请访问文档了解更多信息。
🤝 贡献
太棒了！请参阅我们的贡献指南了解详细信息。
📄 MIT 许可证
理应如此！
关于
Browser-LLM Auto-Scaling Technology
主题
python browser-automation ai-agents llm-inference
资源
许可证
代码统计
- Python 80.8%
- TypeScript 14.5%
- HTML 2.2%
- CSS 2.0%
- JavaScript 0.5%