Show HN: LocalScore – 本地 LLM 基准测试
LocalScore 是一个用于本地 LLM 基准测试的工具。用户可以通过下载官方模型或使用自己的 `.gguf` 模型来运行测试。文章提供了在 MacOS/Linux 和 Windows 系统上运行 LocalScore 的具体步骤,包括下载、运行命令示例以及内存需求。此外,文章还提供了故障排除指南、CLI 文档链接以及相关资源,如 Discord 社区和 GitHub 链接。
HomeLatest ResultsDownloadAboutBlog
Search
下载 LocalScore
有两种运行 LocalScore 的方式。 最简单的方法是下载官方模型。 如果你已经拥有 .gguf
模型,你也可以使用它们来运行 LocalScore。
运行方式:
Official Models Your own .gguf
你正在运行什么操作系统?
MacOS/Linux Windows
选择你想要运行的基准测试:
Tiny - 1B 需要:约 2GB 内存
Small - 8B 需要:约 6GB 内存
Medium - 14B 需要:约 10GB 内存
打开你的终端并运行: 打开 cmd.exe 并运行:
localscore-0.9.2.exe -m Llama-3.2-1B-Instruct-Q4_K_M.gguf
curl -OL https://localscore.ai/download/localscore-tiny
chmod +x localscore-tiny
./localscore-tiny
你正在运行什么操作系统?
MacOS/Linux Windows
打开你的终端并运行:
chmod +x localscore-0.9.2
./localscore-0.9.2 -m path/to/model.gguf
使用 CLI 客户端时遇到问题? 请查看故障排除指南。
有关 LocalScore CLI 的更多文档,请查看 README。
需要帮助?观看此视频