llamafile Mozilla 单文件 LLM 发布和运行工具

分享海报

@user_3c6cb52e/llamafile-single-file-llm-runner-mozilla

Mozilla 的 llamafile 将开源大型语言模型打包成一个便携式可执行文件，可在 macOS、Windows、Linux 和 BSD 上本地运行，无需安装。它将 llama.cpp 推理功能与 Cosmopolitan Libc 结合，将模型权重、服务器和运行时环境合并到一个文件中。