llama.cpp 模型演示App

这款App是llama.cpp模型的演示，试图重现一个离线聊天机器人，其工作方式类似于OpenAI的ChatGPT。该App的源代码可在GitHub上找到。

该App是使用Flutter开发的，并实现了ggerganov/llama.cpp，重新编译后可在手机上运行。请注意，LLaMA模型由Meta官方分发，App开发者不提供。

要运行此App，您需要从Meta下载用于研究目的的7B LLaMA模型。您应将其重命名为ggml-model.bin，并将其放置在设备的下载文件夹中。

此外，您还可以通过预提示来微调输出，以提高其性能。

工作演示

点击图片在YouTube上查看视频。视频显示一台8GB内存的OnePlus 7运行Sherpa，没有加速。

要使用此App，请遵循以下步骤

请注意，llama.cpp模型由Meta拥有并官方分发。此App仅作为模型功能和能力的演示。此App的开发者不提供LLaMA模型，也不对模型的任何使用问题负责。