SmolChat-Android - 口袋里的 AI，无需网络

想象一下：你在地铁上、飞机上，或者只是在信号不好的地方，却急需从语言模型那里得到一个答案。普通的聊天机器人需要网络连接，但如果你能把 AI 随身携带呢？这正是 SmolChat-Android 所提供的——在智能手机上与语言模型进行本地对话。

什么是 SmolChat-Android？

SmolChat-Android 是一款开源 Android 应用，让你可以直接在设备上运行 GGUF 格式的紧凑型语言模型（SLM）。该项目在底层使用 llama.cpp，并提供了一个便捷的界面，让你无需连接云服务就能与 AI 聊天。

谁会觉得这很有用：

• 测试本地语言模型的开发者
• 旅行者以及网络受限地区的人群
• 注重查询隐私的用户

主要功能

1. 本地模型运行

   • 完全无需互联网
   • 支持 GGUF 格式（为 llama.cpp 优化的模型版本）

2. 灵活的设置

   • 可调整生成参数（temperature、min-p）
   • 自定义系统提示词

3. 友好的用户界面

   • 响应支持 Markdown 格式（包括代码高亮）
   • 聊天历史记录及保存功能

4. 易于扩展

   • 使用 Kotlin 和 C++ 的清晰代码库
   • 可添加自己的模型

技术原理

底层技术方面，SmolChat 使用了：

• llama.cpp — 一个高度优化的 C++ 库，用于运行 LLM
• JNI 绑定 — 用于 Kotlin 与原生代码的交互
• Markwon — 一个用于 Markdown 渲染的库

从架构上看，应用分为两个模块：

1. 模块 1 — 包含 llama.cpp JNI 绑定的原生部分
2. 模块 2 — Kotlin 编写的 UI 和应用逻辑

当你开始新对话时，应用会：

1. 通过 llama.cpp 加载选定的模型
2. 将消息历史保存到本地数据库
3. 将请求传递给原生代码，并以 Markdown 格式输出结果

实际应用场景

1. 旅行时的离线助手
2. 开发者的快速提示词原型设计
3. 教育目的 — 了解语言模型的工作原理
4. 私密查询 — 数据永远不会离开你的设备

如何体验？

安装 SmolChat 有三种方式：

1. Google Play — 从官方商店下载
2. GitHub 上的 APK — Releases 中的最新版本
3. 通过 Obtainium — 可直接从 GitHub 自动更新

对于开发者：

git clone https://github.com/Smollich/SmolChat-Android
cd SmolChat-Android
./gradlew installDebug

未来计划

项目作者 Shubham Kumar 计划添加：

• 自动聊天命名
• 消息历史搜索
• 与 Android-Doc-QA 集成，用于处理文档
• 通过 Vulkan 支持 GPU 使用

结论：值得一试吗？

SmolChat-Android 是在 Android 上入门本地语言模型的好方法。这个项目特别适合：

• 对设备端 AI 感兴趣的开发者
• 注重隐私的用户
• 喜欢尝试不同模型的爱好者

如果你一直想在智能手机上体验本地 LLM——这是最便捷的入门方式之一。该项目正在积极开发中，已在 GitHub 上获得超过 400 颗星，这证明了它在社区中的受欢迎程度。