iOS・Android のローカルLLM実行環境まとめ｜npaka

iOS・Android のローカルLLMの実行環境をまとめました。 1. iOS1-1. Llama.cpp (gguf)「Llama.cpp」の「example/llama.swiftui」で、iOSでggufを実行するプロジェクトが提供されています。モデルはHuggingFaceの「TheBloke」などで数多く提供されています。ただし、メモリ制限のため小サイズのモデルに限られます。 1-2...