Experia Z4 Tablet で ollama / Phi-3 ローカル実行

先日 Microsoft が端末上で局所実行可能な小規模言語モデル（slm）Phi-3 を公開しましたが、YouTube を見ていたところ ollama というものを使うと簡単に試すことが出来るという事だったので、試してみることにしました。

手順は検索して出てきた以下のページに従って行いました。

zenn.dev

実行端末には Sony Experia Z4 Tablet を用い、UserLAnd 上の Ubuntu 20.04 環境を用いることにしました。

ollama.com

curl -fsSL https://ollama.com/install.sh | sh

上記コマンドで、問題なくダウンロード＆インストールが済みました。

コンソール２つ開いて、一つではサーバーモードで起動し、もう一つで Phi-3 を起動します。

ollama serve

ollama run phi3

phi-3 は 2Gbyte 強のデータファイルをダウンロードした後に起動してプロンプト >>> を出します。メモリーはそれほど消費しません、しかし Z4 には計算の荷が重いようで１文を返すのに 10 分ぐらいかかります。CPU は余り並列利用していないようなので並列化できればもう少しはましかもしれません。まぁ Z4 は、昨今の Android アプリもまともなスピードで応答できないのでしょうがないですねｗ