ローカルのLLM、LMMをLM Studio で組んでみました。
これで、課金を考えなくてもばんばんつかえます。(電気代は別)
環境
Mac mini 2024 Apple M4 Pro コアの総数14SSD 2TB APFS
メモリ 48GB
macOS Sequoia 15.8.1
LM Studio ダウンロード,Download
今回は こちらをダウンロードしてみました(LM Studio)
図
Download LM Studio 0.4.26+4(もうすでにアップデートしている0.4.28)
https://lmstudio.ai/download
Local AI on your computer.
図
Your first model
Download gemma-4-e4b 6.86GB これは いれても入れなくてもどちらでもOK
(最低16GB 24〜32GBが推奨) 初期導入のテストAIとして いいかもです
図
Advanced setting 今回は両方offで行いました、
がDeveloper Modeはonがいいかもしれません(BJはあとでonにしました)
図
AIの導入,AIダウンロード,AI Download
左のメニューの①model Serchをクリックする
図
そうすると ポップアップで このようなメニューがでますので
②Serch local models by name or author…
の所にほしいモデルを入力します。
BJが最終的に選んだAIは以下にまとめてます。(2026年11月現在)
どのAIがよいか？
これはそれぞれ ご自分に会ったものをという感じになります
マシンスペック(帯域)、メモリ、
いろんなパターンがあり、なかなか難しいです
ある程度、この検索の設定で最適なAIが選択肢にでる感じです。
とりあえず いくつか実験した感じでは
今回の環境では、このパターンがよいのではと思ってますが
ほかにも いいものがあるかもしれません。(進歩が早いです)
図
Gemma 4 31B QAT Q4_0 google 31B gemma4 GGUF 17.56 GB
Gemma 4 26B A4B QAT 4bit google 26B gemma4 MLX 14.57 GB
Qwen3 VL 32B Instruct Q4_K_M lmstudio-commu… 32Bqwen3vl GGUF 19.52 GB
AIの場所,models
ダウンロードしたAIの本体の場所の出し方左のメニューの Library
真ん中右下の …をクリックし Reveal in Finderをクリックすると 置き場所が出現します(models)
図
models
設定(AI)
一番左下のギヤアイコンをクリックし
Hardwareを選んで 図のように設定します。(実験中のところでもあります)
図
Model loadsing guardrails off これはたぶん危険な使い方ですが、
70B(限界ギリギリ)を動かす場合はこれがいいような気がします。(テスト中)
使い方,いくらか使ってみました
真ん中 上部の紫色のバーをクリックして AIを選択します。
図
その左のギヤ アイコンをクリックし
Context Lengthのスライダーを右にスライドし、テキスト長を多めにとります。
(図を使う場合は 大きめにとらないと すぐに使えなくなります)
(ただメモリが少ない場合は少なめに)
いじったら Reload to apply changes をクリックし更新すること
図
チャット的な使い方(質問や討論風)もできます(chat GPTみたいに使えます)
左のメニューの上のChatをクリックし、真ん中したの ボックスに文字を入れると普通に使えます
いくつか使ってみました
翻訳 英語→日本語で使いました。ニュース記事なので普通に読めました。
表の作成 テキストから表の作成も可能です
上の図はこれらのAIで作成しています
画像の表から テキスト抽出もできます
画像判断もできます。(まだ 1個しかテストしてません、macだけにリンゴの判定)
OCRも可能みたいですが、どの程度まで 行けるかは これからテストです
(自炊データーが たくさんあるので そのうち試すかと)
問題点 とか
デカいAIデーターをダウンロードする時間が結構かかります。
(すいてる時間を使いましょう BJの場合は朝)
AIのデーターをダウンロードする時にcheck sumエラーが起きる場合がある
(check sumエラーの場合は 最初から やり直しがいいです)
過去はつよいが 新しいデーターにはは弱い
(まとめた時期はAIごとに違います、聞くと教えてくれるAIと 答えないAIがあったような？)
古めの芸能ネタを いくつか質問したら 間違いがあった。
こちらから 突っ込むと 大人な対応で間違いを認めた。
質問力がためされている気がします。(ツッコミが甘いと 深堀りできない みたいな)
トライアンド エラーの気持ちで どんどん 聞いていくと 正解に近づく場合もあるような感じもします
外部流出について たまにあるらしい？？が 現在検証中です。(起きにくいと いう話は多い感じです)
心配な場合はWIFI offとイーサネット（Ethernet）ケーブルを抜くといいかもです。
電気代とか ローカルLLM（AI）実行などの実測負荷時: 約 48W〜87W程度といわれているようです。(最大 140W)
BJは実測はしていません。
Llama-3.3-70B-Instruct Q4_K_M (roleplaiap) GGUF 39.60GBについて
ギリギリこの環境で動く最大AIの種類の一つですが
問題点も多く、あまりおすすめしません。
まず 遅いです、1文字の出力までが長すぎて、
フリーズしたのか？ と疑うレベルです。(1文字出力に数分かかることもざら)
あとLlama(70B)の種類によっては、読み込みすらできない物があります。
落ちる前とかにMacの画面がゆらぎ 表示用VRAMが壊れていくのが垣間見えて そしておちます。
読み込み途中にエラーでOSを巻き込んで落ちる時もあります。
電源長押しでしか 復活しないパターンも多いです。
command+shift+escが 間に合う時と間に合わない時があります。
スマホとくらべて
当然ながら 外部AI使用のスマホのほうが早くて使いやすいです。
しかしながら 外部のAIは情報をぬかれたり
個人情報がおもわぬ形で利用されたり、、、することがあるかもしれません。。。
テストしたAIの種類,動かないものもあります(miniの限界のため)
Gemma 4 26B A4B QAT 4bit google 26B gemma4 MLX 14.57 GB
Gemma 4 31B QAT Q4_0 google 31B gemma4 GGUF 17.56 GB
Qwen3 VL 32B Instruct 4bit lmstudio-commu 32B qwen3_vl MLX 18.29 GB
Qwen3 VL 32B Instruct Q4_K_M lmstudio-commu 32B qwen3vl GGUF 19.52 GB
Qwen3 VL 32B Instruct 8bit lmstudio-commu 32B qwen3_vl MLX 33.54 GB
Gemma 4 31B Instruct Q4_K_M Intel 31B gemma4 GGUF 19.55 GB
Qwen2.5 VL 32B Instruct Q4_K_M lmstudio-commu 32B qwen2vl GGUF 19.77 GB
Llama 3.3 70B Instruct Q4_K_M roleplaiapp 70B llama GGUF 39.60 GB
Llama 3.3 70B Instruct DWQ 4bit mlx-community 70B llama MLX 36.98 GB
Llama 3.3 70B Instruct 4bit mlx-community 70B llama MLX 36.98 GB
Dolphin 2.9.2 Qwen2 72B 8bit mlx-community 72B qwen2 MLX 71.96 GB
やられた方はわかると思いますが 最大AIを動かしてみたいという ロマン…
Mac どんなマシンがいいのか
Macの場合メモリが大きくて、帯域が大きいものを選ぶと割と大きなモデルも動かせます、
が お値段もそれなりに 高くなります。。。
少ないメモリの機種を購入すると AIが動かないとか あとになって後悔します。。。
M7になると メモリが最大1.5Tくらいになるらしく(噂)
うまくいけば、現在の大規模モデルの 量子化板が 動かせて
現在のネットでしか使えないモデルが
クローズドな社内や環境で使われるかもしれません。
あとがき、と 感想
個人個人にAI 知識が膨張拡大し、体験したことのない
知識、智慧があっという間に手にいれられます。
それも聞いたら、即答で答えが帰ってくるので、
状況判断が早くなり、あとは行動するか しないかが問われる事になる感じかなとおもいます。
まるで、この世に出現した「アカシックレコード」という感じです AI 。(過去限定 、未来予言は預言者の仕事)
問題を認識し、問題提起できる人が 化けるというか 駄々っ子が超優秀な人になったり
ドラえも～ん(AI) なんとかしてー というと 選択肢が与えられ、
のび太君が かっこよくなる可能性を秘めた ツールなのかもしれません
次は君の番だよと そっと背中を押され、、、、
できない場合は しきいをさげて 背中をまた 押す、、、、
勉強の仕方も変わってきて、
基礎 勉強 応用 実戦 が
いきなり実戦 AIに聞いて 足りない所を補いながら 問題を解決していく
このような 感じになっていくのかなぁ と いろいろと 考えさせられます。
モチベーションの維持 コーチングが先生の仕事、、
きついかもですが 成果や 結果を 要求されるのかなぁとも 感じます。。。
できなかったら AIに言い訳を考えてもらうとか www
なんか どきどき するツールになってきたのかな と感じます。
参考書；
全部、AIに丸投げした 大塚 あみ
過去記事 (今はスマホに質問すると チャットはすぐにできますね。)
chatGPT(チャットGPT)のアカウント作成登録画面からログイン画面へ行き始めてみましょう,初期設定から使い方までの図説,電話番号認証,SMS承認,初め方,使い方,遊び方,人工知能AI,日本語,ログイン画面が出ない時の参考に
コメントを残す