Mac業界の最新動向はもちろん、読者の皆様にいち早くお伝えしたい重要な情報、
日々の取材活動や編集作業を通して感じた雑感などを読みやすいスタイルで提供します。

Mac Fan メールマガジン

掲載日:

Appleの新AIが革命を起こす? GoogleやOpenAIとは異なる、小さなAI・アンカーモデルを用いる発想。知識は階層型メモリバンクから取得し、LLMのサイズを半分以下に?

著者: 牧野武文

Appleの新AIが革命を起こす? GoogleやOpenAIとは異なる、小さなAI・アンカーモデルを用いる発想。知識は階層型メモリバンクから取得し、LLMのサイズを半分以下に?

AppleのAI開発が遅れている理由は、セキュリティ対策を完全にすることを目指しているからだ。さらに、AI開発にもApple特有の美学が適用されているかもしれない。Appleが論文を公開した、思考と知識を分離するというユニークな発想のAIは、小さくて軽くて安全なAIとなる。

AI開発で迷走するApple。ChatGPTやGeminiと連係するも…?

AppleのAI開発は迷走していると言われ、それを実感されている方も多いのではないだろうか。現在のApple Intelligenceは、拡張機能としてChatGPTが利用できる。しかし、あまり使う意味を感じられない。ChatGPTのアプリを入れておけば、同じことができてしまうからだ。

そんな中、2026年春頃にiPhoneやMac上でGoogleのGeminiが利用できるようになると報じられている。このGeminiは、Apple専用のサーバ「Private Cloud Compute(PCC)」で動作するという。Apple専用のクラウドなので、プロンプトに入力した内容などが流出する危険性がない。

現在のChatGPTは、OpenAI社のサーバで動作している。そのため、利用しようとすると情報流出の危険性に対する警告ダイアログが表示される。Geminiではそれがなくなるというわけだ。

Apple IntelligenceとChatGPT
Apple IntelligenceからChatGPTを利用しようとすると、このような警告ダイアログが表示される。パスワードやクレジットカードの機密情報まで参照される可能性があるというもので、怖くなる人もいるだろう。

それにしても、迷走していると言わざるを得ない。AI戦略担当上級副社長のジョン・ジャナンドレア氏の退任が決まり、アマル・スブラマニヤ氏が就任することが決まった。

AI開発のリーダーが変わり、仕切り直しをするようだ。スブラマニヤ氏は、Googleに16年在籍し、Geminiの前身のエンジニアチームを率いていた。2025年7月にマイクロソフトに移籍したが、すぐにAppleに引き抜かれたことになる。




セキュリティを最優先。だからこそ難しいAppleのAI開発。

AppleのAI開発は、他社にはない難しさがある。Appleはセキュリティを最優先しており、その視点から見ると、現在の対話型AIは大いに問題があるからだ。

2023年には、韓国のサムスン電子で流出事故が起きている。これはOpenAIの落ち度ではなく、構造的な問題だ。プロンプトに入力した内容はOpenAIのサーバに送られる。サムスン電子の半導体エンジニアが、プログラムコードを修正するために社外秘のソースコードをプロンプトに入力してしまったのだ。

もちろん、OpenAI側がその情報を悪用するようなことはないが、流出インシデントというのは悪用されなかったからセーフということにはならない。外に流出をした時点で事故であり、再発防止の対策をしなければならない。また、同年3月にはOpenAI側のバグにより、一部のユーザが他人のチャット履歴のタイトルを見られるようになってしまった。さらには、クレジットカード番号の下4桁も見られる状態になっていたという。

解決策はAIをデバイス内で動作させること。その課題はモデルのサイズと消費電力

Appleは、こういった事故が起こらないAIを開発する必要がある。

セキュリティを守るには、AIをサーバで動かすのではなく、デバイスの中で動作させたい。iPhoneの中でAIモデルが動作するのであれば、情報が外に漏れる心配はなくなるからだ。しかし、そのためには、AIモデルをグッと小さくし、消費電力も小さくしなければならない。

現在のAIは、モデルを大きくすれば大きくするほど性能があがるというスケーリング則があるため、この試みは無謀としかいいようがない。しかし、Appleは果敢に挑戦している。その成果が「Pretraining with hierarchical memories:separating long-tail and common knowledge(階層的メモリを用いた事前学習:ロングテール知識と一般知識の分離)」という論文で公表された。

現在の大規模言語モデル(LLM)は、なんでも知っている博識博士のようなものだ。ありとあらゆる知識を学習するため、無駄と思える知識までメモリにロードしなければならない。論文の中では「アインシュタインが1987年3月14日に生まれた」という、“ムダな知識”までロードされている、としている。ムダと言い切れないように思えるが、この論文で有用、ムダとされているのは、滅多に必要とされない知識までロードすることを指して言っている。




「小さなAI(アンカーモデル)」と「階層型メモリバンク」の連係

一方で、このようなロングテール知識は忘却されることもある。LLMもリソースが不足するため、問い合わせの少ないロングテール知識は積極的に捨てていく必要があるのだ。

これは、AIを使う側からはとても困る。無駄な知識までロードされ、リソースを無駄遣いされるのも困るが、ロングテール知識を忘却されてしまうのも、いざというときに困る。AIを使って「今日はホワイトデーはなく、アインシュタインの誕生日」とか、「3月14日は円周率の日でもあり、アインシュタインの誕生日でもある」などのウンチクをSNSに投稿したいこともある。

そこでAppleがとった戦略は、思考と知識の分離だ。ごく基本的な知識しか持っていない、アンカーモデルと呼ばれる小さなAIモデルをつくる。これは非常に小さいため、デバイスの中で動作させることが可能だ。しかし、どんな問題にも応えられるわけではない。

そこで、外部に専門知識やロングテール知識を保持している階層型メモリバンクを用意。アンカーモデルは、必要に応じてメモリバンクから知識をロードして回答を生成する。

Appleが研究する小さなAIモデル
Appleは思考と知識を分離することで、軽量なAIモデルの開発に成功した。左は一般的なLLMで、思考部分と知識部分の両方を持っている。右が、Appleのモデルで思考部分は基本知識のみを持ち、必要に応じてメモリバンクから知識をロードして回答を生成する。

この階層型メモリバンクの構造が、この研究のキモだ。知識が階層的に整理されて格納しているため、高速で検索することができ、アンカーモデルは必要な知識ブロックをすぐに見分けられる。

LLMのサイズが半分以下に。Appleが提案する新たなモデル

従来のLLMは、なんでも知っている博識の人のようなものだ。そのため知識の吸収を止めることはできず、記憶領域を確保するために、ムダな知識の意図的な忘却が必要となる。一方、Appleの提案するモデルは、ごく一般的な知識しか持っていない。しかし、どんな問題もサッとググって教えてくれる人のようなものだ。

この提案モデルは、アンカーモデルが160MB、そこにメモリバンクから平均して18メガバイトの知識をロードすることで、410メガバイトのLLMと同様の性能を示した。言い方を変えれば、LLMのサイズを半分以下に収めることが可能だ。さらに、メモリバンクのサイズを増やし、階層を深くしていくことで、それに比例して性能が向上していく。メモリバンクは必要な分しかロードしないのだから、外部ストレージに置いておくこともでき、大きくなっても問題は起こらない。

研究チームは、このメモリバンクをGoogleのオープンモデル「Gemma」、アリババの「Qwen」、メタの「Llama」に適用し、一般知識を問うベンチマーク、専門知識を問うベンチマーク、元素の原子番号を問うベンチマーク(ロングテール知識)の3つのテストを実施。その結果を比較した。

小さなAI・アンカーモデルのテスト結果
Appleのアンカーモデル方式で、Gemma、Qwen、LlamaなどのLLMを学習し、各ベンチマークの成績がどの程度向上するかを確かめた(下段)。一般知識(avg-CK)ではあまり向上しなかったが、専門知識問題(Avg-SK)、原子番号を問う問題などでは大きな性能向上が見られた。

一般知識では、メモリバンクを使った場合に成績が落ちることもあったが、専門知識、ロングテール知識では改善が見られた。つまり、Appleがこれから開発をするかもしれないAppleのLLMだけでなく、既存のLLMにこのアンカーモデルとメモリバンクという構造を適用しても効果が得られるということだ。




デバイス開発と同じ思想で開発される、AppleのAI

個人的に面白いと思うのは、AppleのAI開発にも、デバイス開発と同じものづくり思想が流れていることだ。Appleデバイスは、そこまでこだわる必要があるのか?と思う場所までこだわり、細部に神が宿るようなものづくりをする。その結果、Appleシリコンは頭抜けた省電力となり、バッテリ容量は小さくても、使用持続時間は他社製品と遜色がないというデバイスができあがった。

LLMが大量のメモリとGPUを使い、大量の電力を消費するという力技で進化してきたのに対し、AppleのAIはコンパクトに収めながら高性能を出すことをねらっている。AIでも、ハードウェアやソフトウェアと同じ、精緻なものづくりをしている。

AppleのAI開発が他社に遅れをとっているのは、このAppleとして避けて通ることができない美学をAIにも宿らせようとしているからではないだろうか。時間はかかるかもしれないが、素晴らしいAI体験を私たちに届けてくれることを期待したい。

おすすめの記事

著者プロフィール

牧野武文

牧野武文

フリーライター/ITジャーナリスト。ITビジネスやテクノロジーについて、消費者や生活者の視点からやさしく解説することに定評がある。IT関連書を中心に「玩具」「ゲーム」「文学」など、さまざまなジャンルの書籍を幅広く執筆。

この著者の記事一覧

×
×