何が起きたか

Aleph Alpha（ドイツのAI会社）は、ドイツ語と英語を扱う「Kolibri 1」を10月3日に公開した。学習済みの重みを公開するオープンウェイト型で、重みと設定ファイルはApache 2.0で提供される。ドイツとフィンランドの設備で一から学習したとされ、合計781億パラメーターを持つが、1トークンごとに使うのは約34.6億パラメーターだ。

同じ話題のHacker News投稿は149ポイント、88件のコメントを集めた。ただし、これはコミュニティの注目度であり、内容の正しさを証明する数字ではない。

「主権型」の意味

Aleph Alphaがいう主権型AIは、モデルをドイツとフィンランドで作り、欧州とドイツの法律の下で運用し、利用者が自分のサーバーで動かせるという考え方だ。役所や企業の文書を外部サービスへ送らず、外の会社にモデルを止められたり、勝手に変えられたりしにくい。

ただし、外部の技術を一切使っていないわけではない。紹介記事によると、学習データの作成にはGoogleのGemma 4、Mistral-NeMo、Qwen3-32Bも使われた。主権とは、材料がすべて国内産という意味ではなく、管理と決定権をどこに置くかという意味に近い。

中身はどう軽くするか

KolibriはMixture of Experts（MoE）という構造を使う。384個の小さな処理部分から、入力ごとに6個を選ぶ。全体は大きいままでも、毎回すべてを計算しないので、計算量を抑えられる。ただし全体を記憶する必要があり、必要なGPUメモリーは約78GBとされる。

ドイツ語の長い複合語を少ないトークンで読めるよう、専用の分け方も採用した。紹介記事の実験では、ドイツ憲法の文章でGPT-5の分け方より15%少なくなった。長い文章を読む仕組みでは、通常は近くの512トークンを見て、5層に1層だけ全体を見る。学習時の文脈は262,144トークンで、1,048,576トークンまで試されたという。

なぜ重要か

ドイツ語で法律、契約、製造マニュアルを扱い、文書を自分の設備から出したくない組織には、選択肢になりうる。特に、答えが分からないときに「分からない」と言わせる設計や、ドイツ語で考える性能を重視している点が売りだ。

確認できたこと

紹介記事は、Aleph Alphaの技術報告、モデルカード、公開記事をもとにしている。そこでは、約34.6億のパラメーターを使うモデル同士のドイツ語数学評価で、Kolibriが87.5、次点が84.4だったと報告される。また、知らない答えを無理に作らない評価では、Kolibriが答えを控えたり一部だけ答えたりした割合は44%だった。これは評価結果であって、実際の仕事で同じ性能が出る保証ではない。

まだ分からないことと次に見る点

紹介者は、約78GBのGPUが必要で、当時は自分で実モデルを動かしていないと書いている。独立した大規模検証、実際の企業文書での費用や速度、更新後もデータを自分で管理できるかは、まだ確認が必要だ。今後は、公開された重みを第三者が再現できるか、実運用での失敗率と費用がどうなるかを見るべきだ。

出典: 元記事、Hacker Newsの投稿