🔥 HNで話題

アプリを自分で使ってバグ探し MomenticのAI「Mo」が示す検査の新しい形

約3分で読めます Tiny Why編集部 · 文: 特派員 キュリオ

ことば
QA Bench

ソフトの検査役を比べるためのテスト。

再現率

見つけるべき不具合のうち、見つけた割合。

精度

報告した問題のうち、本物だった割合。

何が起きたか

Momentic(ソフトウェアの検査を手がける会社)は、アプリを自分で操作して不具合を探すAIエージェント「Mo」を発表した。MoはWeb、iOS、Androidアプリを計画しながら動かし、デスクトップ対応も予定するという。従来のPlaywrightやSeleniumでは、画面の部品名や位置をテストに細かく書く必要がある。画面が変わるたび、テストの手直しも起きやすい。Moは画面の画像や動画、ページの構造を見ながら、複数の作業を並行して調べる設計を掲げる。Launch HN投稿には、私有サイトや手元のアプリを接続する仕組み、VercelとCloudflareのデプロイ前画面へのPRテストを出荷したことも記されている。

Hacker Newsの投稿は、提供された集計で166 points、132 commentsを記録した。これは注目度であって、Moの性能の証明ではない。

背景

Momenticは、AIがコードを大量に作る時代には、コードを書いたAIと同じ思い込みでテストを作る危険があると説明する。実装に合わせたテストは、見た目の確認に終わり、新しい使い方や画面上の問題を見逃すことがある。そこでMoは、あらかじめ書かれた手順だけを繰り返すのではなく、アプリを探索して問題を見つける役を目指す。

ベンチマークで見えた差

MomenticのQA Benchは、Gitea、Metabase、Twenty、Saleorという4つのオープンソースアプリにある、1,396件の人手でラベル付けされた不具合を使った。各エージェントには同じ説明と新しい実行環境を与え、ソースコードは見せなかった。60分の実行で、Moは269件を見つけ、再現率19.3%、精度84%、不具合1件あたり2.67ドルだったと報告された。再現率は、見つけるべき不具合のうち見つけた割合だ。精度は、報告した問題のうち本物だった割合である。

比較では、Codexが86件、再現率6.2%、精度86%、1件0.80ドル。Claude Codeは59件、Devinは27件だった。Moはより多く見つけたが、Codexより精度が少し低く、費用は高い。

なぜ重要か

この発表の意味は、AIがテストコードを書くことだけではない。AIが実際の利用者のように画面を動かし、書かれていない経路まで探すという、別の検査方法を示した点にある。開発が速くなるほど、決まったテストの保守だけでは調べる範囲が追いつかない可能性がある。一方で、見つける数が多いことは、重要な不具合を多く見つけることと同じではない。誤った報告が増えれば、人が確認する負担も増える。

確認できたことと、まだ分からないこと

確認できるのは、MomenticがMoを発表し、テスト条件と比較数字を公開したことだ。評価にはLLMによる判定と人手の確認が使われ、結果ページやデータセット、評価用ハーネスへのリンクも示されている。公式サイトでは、Webとモバイルの検査、CIへの接続、自然な言葉でのテストを案内している。

まだ、第三者が同じ条件で再現した結果は確認できない。どの程度重大な問題を見つけたのか、現実の顧客アプリでも同じ差が出るのか、長期利用で費用と誤報がどう変わるのかも不明だ。

次に見る点

次は、独立した評価で同じ差が出るかが焦点になる。単なる問題の数だけでなく、重大さ、重複報告、誤報、再現のしやすさをそろえて比べる必要がある。Moが探索で見つけた問題を、繰り返し使えるテストへ変えられるかも重要だ。AI検査が広がるかは、派手な発見数より、開発者が結果を信頼して直せるかで決まる。

💬 Momenticの本当の争点は、発見数・コスト・信頼性

Moは、Webやモバイルアプリを実際に操作して未知の不具合を探す自動QAエージェント。HNでは、広くバグを拾えるという主張と、価格、再現性、囲い込み、将来の競争への疑問がぶつかった。以下の性能値と障害は、Momentic側または利用者の自己申告で、独立検証ではない。

  • Momentic側は、過去のテスト履歴、専用エージェント、独自ハーネス、並列ブラウザ・端末基盤を使って大規模な探索的QAを行うと説明する。Moはバグ修正を担う汎用コーディングエージェントではなく、見つけた問題を別のコーディングエージェントへ渡す位置づけ。
  • Momentic側のベンチマーク説明では、同じ時間で次点のQAエージェントより正しいバグを3倍超見つけた一方、記事に示された比較は1件あたりMoが$2.67、Codexが$0.80、precisionはMo 84%、Codex 86%。担当者は、見逃しを減らすrecallを優先した結果で、精度は概ね同程度だと説明する。これは会社側の自己申告。
  • 反対側からは、スクリーンショットとアプリ状態を決定的に検査する自作パイプライン、OSS・セルフホスト、将来の基盤モデルの進歩で、より安く再現性高くできるという反論がある。会社側は、独自の設計、長期コンテキスト、データ、並列実行基盤が大規模アプリで差になるとするが、優位性は未検証。
  • BYOA・BYOK、つまり自分のエージェントやAPIキーを持ち込めることと、トークンやテスト形式の移植性も懸念になった。創業者は、汎用モデルをそのまま組み込むと性能に満足できなかったため現時点では対応しておらず、将来の対応余地はあると述べた。
  • 測定方法には、壊れた画面を合格にするサイレントパス、実行ごとのばらつき、軽微なバグばかり拾う問題が指摘された。利用者は、意図的に欠陥を埋め込むmutation testing、判定不能の選択肢、再実行可能な記録を提案。会社側は、現行QA Benchはpass/fail測定向きでなく、元アプリのバグを人手確認しており、通常のMoでは再現できない疑いを内部で捨てると説明した。
  • 利用者の自己申告では、画面上のバグ件数とバグなし表示が食い違う、重大度が一律medium、停止ボタンが遅いという不具合があった。会社側はフロントエンドや初期値の問題の可能性を認め、設定変更やCLI出力を案内した。
  • 別の利用者は、iOS 27が必要なアプリをiOS 26のホステッドシミュレータで試せず、互換性の説明が足りないと報告した。会社側はOSバージョン差が原因とし、その後iOS 27対応を追加したと返したが、これもコメント上の報告で独立確認はない。

コメント132件時点の成熟版(改訂1)。100件を取得し、全体から100件を抽出して要約しました。内容はHN利用者の自己申告で、編集部が確認した事実ではありません。

🔥 HNで話題

MomenticのMoが、アプリを動かしながらバグを探す

📰 しっかり版: アプリを自分で使ってバグ探し MomenticのAI「Mo」が示す検査の新しい形

アプリを自分で使うAIが、ソフトのこわれた所を探し始めました。

約2分で読めます Tiny Why編集部 · 文: 特派員 キュリオ

ことば
AIエージェント

目的に向けて、計画を立てて作業するAI。

再現率

見つけるべき問題を、どれだけ見つけたか。

精度

報告した問題のうち、本物の割合。

💡 ようするに

  • MomenticのMoは、アプリを自分で動かすAIです。
  • 60分で269件の不具合を見つけたと会社は報告しました。
  • ただし、数字は会社のテストで、正しさの証明ではありません。

Momentic(アプリの検査をする会社)は、Mo(アプリを動かして調べるAIエージェント)を発表しました。MoはWeb、iOS、Androidのアプリを調べます。デスクトップにも対応する予定です。

これまでの検査では、人が操作の順番を書きました。画面の部品名や場所も指定します。画面が変わると、テストを書き直す必要があります。Moは画面の画像や動画を見ます。ページの作りも見ます。そして、いろいろな操作を試します。

MomenticはQA Benchというテストを作りました。4つのアプリに、1,396件のラベル付き不具合がありました。各AIには同じ説明を渡しました。ソースコードは見せませんでした。

60分で、Moは269件を見つけました。これは再現率19.3%です。再現率は、見つけるべき問題をどれだけ見つけたかです。Moの精度は84%でした。精度は、報告した問題のうち本物の割合です。

Codexは86件を見つけました。精度は86%でした。Codexは、Moより少ない問題しか見つけませんでした。しかし、1件を見つける費用は低い計算でした。つまり、Moはたくさん探す力を重視しています。Codexは費用と精度に強みがあります。

この違いは、AI検査で何を大切にするかを考えさせます。問題を見逃したくない会社には、たくさん探す力が役立ちます。でも、間違った報告が多いと、人が確認する時間が増えます。重大な問題を見つけたかも、別に調べる必要があります。

この発表は、Hacker Newsでも166 pointsと132 commentsを集めました。これは話題の大きさです。Moの性能を証明する数字ではありません。

Momentic自身のテストでは、Moが最も多く見つけました。第三者が同じ結果を出せるかは、まだ分かりません。次は、別のアプリでの再テスト、問題の重大さ、誤報の数を見る必要があります。

資料:MomenticのLaunch HN投稿

💬 Momenticをめぐる、やさしい整理

Moはアプリを動かしてバグを探すAIです。見つける数を重視する会社側の説明に対し、利用者は値段、正しさ、使い続けやすさを心配しています。数字や不具合は、会社または利用者の自己申告です。

  • Moは、過去のテスト結果や専用の仕組みを使って、Webやモバイルアプリを自動で探検します。会社は大量のブラウザや端末を同時に動かせることも強みだと説明します。Mo自身はバグを直すAIではありません。
  • 会社側の自己申告では、同じ時間で次に良いQAエージェントより正しいバグを3倍超発見しました。1件の費用はMoが$2.67、Codexが$0.80で、精度はMo 84%、Codex 86%。つまり、見逃しを減らす代わりに高いという説明です。
  • 利用者は、自作の決定的な検査、OSS・セルフホスト、もっと賢くなる将来のAIなら、より安くできるかもしれないと反論しました。自分のエージェントやAPIキーを持ち込みたいという声もあり、創業者は今は汎用モデルの性能に満足できず、将来対応を検討すると説明しました。
  • 測定では、壊れたものを合格にする、毎回結果が変わる、軽いバグばかり見つける心配が出ました。利用者は、わざと欠陥を入れたアプリ、判定不能の答え、再生できる記録を提案。会社側は、QA Benchは合否の測定向きではなく、人が結果を確認したと説明し、通常のMoでは再現できない疑いを捨てると述べました。
  • 利用者の自己申告では、バグ数とバグなし表示の食い違い、重要度が全部medium、止めるボタンの遅さがありました。別の利用者は、iOS 27のアプリをiOS 26のシミュレータで試せないと報告。会社側は前者を画面や初期値、後者をOSの違いとし、iOS 27対応を追加したと説明しましたが、独立確認はありません。

コメント132件時点の成熟版(改訂1)。100件を取得し、全体から100件を抽出して要約しました。内容はHN利用者の自己申告で、編集部が確認した事実ではありません。

🔥 HNで話題

Moは、アプリのこわれた所を探すAI

📰 しっかり版: アプリを自分で使ってバグ探し MomenticのAI「Mo」が示す検査の新しい形

画面を見て、ボタンを押して、へんな所を探します。

約1分で読めます Tiny Why編集部 · 文: 特派員 キュリオ

ことば
Mo

アプリを動かして、こわれた所を探すAI。

バグ

アプリのこわれた所。

Hacker News

技術の話題をみんなで読むサイト。

Momentic(モメンティック。アプリを調べる会社)が、Mo(モー。アプリを使うAI)を発表しました。

Moは画面を見ます。ボタンを押します。いろいろな道を試します。アプリのバグを探します。バグは、アプリのこわれた所です。

昔のテストは、人が順番を書きました。画面が変わると、書き直しが必要でした。Moは、自分でいろいろな操作を試します。

Momenticのテストには、1,396個のこわれた所がありました。Moは60分で269個を見つけました。269÷1,396は約19.3%です。だいたい5個に1個です。

Hacker Newsでは、166ポイントと132件のコメントがありました。これは話題の大きさです。正しさの点数ではありません。

この数字は、Momenticが作ったテストの結果です。別の人が同じ結果を出せるかは、まだ分かりません。だから、Moが役に立つか、もっと試す必要があります。

資料:Momenticの紹介

💬 Moは、アプリを動かしてバグを探すロボット

Moはアプリを動かして、変なところを探します。会社はたくさん見つけられると言います。でも、お金や正しさには心配もあります。数字や故障の話は自己申告です。

  • Moは、Webやスマホのアプリを動かすテスターです。会社は専用のデータや仕組み、大量のブラウザを使うと言います。Moはバグを直すロボットではありません。
  • 会社の自己申告では、同じ時間で3倍以上の正しいバグを見つけました。でも、1件はMoが$2.67、Codexが$0.80です。精度はMo 84%、Codex 86%でした。見逃しを減らす代わりに高い、という話です。
  • 利用者は、自分で作る安い仕組みや無料の道具、もっと賢い新しいAIで十分かもしれないと言います。自分のAIや鍵を持ち込みたい人もいます。会社は今は対応していませんが、将来は考えると言います。
  • 人は、テストが本当に正しいか、毎回同じかを心配しました。わざと壊したアプリで試す案も出ました。利用者は画面表示の食い違い、止めにくさ、iOS版の不対応も報告し、会社は直した・対応したと説明しました。ただし、これらはコメント上の自己申告です。

コメント132件時点の成熟版(改訂1)。100件を取得し、全体から100件を抽出して要約しました。内容はHN利用者の自己申告で、編集部が確認した事実ではありません。

出典・参考