News Observation Lab for Future
ローカルAIで画面の意味を即座に把握し、次の操作を案内するNextCueAI
概要
NextCueAI は、分かりにくい画面やエラーダイアログ、設定ページ、フォームなどのスクリーンショットを解析し、画面に何が映っているか、何が問題なのか、次に取るべき具体的なアクションを日本語で提示するローカルファーストの AI アシスタントです。
主な機能
- スクリーンショットをドラッグ＆ドロップ、貼り付け、またはファイル選択で取り込む
- 画面に映っている内容、問題点、次にすべきステップを段階的に説明
- 簡易説明モードと詳細説明モードを切替可能
- 英語とシンハラ語の両方に対応し、UI にローカルフォントを同梱
- ローカルで動作する Olllama と Gemma ビジョンモデルを利用し、プライバシーを保護
対象ユーザー
コンピュータ操作に慣れているものの、見慣れない画面で戸惑うことが多いユーザー（例：コロンボのガラダリホテル勤務の 26 歳 Iruka Akash）向けに開発されました。
導入方法
Windows 用 MSI パッケージが提供されており、インストール後は Node.js が不要です。ただし v1.0.1 では Olllama と Gemma モデルを別途インストールする必要があります。
ダウンロード先:
GitHub リポジトリ、
リリースページ
プライバシーとローカル実行の理由
スクリーンショットにはアカウント名、メールアドレス、個人情報、システム情報など多数の機密データが含まれる可能性があります。そのため、画像はローカルブリッジ（127.0.0.1）へ送信され、外部のクラウドへ転送されません。
技術構成
- フロントエンド: React、TypeScript、Vite
- ローカルブリッジ: 軽量 Express が画像検証・正規化・メタデータ除去を担当
- デスクトップ版: Electron で Windows 向け MSI 配布
- AI 応答は「見えているもの」「起こり得る事象」「次のアクション」「ステップバイステップのガイダンス」「注意」「自信」の項目で構成
対応画像形式と制限
PNG、JPEG、WebP をサポートし、最大 10 MB まで。アニメーション画像や不適切な入力は拒否されます。
ユーザーインターフェース
画像を中心に配置した UI で、ドラッグ＆ドロップ、クリップボード貼り付け、ファイルピッカー、プレビュー、削除、言語・モード選択、分析キャンセル・再試行・結果コピーが可能です。
テストとリリース
単体テスト、API テスト、E2E テスト、レスポンシブ・アクセシビリティチェックを GitHub Actions で自動実行。現在のリリースは NextCueAI v1.0.1（Windows x64 MSI）。
今後の展望
次期リリースでは Olllama の自動検出、モデルのインストールガイド、アプリ内からのダウンロード、セットアップ進捗表示、途中停止からの復旧機能を追加し、セットアップのハードルを下げる予定です。
オープンソースの意義
プライバシー保護とローカル実行を核に据えたオープンソースプロジェクトとして、ユーザーはコードを検証し、外部 AI プロバイダーにデータを送信せずに安心して利用できます。