マイクロソフトは、画面の一部をハイライトするだけで自動的にノートを生成するコンテキストノート取りアプリの開発に取り組んでいます。

最近、マイクロソフトはスクリーンショットキャプチャとソースへのリンクをサポートするようにSticky Notesを更新しましたが、レドモンドを拠点とするテクノロジー大手は、ノートを取る人々のためのより大きな計画を持っているようです。

最近公開された特許によると、マイクロソフトは、ユーザーがデータをハイライトすると自動的にノートを生成するコンテキストノート取りアプリに取り組んでいます。Universal Highlighter for Contextual Notetaking と呼ばれるこのアプリは、自らも非常に革新的なものでしょう。

コンテキストノート取りのためのユニバーサルハイライターは、4つの主な作業を実行できます：

• インタラクティブハイライト
• コンテキストノート取り
• ノート生成
• 簡単なリコール

基本的に、この技術は画面の一部をハイライトすることを可能にします。それはウィンドウやアプリケーションの一部である可能性があります。システムは、ハイライトされたコンテンツのコンテキストを自動的に把握します。コンテンツ、ウィンドウ、アプリケーション、およびユーザーから関連データを集めます。

これらの情報はすべて結合されてノートが作成されます。これらのノートはデータベースに保存され、後でノート取りアプリケーションを使用してアクセスできます。

前述の通り、コンテキストノート取りアプリは独立して存在することもできますが、他のプラットフォームの一部としても機能します。これには、たとえばマイクロソフトエッジのようなウェブブラウザアプリや、カレンダーアプリのようなネイティブWindowsアプリ、さらにはWord、Excel、OutlookなどのMicrosoft 365アプリが含まれます。

この点で、Microsoft Edgeはすでにテキストをリアルタイムで翻訳する性能の高いPDFリーダーを持っているので、特許で説明されているノート取りアプリはすでに基盤があると言えます。

このマイクロソフトのコンテキストノート取りアプリは、ノートを取る作業をより簡単かつ効率的にします。まず、自動化されており、ユーザーは情報をハイライトするだけで済むため、手間が減り、生産性が向上します。

次に、興味深いのは、そのコンテキストに基づいたノートの取り方です。ユーザーが画面の特定の部分をハイライトする際に、オンラインで探していたすべての情報を考慮に入れ、関連データが豊富なノートを提供します。

興味深いことに、マイクロソフトはこのコンテキストノート取りアプリを、テキストコンテンツだけでなく、画像、動画、音声ベースのコンテンツも考慮に入れて開発しています。このアプリは、これらの形式のコンテンツを処理し、それに関するテキストベースのノートを生成します。

ハイライトされたコンテンツがテキスト以外のデータタイプ（例：画像データ、動画データ、音声データなど）を含む場合、本開示はハイライトされたコンテンツを処理し、テキスト化されたデータを生成します。たとえば、ハイライトされたコンテンツに車の画像が含まれている場合、そのテキストデータは画像認識に基づいて「車」となります。画像認識は、テキスト内の画像データの特徴を特定することができます。たとえば、テキストデータには「ピクトグラムとしての車」や「2022年にYによって製造された車のモデルX」が含まれる場合があります。

第三に、これらのノートは自動的に保存され、後での使用が可能ですので、失う心配はありません。特許によると、ノートは複数のノート取りアプリと互換性があり、お好みのオプションで開くことができます。

私たちは、この種のアップデートがSticky NotesやCopilotに適用される可能性があると言えます。後者は理にかなっています。なぜなら、このコンテキストノート取りはノートを生成するためにAIの能力を利用し、Copilotはすでに多くのマイクロソフトの製品やサービスに統合されています。

全文はここで読むことができます。