Microsoft работает над контекстным приложением для заметок, которое автоматически генерирует заметки просто выделяя части экрана.

Хотя Microsoft недавно обновила Sticky Notes для поддержки скриншотов и ссылок на источники, кажется, что технологический гигант из Редмонда имеет более амбициозные планы для пользователей заметок.
Согласно недавно опубликованному патенту, Microsoft разрабатывает контекстное приложение для заметок, которое автоматически генерирует заметки, когда пользователи выделяют данные. Предполагается, что приложение будет называться Универсальный Подсвечиватель для Контекстных Заметок и само по себе станет достаточно революционным.

Универсальный Подсвечиватель для Контекстных Заметок способен выполнять 4 основные задачи:

• Интерактивное Выделение
• Контекстное Создание Заметок
• Генерация Заметок
• Легкое Напоминание

В основном, эта технология позволяет вам выделить часть вашего экрана. Это может быть часть окна или приложения. Система автоматически определяет контекст выделенного содержимого. Она собирает соответствующие данные из содержимого, окна, приложения и пользователя.

Вся эта информация комбинируется для создания заметок для вас. Эти заметки хранятся в базе данных и могут быть просмотрены позже с помощью приложения для заметок.

Как мы упоминали ранее, контекстное приложение для заметок может существовать отдельно, но также может быть частью другой платформы. Это включает веб-браузеры, такие как Microsoft Edge, например, или встроенные приложения Windows, такие как приложение Календарь, а также приложения Microsoft 365, такие как Word, Excel или Outlook.

В этом контексте Microsoft Edge уже имеет мощный PDF-читалку, который переводит текст в реальном времени просто выделяя его, так что приложение для заметок, описанное в патенте, уже имеет базу.

Это контекстное приложение типа Sticky Notes от Microsoft облегчит создание заметок и сделает его более эффективным. Во-первых, оно полностью автоматическое, и единственное, что пользователям нужно будет делать, это выделить информацию, что уменьшит ручной труд и повысит производительность в целом.

Затем, интригующая часть – это его контекстный подход к созданию заметок: оно учитывает всё, что вы искали онлайн, когда выделяете определенные части вашего экрана, и предоставляет заметки с обогащёнными данными.

Интересно, что Microsoft разрабатывает это контекстное приложение для заметок, учитывая не только текстовый контент, но также содержимое на основе изображений, видео или аудио. Приложение обрабатывает эти формы контента и генерирует текстовые заметки о них.

Когда выделенное содержимое включает тип данных, который не является текстовым (например, данные изображения, данные видео, данные аудио и т.д.), данное раскрытие обрабатывает выделенное содержимое и генерирует текстовые данные. Например, когда выделенное содержимое включает изображение автомобиля, текстовые данные будут «автомобиль» на основе распознавания изображений. Распознавание изображений может идентифицировать характеристику данных изображения текстом. Например, текстовые данные также могут включать «автомобиль в качестве пиктограммы» или «модель автомобиля X, выпущенная Y в 2022 году».

В-третьих, оно автоматически сохраняет эти заметки для последующего использования, так что вам не придётся беспокоиться об их потере. Согласно патенту, заметки будут совместимы с несколькими приложениями для заметок, позволяя вам открывать их с вашим предпочтительным вариантом.

Мы потенциально могли бы увидеть этот тип обновления для Sticky Notes, возможно даже для Copilot. Последний имел бы смысл, так как это контекстное создание заметок использовало бы возможности ИИ для генерации заметок, а Copilot уже интегрирован во многие продукты и услуги Microsoft.

Полный документ можно прочитать здесь.