【無料】リアルタイム音声認識 文字起こし・翻訳・AIノートアプリ（MacOS［Intel CPU］、オフライン対応、Whisper/Vosk、ChatGPT）

リアルタイムな音声認識で文字起こしから翻訳までを、

オフラインまたはオンラインの双方で行えるノートアプリです。

現在、19ヶ国語の文字起こし及び英訳/日本語訳に対応しております。

リアルタイム認識には、Alpha Cephei社のVoskという音声認識ツールを採用し、後から追いかける形で、時間はかかるものの高精度なOpenAI社のWhisperモデルでコンバートをかけています。

（汎用の言語パックの中・高・高（速度優先）という認識精度が、WhisperのMedium・Large v3・Large v3 Turboに対応しています。また日本語・英語の言語パックは、それぞれ、Kotoba-Whisper-v2.0、ReazonSpeech v2.1、distil-whisper/distil-large-v3に対応しています。）

翻訳（日本語）に関しては、FuguMTモデル及びaixsatoshi/Honyaku-13bモデルを利用しています。

Whisperモデルの利用方法として、オンライン・オフラインの双方を提供しております。

セキュリティ面を気にされる方は、設定内でAPIキーを入力しなければ、オフラインでの認識しか選べませんので、安心ください。

なお、Whisper以外にもAmiVoiceにも対応しており、同じくAPIキーを入力することで利用可能です。

このアプリは、マイク及びデスクトップ音声の双方に対応しています。両方を同時に使用する場合は、イヤホンの着用を推奨します。これはスピーカーからの反響音が認識を妨げる可能性があるためです。

マイク利用時には『マイク』権限が必要です。一方、デスクトップ音声の録音及びスクリーンショットには『画面収録』権限が更に必要になります。（初回の利用時に、承認依頼ダイアログが表示されます。）

M1, M2, M3 Macを利用の方は、下記からダウンロードしてください。

https://solaoi.booth.pm/items/4675430

このアプリはオープンソースで公開しています。

https://github.com/solaoi/lycoris

継続的なご支援もお待ちしております。

https://solaoi.fanbox.cc/

使用方法

1. ダウンロードしたファイルを解凍してから、クリックするとインストーラが起動するので、ドラッグ・アンド・ドロップでインストールしてください。

2. インストール後、上部メニュー右の歯車（設定）をクリックします。

3. 設定内で、認識したい言語（話し手の言語）の言語パックをダウンロードします。

4. オフラインで追っかけ認識/翻訳する場合は、同じく設定内で、認識したい精度レベルの言語パックをダウンロードします。

5. オンラインで追っかけ認識/翻訳する場合は、同じく設定内で、OpenAI社のAPIキーを入力します。

6. 左上部の検索窓横のノート追加ボタンから、ノートを追加します。

7. 上部メニューの『話し手の言語』、『追っかけ設定』、『利用するマイク』を設定すると、ノート内で録音開始ボタンが押せるようになります。

アップデート方法

下記削除手順に従って、一旦削除後に、

再度使用方法記載の方法で、最新版をインストールしてください。

1. アプリケーション自体のアンインストール

2. 保存データの削除

下記コマンドをターミナルに貼り付けるか、またはAppCleanerなどの削除用アプリを使って削除してください。

```削除用コマンド

rm -rf ~/Library/Application\ Support/blog.aota.Lycoris

```

注意事項

1. 各種言語パックは、高精度なものほど音声認識時に消費メモリが大きくなります。

お使いの環境によっては、動作しない場合がありますのでご了承ください。

2. このアプリを利用して発生した、いかなる損害も保障いたしません。

3. このアプリはベータ版であるため、予期せぬ挙動が発生する場合がございます。

動作環境

推奨OS: macOS 13 Ventura以降

動作確認済OS: Ventura 13.6.6

動作確認済CPU： Intel

動作確認済メモリ： 16GB

※ Sequoiaにて、デスクトップ録音時にクラッシュする不具合を確認しています。後日対応予定です。

アップデート履歴

[2024-11-04: v0.9.23]

・ReazonSpeech v2.1モデルの追加

・Whisperの認識精度向上（initial_promptを更新）

・1秒未満の音声の追っかけ処理をスキップ

[2024-09-18: v0.9.22]

・Whisperの認識精度向上（initial_promptを追加）

・Whisperの認識速度の安定性の向上（FlashAttentionの追加）

・各種モデルのダウンロードの安定性、速度を向上（モデルのホスト先を変更）

・Kotoba-Whipserモデルをv2.0へ更新

・Whipser Smallモデルの削除

・Whipser Large V3 Turboモデルの追加

・fugumt-ja-enモデルの追加

・kotoba-whisper-bilintual-v1.0モデルの追加

・スマート読み上げ機能の追加（Style-Bert-VITS2 JP-Extraに対応）

・アクションに、発話サジェスト機能の追加

[2024-09-17: v0.9.21]

・アクション機能（チャット）を追加

・Markdown/Mermaid記法対応

・OpenAIのAPI利用時に、gpt-4o-2024-05-13を指定可能

[2024-08-26: v0.9.19]

・AIとの会話モデルに、gpt-4o-miniを追加

・翻訳パック（日本語：精度優先）を追加

・ノートのダウンロード機能を追加

・Amivoiceのログ保存設定を追加

・各種デザインを調整

[2024-05-26: v0.9.17]

・翻訳パック（日本語：速度優先）を追加

・モデルダウンロード後の解凍中ステータスの明示

[2024-05-23: v0.9.16]

・AIとの会話モデルに、gpt-4oを追加

・AmiVoiceに対応

[2024-05-09: v0.9.13]

・再生ボタンが表示されない問題を修正

[2024-05-07: v0.9.12]

・スクリーンショット機能の追加

・ノート削除時の事前確認モーダルの追加

・言語パック（日本語：速度優先）のモデルをKotoba-Whisper-v1.1に変更

・Metalサポートが有効になっていなかったので修正

・ノート内のメモ表示位置ズレの修正

[2024-04-14: v0.9.10]

・Metalサポート（追っかけ認識の高速化）

・AIとの会話モデルに、gpt-4-turboを追加

・ヘッダにアプリバージョンを表示

・メモが存在するノートを削除する際のエラーを修正

[2024-04-08: v0.9.9]

・japanese-asr/distil-whisper-large-v3-ja-reazonspeech-largeに対応（言語パック（日本語：速度優先）が該当）

・言語パック（英語：速度優先）をdistil-whisper/distil-large-v3にアップデート

・オンライン機能が機能しなくなっていた不具合を修正

・録音開始時の待ち時間を『録音準備中』として明示

[2024-04-05: v0.9.8]

・OpenAIのAPI利用時に、gpt-4-turbo-previewを指定可能

・デスクトップ音声の録音に対応

[2023-11-27: v0.9.6]

・distil-whisper/distil-large-v2に対応（言語パック（英語：高）が該当）

・OpenAI社のAPI利用時に、gpt-3.5-turbo-1106及びgpt-4-1106-previewを指定可能

[2023-11-27: v0.9.5]

・Whisper largeモデルをv2からv3にアップデート

[2023-07-21: v0.9.3]

・OpenAI社のChatAPIのFunction Callingに対応

[2023-07-19: v0.9.2]

・発言冒頭の無音部分を除去

[2023-06-05: v0.9.1]

・ターミナルとChatAPIの連携機能及び発話機能を追加

[2023-05-29: v0.9.0]

・OpenAI社のChatAPIに対応

[2023-04-05: v0.8.0]

・OpenAI社のAPIを叩けるよう機能追加

・ノートタイトルの編集が一文字単位でしか行えない不具合を修正

[2023-04-03: v0.7.0]

・多言語対応（19ヶ国語）

・翻訳（英）対応

各商品について

いずれも同じアプリがダウンロードされます。

全体の課金額が大きい商品に紐づく機能から、優先して開発いたします。

（優先することを保障するものではありません。あくまでお気持ちとなります。）

開発支援A：DeepL対応

DeepL社のAPIキーを登録して、翻訳できる言語の種類を増やしていきます。

実現すると、リアルタイムで英語->日本語で文字起こし（翻訳）が可能です。

開発支援B：Anthoropic対応

Anthoropic社のAPIキーを登録して、Claudeを利用してOpenAIのAPIで実現している各種機能を代替します。

開発支援C：話者識別対応

書き起こした一文に対して、話者を設定することで、後続の会話で同じ話者かどうか推定します。