リアルタイムノイズ除去
ライブ通話の音声から環境ノイズを除去します。カフェ、街中、列車、その他の混雑した場所に伴う音も対象です。
ライブ通話向けリアルタイム音声強調
Clarityは、ライブ通話や音声エージェントのパイプライン向けにKugelAudioが提供するリアルタイム音声強調モデルです。背景ノイズの除去と主要話者の抽出を組み合わせ、人間でも自動システムでも、音声を処理する側が利用しやすい、よりクリアな音声信号を生成します。
この製品は、カフェ、街中、列車、コールセンターのフロアなど、騒がしい環境や複数人が共有する環境からの通話を想定しています。音声ボットでは、周囲の話し声やノイズではなく発信者に各コンポーネントが集中できるよう、クリーンアップされた信号が音声認識、発話区間検出、言語モデルに渡されます。
機能
主要話者抽出
短い参照録音を使用して選択した人物を追跡し、他の話者の声を除去します。参照録音がない場合は、最も大きな声の話者を保持します。
ストリーミング処理
録音の完了を待つのではなく、音声を240ミリ秒のチャンクで継続的に処理し、ライブの会話ワークフローをサポートします。
音声エージェント向け音声クリーンアップ
音声ボットで使用する音声認識、発話区間検出、言語モデルに、よりクリアな単一話者の音声信号を提供します。
文書化されたレイテンシープロファイル
製品ページでは、240ミリ秒の各チャンクあたりの処理時間を約50ミリ秒と報告しています。パイプラインがすでに240ミリ秒のチャンクを使用している場合、記載されている追加レイテンシーは約50ミリ秒です。
エージェント側の音声強調
ページでは、混雑したコールセンターのフロアで背景ノイズ、エコー、近くの同僚の声を除去しながら、エージェントの声を強調すると説明しています。
ユースケース
騒がしい場所での音声エージェント
音声認識と発話区間検出の前に発信者の音声をクリーンアップし、近くの会話が文字起こしに入り込んだり、ボットの応答サイクルを中断したりする可能性を抑えます。
モバイル環境や公共の場での通話
カフェ、街中、列車、その他のノイズや話し声が入り混じる環境から電話をかける際に、自動エージェントへ届く音声信号を改善します。
コールセンターのエージェント音声
混雑したフロアで背景ノイズ、エコー、近くの同僚の声を低減し、エージェントの話し声を相手の発信者が聞き取りやすくします。
音声評価と展開テスト
チーム独自の発信者録音をダッシュボードで処理し、より広範な展開の前に、Clarityが会話の音響条件にどのように対応するかを評価します。
Pros and Cons
Pros
- ノイズ除去と主要話者抽出を、1回のリアルタイム処理ステップに統合しています。
- 完成した録音ではなく、継続的なライブ音声向けに設計されています。
- 音声エージェントのワークフローで、音声認識や発話区間検出に渡す入力をよりクリアにできます。
- 製品ページでは、対象話者の音質とノイズ除去に関するベンチマーク結果を報告しており、表示された比較ではClarityが最良の結果として掲載されています。
Cons
- 話者を選択するための参照録音ワークフローが説明されており、参照録音がない場合は最も大きな声の話者を保持する仕様です。
- Clarityの文書化された処理では、対応するパイプラインで240ミリ秒の各チャンクあたり約50ミリ秒が追加されます。より小さい入力フレームでは、入力から最大290ミリ秒後に出力される場合があります。
- 提供されているソースでは、対応API、音声形式、連携、導入要件、Clarity固有の料金は明記されていません。
FAQ
Clarityはライブ音声ストリームに対応していますか？
Clarityは、完成した録音を待つのではなく、音声が到着するたびに継続的に処理するため、ライブ会話を想定しています。
Clarityによってどの程度のレイテンシーが追加されますか？
Clarityは音声を240ミリ秒のチャンクで処理し、各チャンクに約50ミリ秒を要します。発話区間検出がすでに240ミリ秒のチャンクを使用している場合、記載されている追加レイテンシーは約50ミリ秒です。より小さい入力フレームでは、チャンク内の位置に応じて、入力から最大290ミリ秒後に音声が出力される場合があります。
Clarityは保持する話者をどのように選択しますか？
主要話者抽出では、追跡する人物の短い参照録音を使用し、他の話者の声を除去します。参照録音がない場合、Clarityは最も大きな声の話者を保持します。
Clarityは音声ボットによる発信者の理解に役立ちますか？
はい。Clarityは、音声ボットの背後で動作する音声認識、発話区間検出、言語モデルに、よりクリアな単一話者の発信者音声を提供します。これにより、周囲の話者の声が文字起こしに現れたり、発話区間検出をトリガーしたりする可能性を抑えます。
自分の音声でClarityをテストできますか？
ソースページによると、ユーザーは登録後、10月30日までダッシュボードで自分の録音を無料で処理できます。セルフホスト型の導入や大規模な展開についてはKugelAudioへの問い合わせが必要です。ページには、それ以上のセットアップや料金の詳細は記載されていません。
Quick Facts
- カテゴリー
- リアルタイム音声強調
- 主な利用者
- 音声エージェントのチームとコールセンター
- 主な入力
- ライブ通話音声。話者選択には短い話者参照録音を使用可能
- 処理
- 240ミリ秒のチャンクによる連続ストリーミング
- 報告された処理時間
- 240ミリ秒の各チャンクあたり約50ミリ秒
- トライアルのワークフロー
- ソースページによると、自分の録音を使ったダッシュボードでのテストを10月30日まで無料で利用可能
Clarityの代替品
Audo Studio
Audo Studioは、ブラウザ上で使える音声クリーニングツールです。背景ノイズを自動除去し、録音音声の音量も調整。クリエイターや開発者向けに、APIで一括処理やストリーミングのノイズ除去にも対応します。
CAMB.AI Streams
CAMB.AI Streams は、YouTube、Twitch、X などの配信でライブ音声を多言語にリアルタイム吹き替え。SRT、RTMP、HLS対応で既存のライブワークフローに接続し、後編集なしで多言語配信を実現します。
Video Effects SDK
Video Effects SDKは、背景ぼかし、背景置換・削除、ノイズ除去、画面の自動フレーミング、美肌補正、カラー調整などのリアルタイムWebカメラエフェクトを追加します。Web、デスクトップ、モバイル向けのライブ動画体験を提供するチーム向けです。
LALAL.AI
LALAL.AIは、ステム分離、音声ノイズ除去、音声変換に対応したAI音声処理プラットフォーム。ブラウザで音声・動画をアップロード、プレビュー、ダウンロードでき、プレミアムやエンタープライズにも対応。
optimo
optimoは、ImageMagickとFFmpegベースで画像・動画を最適化/変換する無料のオープンソースCLI。Web素材の準備や一括圧縮、シェルやNode.jsスクリプトでの自動化に最適です。
Kits AI
Kits AIは、ボイスクローン、ボーカル生成、ボーカル処理に対応したAI音楽制作プラットフォーム。Freeプランと有料プラン、Windowsデスクトップアプリを提供し、スタジオ向けの制作ワークフローに最適です。