ゆかりねっとコネクターの軽量簡易版
「ゆかりねっとコネクターNeo」の取り扱い説明書です。
■ゆかりねっとコネクターNeoとは
最大4言語翻訳して表示するためのシステムです。使用するための構成図はこのような形になります。
ゆかりねっとコネクターは、字幕の精度を高めたり話すスピード、話し方、伝え方を調整したり、UDトークを併用することで意思疎通を丁寧に行うことを狙いに設計されています。エンタテインメントに寄せるため、「やりたいことはなるべくできるように」機能を載せています。
ゆかりねっとコネクターNeoは、コンセプトとしては対局にあるものです。できるだけ簡易的な設定で多言語翻訳をして伝えるためのものです。字幕へのカスタマイズは最低限とし、発話⇒表示までの時間なども短縮したものです。
そのため、丁寧に字幕を読んでもらうことより応答に重きをおいていることから、話速が早い場合や応答スピードを求めている場合に向いています。
とはいえ、ゆかりねっとコネクターNeoも、ゆかりねっとコネクターと同様…それ以上のカスタマイズ性や自由度を併せ持ちたいと考え、プラグインで機能拡張を行っています。
どちらを使うかは、使用者の使い方・ニーズで選んでみてください。
■初期導入
ゆかりねっとコネクターNeoを設計通りに動かすためには下記のものが必要なので、インストールをしておいてください。
■セットアップ
１．音声認識方法の選定
まずは音声認識に何を使うか決めてください。
下記の3つの中から使いたい音声認識を選びます。
・ＵＤトーク音声認識（スマホアプリと連動）
・Chrome音声認識（ブラウザ）
・Edge音声認識（ブラウザ）
１－１）ＵＤトークの場合
ＵＤトークを使うのであれば、音声認識するためのスマートフォン端末(iOSもしくはAndroid）が必要になります。インストール方法はこちら。
音声認識の種類にＵＤトークを使うを選びます。
招待に使う番号はプロフィールのところに載っています。
スマートフォンのUDトーク側で招待をします。
招待をしたら、ゆかりねっとコネクターNeo側で招待を確認します。
招待がうまくできていれば、接続先の候補がでてきます。
リストをダブルクリックすることで接続・切断ができます。
（また、不要な招待はDELキーで消すことができます）
１－２）Chromeの場合
Chrome音声認識ではGoogle Chromeブラウザをインストールしてください。
音声認識の種類はブラウザを選び、
プログラムの位置では、Chromeがある 位置を指定します。
（オプション画面のなかにあります）
１－３）Edgeの場合
Edge音声認識では、最新のWindows10アップデートが適用できていれば、問題なく使えるはずです。
音声認識の種類はブラウザを選び、
共通設定で、ブラウザ位置にEdgeがある位置を指定します。
方法を決めたら、画面で設定を選んでください。
１－３）ゆかりねっとから受信する場合
まずは、ゆかりねっとにこのプラグインファイルをよみこませてください。（ゆかりねっとのpluginフォルダにいれるだけです）
次に、ゆかりねっとコネクターNeoの設定をプラグインに変えます。
その後、ゆかりネットを立ち上げます。ゆかりねっとのフィルタに項目が追加されるので有効にします。
うまくいっていれば表示が「接続完了」になります。その後はゆかりねっと側で音声認識をはじめてください。
- プラグインを入れても表示されない方は、お使いのWindowsセキュリティ機能でブロックされていることがあります。今回コピーして入れたファイルのプロパティをひらいて「許可する」をチェックして下さい。
下記のファイルの許可をしてください
２．言語の設定
使用する言語は翻訳１～４まで選ぶことが出来ます。話者の言語は母国語で設定してください。
表示言語が被っていると赤になります。重複翻訳すると翻訳カウントが無駄に消費されてしまうので、赤くなっている場合は言語を変えるか、翻訳エンジンをOFFにしてください。
（表示しないとか、翻訳OFFになっている場合は赤くなっていても問題ありません）
３．表示の設定をします
見た目に関する部分はこちらを調整してください。テロップ画面の表示部分に適用されます。
- 保持時間は、字幕が確定してから消えるまでの時間です。
右にスライドするほど、時間を長くキープします。
（あまり短いとちらつきが発生します）
一番右までスライドすると、字幕が消えずに残るようになります。
- 音声区切りについて：
Chrome/Edgeは、話し続ける限り長文を認識する傾向のあるエンジンです。そのため、エンジンが確定するよりも前に、短く区切る場合にはこのスライドを左に寄せてください。
《注意》
エンジンの意図を無視して強制的に区切ります。
区切りが不自然になる事がありますが、これは仕様です。
（強制確定している以上、仕方ありません）
- 「表示が増えてきたらスクロールして２行に抑える」
たくさん話したときに行数がふえて意図しない文字列で埋まらないようにするための仕組みです。チェックをONにした場合は、音声区切りは長めにしたほうが良い結果になる事が多いです。
（稀に3行になることがあります）
４．支援コードの登録
多彩な音声認識を使うためには、自分でAPI提供企業と契約するか、FANBOXに支援登録をして「みんなで費用を支え合いながら使う」の2択があります。
４－１）個人でAPI登録をする場合
各企業と個人で契約し、キーを入手してください。キーを入手したら、オプションメニューから下記の枠に入力することで連動できるようになります。
４－２）支え合う場合
PIXIV FANBOXで支援登録をすると、プロモーションコードが書いてあるページからコードを入手することができるようになります。
- 支援コードページ： ① ② ③ ④ ⑤ ⑥
- 上記ページから入手してください。支援していれば表示することができます。
このコードを入力することで、企業向けの翻訳システムを使う事ができるようになります。
- 支援している場合は、月が替わると、翻訳残量は100％に戻ります。
- 支援の継続状況にあわせて動作をきりかえるため、定期的（約３か月ごと）にコード確認があります。（確認タイミングは、画面に表示されています）
５．字幕を出す
テロップ画面を出すには、字幕画面を出すボタンを押します。
ブラウザで画面がでて、ここに字幕が出てくるようになります。
６．音声認識を開始する
UDトークをお使いの場合は、スマホアプリ画面下の赤いボタンをタップして音声認識を開始してください。連携がうまくできている場合は、認識した結果が表示されます。
Chrome/Edge音声認識を使っている場合は、音声認識ボタンをおします。
画面がでたら、Startを押して音声認識を開始します。
- ゆかりねっとと同じ認識方式を採用するなら、「連続発話向きモード]をOFFにします。このモードは立て続けに話すことに向きません。
（連続して話すと、文頭が欠けます）
- デッドロックリカバリーをONにすると、音声認識通信がフリーズしたことを検出して積極的に再起動します。
PCによっては再起動時にブツっという音が入るそうなので、気になるようならOFFにしてください。ただし、OFFにすると音声認識サーバの接続状況によっては音声認識がしばらく止まることがあります。
- 画面がチカチカしている場合は、他のアプリで音声認識を起動しているなどして機能がONにできない場合が考えられます。その場合は、パソコンを再起動するか、他のアプリを終了してみてください。
７．標準機能以外の拡張を行う
ゆかりねっとコネクターはプラグインで機能を拡張できます。
- 左のチェックを付けたプラグインが有効になります。
- それぞれの固有機能を設定するには、設定ボタンを押します。
- 不要なプラグインはチェックを外すことで全体動作が軽くなります
- プラグインファイルは、インストールした先のpluginフォルダに入っています。完全にプラグインを無効化するためには、pluginフォルダから削除する必要があります。
- プラグイン開発キット（C#）を使うと、自作機能を追加できます。
HTTPでWebサービスを呼び出すサンプルはこのファイルです。
- プラグインは名前順で読み込み、動作します。
何らかの理由で順番を変えたい場合は、pluginフォルダ内の
ファイル名をかえて、順番を変更してください
応用１．OBSなどの配信ソフトと連携する
テロップをファイルに書き出すことができます。これにより、OBSなどの配信ソフトに直接取り込めるようになります
「配信ソフト向けテキスト出力」プラグインの画面で上記の設定をして、その後に音声認識をするとファイルができあがります。そのファイルをOBSなどのソフトに読み込み設定すると、直接配信ソフトのテキスト部分に文字を埋め込むことが出来るようになります。
（なお、ファイル経由なので若干のラグがあります）
応用２.GUIの言語変更について
ゆかりねっとコネクターNeoは、複数の言語に対応しています。基本的にはOSの言語設定に沿って起動しますが、意図的に変更する場合は起動時のオプションに付与してください。
| 日本語 | /ja |
| 英語 | /en |
| ロシア語 | /ru |
| スペイン語 | /es |
| 韓国語 | /ko |
| 中国語 | /zh |
応用3.読み上げをしたいとき
ニースが多かったので、読み上げ対応をしました。棒読みちゃんにお願いすることが出来ます。設定を変更しない項目は-1を設定します。（通信ポート・遅延以外）。音声IDは、棒読みちゃんの画面で出てくる音声番号をいれてください。
また、Voiceroidなどのテキスト読み上げソフトに直接読み上げ指示することもできます。その場合は「読み上げ連携プラグイン」を設定してください。
応用4.STREAMDECK機能
音声認識結果の表示をON/OFFすることができます
| 音声認識結果 | URL |
|---|
| 受け取る | http://127.0.0.1:15520/api/mute-off |
| 受け取らない | http://127.0.0.1:15520/api/mute-on |
URLは、下記の部分に表示されているものを使います
（各自の環境によって異なる場合があります）
応用5.レイアウトについて
- レイアウトはHTMLで書かれています。もしそのあたりの知識があれば、自分でレイアウトを作ることができます。
- 仕様は下記の通りになっています。もし開発したい方は参考にしてください。また、質問はDiscordコミュニティで受け付けています。
- もし完成して「配布してもらっていいよ」という方は、Discordでご連絡ください。調整がつくようなら、インストールパッケージに同梱させていただきます
応用６.ログについて
- マイドキュメント￥YukarinetteConnector￥Logフォルダに起動時ログが残っています。
（オプション→ログボタンでフォルダを開くことができます） - トラブルが起きた時は、このファイルを添えてレポートをすることで解決が短期化されることが多いです。
また、Voiceroidなどのテキスト読み上げソフトに直接読み上げ指示することもできます。その場合は「読み上げ連携プラグイン」を設定してください。
初期化方法
①%USERPROFILE%\AppData\Local\YNC_Neo を指定して開きます。
②%USERPROFILE%\ドキュメント\YukarinetteConnector にある YNC_Neo.config を移動するか消してください。
ここに出てくるフォルダを消すか、移動することで初期設定に戻ります。
プラグインの初期化をするには、%USERPROFILE%\ドキュメント\YukarinetteConnector にある Plugin～から始まる config ファイルを消すか移動してください。これで初期に戻ります。
サポートが必要な場合
ユーザーコミュニティがあります。ユーザ同士でも情報交換したり、サポートを得る事が可能です。
DiscordコミュニティはSPAM対策のため、自己紹介の確認が行われるまで、読み込み専用になります。
自己紹介を書き込み、1日程度お待ちください。
（なお、必要な時にすぐ質問できるよう、あらかじめ加入しておくと便利です）
また、不具合レポートフォームがあるので、必要に応じて投稿するとよいでしょう。
