11月 | 2021 | まあちゃんバザール

ゆかりねっとコネクターの軽量簡易版
「ゆかりねっとコネクターNeo」の取り扱い説明書です。

for English （英語）
for Spanish （スペイン語）
for Russian　 (ロシア語）

■ゆかりねっとコネクターNeoとは

最大4言語翻訳して表示するためのシステムです。使用するための構成図はこのような形になります。

ゆかりねっとコネクターは、字幕の精度を高めたり話すスピード、話し方、伝え方を調整したり、UDトークを併用することで意思疎通を丁寧に行うことを狙いに設計されています。エンタテインメントに寄せるため、「やりたいことはなるべくできるように」機能を載せています。

ゆかりねっとコネクターNeoは、コンセプトとしては対局にあるものです。できるだけ簡易的な設定で多言語翻訳をして伝えるためのものです。字幕へのカスタマイズは最低限とし、発話⇒表示までの時間なども短縮したものです。

そのため、丁寧に字幕を読んでもらうことより応答に重きをおいていることから、話速が早い場合や応答スピードを求めている場合に向いています。

とはいえ、ゆかりねっとコネクターNeoも、ゆかりねっとコネクターと同様…それ以上のカスタマイズ性や自由度を併せ持ちたいと考え、プラグインで機能拡張を行っています。　

現在ではNEOのほうができることも増えてきているので、NEOへの開発統合を考えて進めていますが、従来どおりゆかりねっとコネクターを使うことも可能です。個人のニーズに合わせて使ってください。

■初期導入

ゆかりねっとコネクターNeoを設計通りに動かすためには下記のものが必要なので、インストールをしておいてください。

.Net Framework 4.8
VC++ 再配布パッケージ 64bit
VC++ 再配布パッケージ 32bit
ブラウザ（Google Chromeもしくは最新のMicrosft Edge）

■セットアップ

１．音声認識方法の選定

まずは音声認識に何を使うか決めてください。

下記の3つの中から使いたい音声認識を選びます。
・ＵＤトーク音声認識（スマホアプリと連動）
・Chrome音声認識（ブラウザ）
・Edge音声認識（ブラウザ）　

１－１）ＵＤトークの場合

ＵＤトークを使うのであれば、音声認識するためのスマートフォン端末(iOSもしくはAndroid）が必要になります。インストール方法はこちら。

音声認識の種類にＵＤトークを使うを選びます。

招待に使う番号はプロフィールのところに載っています。

スマートフォンのUDトーク側で招待をします。

招待をしたら、ゆかりねっとコネクターNeo側で招待を確認します。

招待がうまくできていれば、接続先の候補がでてきます。

リストをダブルクリックすることで接続・切断ができます。

（また、不要な招待はDELキーで消すことができます）

１－２）Chromeの場合

Chrome音声認識ではGoogle Chromeブラウザをインストールしてください。

音声認識の種類はブラウザを選び、

プログラムの位置では、Chromeがある位置を指定します。
（オプション画面のなかにあります）

１－３）Edgeの場合

Edge音声認識では、最新のWindows10アップデートが適用できていれば、問題なく使えるはずです。

音声認識の種類はブラウザを選び、

共通設定で、ブラウザ位置にEdgeがある位置を指定します。

方法を決めたら、画面で設定を選んでください。

１－３）ゆかりねっとから受信する場合

まずは、ゆかりねっとにプラグインを入れます。

設定を変えずにインストールした場合、このフォルダは「C:\Program Files\YNC_Neo\yukarinette_plugin」にあります。その中身を、「C:\Program Files\OKAYULU STYLE\ゆかりねっと\Plugins」にコピーしてください。

必要なファイルはゆかりねっとコネクターNeoをインストールしたフォルダに入っていますので、ゆかりねっとのプラグインフォルダにコピーしてください。

次に、ゆかりねっとコネクターNeoの設定をプラグインに変えます。

その後、ゆかりネットを立ち上げます。ゆかりねっとのフィルタに項目が追加されるので有効にします。

うまくいっていれば表示が「接続完了」になります。その後はゆかりねっと側で音声認識をはじめてください。

プラグインを入れても表示されない方は、お使いのWindowsセキュリティ機能でブロックされていることがあります。今回コピーして入れたファイルのプロパティをひらいて「許可する」をチェックして下さい。

下記のファイルの許可をしてください

２．言語の設定

使用する言語は翻訳１～４まで選ぶことが出来ます。話者の言語は母国語で設定してください。

表示言語が被っていると赤になります。重複翻訳すると翻訳カウントが無駄に消費されてしまうので、赤くなっている場合は言語を変えるか、翻訳エンジンをOFFにしてください。
（表示しないとか、翻訳OFFになっている場合は赤くなっていても問題ありません）

３．表示の設定をします

見た目に関する部分はこちらを調整してください。テロップ画面の表示部分に適用されます。

保持時間は、字幕が確定してから消えるまでの時間です。
右にスライドするほど、時間を長くキープします。
（あまり短いとちらつきが発生します）
一番右までスライドすると、字幕が消えずに残るようになります。
　
音声区切りについて：
Chrome/Edgeは、話し続ける限り長文を認識する傾向のあるエンジンです。そのため、エンジンが確定するよりも前に、短く区切る場合にはこのスライドを左に寄せてください。

《注意》
エンジンの意図を無視して強制的に区切ります。
区切りが不自然になる事がありますが、これは仕様です。
（強制確定している以上、仕方ありません）

「表示が増えてきたらスクロールして２行に抑える」
たくさん話したときに行数がふえて意図しない文字列で埋まらないようにするための仕組みです。チェックをONにした場合は、音声区切りは長めにしたほうが良い結果になる事が多いです。
（稀に3行になることがあります）

４．支援コードの登録

多彩な音声認識を使うためには、自分でAPI提供企業と契約するか、FANBOXに支援登録をして「みんなで費用を支え合いながら使う」の2択があります。

４－１）個人でAPI登録をする場合

各企業と個人で契約し、キーを入手してください。キーを入手したら、オプションメニューから下記の枠に入力することで連動できるようになります。

４－２）支え合う場合

PIXIV FANBOXで支援登録をすると、プロモーションコードが書いてあるページからコードを入手することができるようになります。

支援コードページ：　①　②　③　④　⑤　⑥
上記ページから入手してください。支援していれば表示することができます。

このコードを入力することで、企業向けの翻訳システムを使う事ができるようになります。

支援している場合は、月が替わると、翻訳残量は100％に戻ります。
支援の継続状況にあわせて動作をきりかえるため、定期的（約３か月ごと）にコード確認があります。（確認タイミングは、画面に表示されています）

５．字幕を出す

テロップ画面を出すには、字幕画面を出すボタンを押します。

ブラウザで画面がでて、ここに字幕が出てくるようになります。

６．音声認識を開始する

UDトークをお使いの場合は、スマホアプリ画面下の赤いボタンをタップして音声認識を開始してください。連携がうまくできている場合は、認識した結果が表示されます。

Chrome/Edge音声認識を使っている場合は、音声認識ボタンをおします。

画面がでたら、Startを押して音声認識を開始します。

ゆかりねっとと同じ認識方式を採用するなら、「連続発話向きモード]をOFFにします。このモードは立て続けに話すことに向きません。
（連続して話すと、文頭が欠けます）
　
デッドロックリカバリーをONにすると、音声認識通信がフリーズしたことを検出して積極的に再起動します。
PCによっては再起動時にブツっという音が入るそうなので、気になるようならOFFにしてください。ただし、OFFにすると音声認識サーバの接続状況によっては音声認識がしばらく止まることがあります。
　
画面がチカチカしている場合は、他のアプリで音声認識を起動しているなどして機能がONにできない場合が考えられます。その場合は、パソコンを再起動するか、他のアプリを終了してみてください。

７．標準機能以外の拡張を行う

ゆかりねっとコネクターはプラグインで機能を拡張できます。

左のチェックを付けたプラグインが有効になります。
それぞれの固有機能を設定するには、設定ボタンを押します。
不要なプラグインはチェックを外すことで全体動作が軽くなります
上から順番に実行します。並び順に意味があるので注意。

プラグインファイルは、インストールした先のpluginフォルダに入っています。完全にプラグインを無効化するためには、pluginフォルダから削除する必要があります。
プラグイン開発キット（C#）を使うと、自作機能を追加できます。
HTTPでWebサービスを呼び出すサンプルはこのファイルです。

プラグインは名前順で読み込み、動作します。
何らかの理由で順番を変えたい場合は、pluginフォルダ内の
ファイル名をかえて、順番を変更してください

プラグイン名	機能
棒読みちゃんプラグイン	文章を棒読みちゃんで読み上げます。
辞書プラグイン	認識後や翻訳前後に文章を補正することで表示される字幕のレベルを向上させます
Discord連携(bot)	Discordから文章を受けたり、Discordに転送できたりします
Discord連携(Webhook)	Discordに転送できます
クリップボードツール連携	クリップボードに字幕を転送します
文字変換	文字種を変換します（大文字小文字、関西弁など）
直接入力	キーボード入力ができます
表示拡張	文字を絵に置き換える拡張です
正規表現	正規表現を使って文章を置き換えます
配信ソフト向けテキスト出力	前バージョンまでNeo本体に入れていた機能を分離しました。表示しているテキストを随時ファイルに書き出します。
コメントジェネレータ連携	コメントジェネレータをつかって字幕を表示できます。
ファイル出力プラグイン	Premire・AviUtil・RecotteStudio・おこ助などの編集ソフトやYoutubeなどへアップロードできる字幕ファイルを出力できます
入力支援	原稿ベースで表示・発話できるようにします
動画読み込み	キーワードを見つけたら指定された動画を再生します。
MTGカード支援	Magic: The Gathering のカード情報を表示します。
OBS連携プラグイン	OBS-WebSocket機能と連動し、OBSのテキストソースに直接字幕データを送信します
フォト読み込み	指定の言葉に反応して写真を表示します
歌詞表示支援	時間に合わせて歌詞を表示します
サウンド再生プラグイン	キーワードをみつけたら、指定された音楽を再生します。
読み上げ連携プラグイン	VOICEVOX、COEIROINK、CoeFont、Voiceroid、CeVIO、AIVoiceなどのテキスト発話ソフトと連携し読み上げができます。
ルビ付与プラグイン	表示画面に日本語のルビを付与します
起動支援プラグイン	ソフト立ち上げ時に、関連するソフトを立ち上げます。
更新通知プラグイン	アプリの最新版をチェックし、ダウンロードをアシストします。
VaNiiプラグイン	VaNiiMenuやVaNiiGrassにテキストを表示します。
翻訳/発話連携サーバ	関連するツールに翻訳機能と発話機能を提供します
バーチャルキャスト連携	ゆかりねっとコネクター用のVCIを経由して、ワールド内に字幕を表示します
ばもきゃ連携	キーワードに合わせてキャリブレーションコマンドを起動したり、文字データをUnityやツールに送ります。
VRChat向けOSC	キーワードや字幕に応じてOSCが送れます
YouTube字幕送信プラグイン	YoutubeLiveの字幕機能へ字幕データをおくるための機能を提供します
Zoom字幕送信プラグイン	Zoomのキャプション機能へ字幕を送信します。
VRオーバーレイ	VR空間上に「自分だけが見える」字幕画面が出せます。
カスタムレイアウト（わんコメ仕様テンプレ）	わんコメの仕様でつくられたメッセージ表示テンプレートをつかって、字幕を出すことができます。

応用１．OBSなどの配信ソフトと連携する

テロップをファイルに書き出すことができます。これにより、OBSなどの配信ソフトに直接取り込めるようになります

「配信ソフト向けテキスト出力」プラグインの画面で上記の設定をして、その後に音声認識をするとファイルができあがります。そのファイルをOBSなどのソフトに読み込み設定すると、直接配信ソフトのテキスト部分に文字を埋め込むことが出来るようになります。

（なお、ファイル経由なので若干のラグがあります）

応用２.GUIの言語変更について

ゆかりねっとコネクターNeoは、複数の言語に対応しています。基本的にはOSの言語設定に沿って起動しますが、意図的に変更する場合は起動時のオプションに付与してください。

日本語	/ja
英語	/en
ロシア語	/ru
スペイン語	/es
韓国語	/ko
中国語	/zh

応用3.読み上げをしたいとき

ニースが多かったので、読み上げ対応をしました。棒読みちゃんにお願いすることが出来ます。設定を変更しない項目は-1を設定します。（通信ポート・遅延以外）。音声IDは、棒読みちゃんの画面で出てくる音声番号をいれてください。

また、Voiceroidなどのテキスト読み上げソフトに直接読み上げ指示することもできます。その場合は「読み上げ連携プラグイン」を設定してください。

応用4.STREAMDECK機能

音声認識結果の表示をON/OFFすることができます

音声認識結果	URL
受け取る	http://127.0.0.1:15520/api/mute-off
受け取らない	http://127.0.0.1:15520/api/mute-on

URLは、下記の部分に表示されているものを使います
（各自の環境によって異なる場合があります）

応用5.レイアウトについて

レイアウトはHTMLで書かれています。もしそのあたりの知識があれば、自分でレイアウトを作ることができます。
仕様は下記の通りになっています。もし開発したい方は参考にしてください。また、質問はDiscordコミュニティで受け付けています。
もし完成して「配布してもらっていいよ」という方は、Discordでご連絡ください。調整がつくようなら、インストールパッケージに同梱させていただきます

template ダウンロード

応用６.ログについて

マイドキュメント￥YukarinetteConnector￥Logフォルダに起動時ログが残っています。
（オプション→ログボタンでフォルダを開くことができます）
トラブルが起きた時は、このファイルを添えてレポートをすることで解決が短期化されることが多いです。

初期化方法

①%USERPROFILE%\AppData\Local\YNC_Neo　を指定して開きます。

②%USERPROFILE%\ドキュメント\YukarinetteConnector　にある YNC_Neo.config を移動するか消してください。

ここに出てくるフォルダを消すか、移動することで初期設定に戻ります。

プラグインの初期化をするには、%USERPROFILE%\ドキュメント\YukarinetteConnector　にある Plugin～から始まる config ファイルを消すか移動してください。これで初期に戻ります。

サポートが必要な場合

ユーザーコミュニティがあります。ユーザ同士でも情報交換したり、サポートを得る事が可能です。

DiscordコミュニティはSPAM対策のため、自己紹介の確認が行われるまで、読み込み専用になります。

自己紹介を書き込み、1日程度お待ちください。

（なお、必要な時にすぐ質問できるよう、あらかじめ加入しておくと便利です）

まあちゃんバザール

月別アーカイブ: 2021年11月

ゆかりねっとコネクターNeo取説