「未分類」カテゴリーアーカイブ

Discord連携

できること

  • Discordチャットの入力を受け取って字幕として出します
  • 音声認識後の文章をDiscordに転送できます

事前設定

まず、Discord連携をONにします。

その後、設定をします。初回は連携動作の設定が必要です。

まず、連携するためにはBOTとしての設定が必要です。

まず、Discordアプリケーションの登録画面を表示します。

を押して、BOTとして登録しましょう。

名前は自分がわかる名前でOKです。

登録ができたら、クライアントIDが手に入ります。

この数字を、プラグインのClientIDにいれてください。

次に、連携するためのトークンを手に入れます。

Copyボタンを押したら、プラグインのtokenにいれてください。

ここまで出来たら、連携認証をします。

をおすと、どのDiscordサーバと連動するか聞かれるので、連携したいサーバを選んで許可してください。

次に、どのチャンネルに読み書きするかを設定します。

チャンネルを右クリックしてIDをコピーします。このIDをプラグインのchannelIDにセットします。

最後に、そのチャンネルへBOTの読み書き権限を与えます。

運用方法

をおして、Discordに接続します。(設定が住んでいれば、Neoを起動するときに自動接続します)

指定したchで発話すると、コネクターに文字として入力されます。また、音声認識で発話認識した後は、BOTとして書き込まれます。

辞書プラグイン

できること

  • 認識間違いなどを辞書ルールに沿って訂正することができます

設定方法

まず、辞書プラグインを有効にします

次に辞書を設定します。辞書は2つあります。

  • 対訳辞書
    音声認識の補正後、特定の言語毎に表現を整えるもの
  • 音声認識後
    音声認識直後の文章のうち、誤変換されるもの・認識されづらいものに対して変換するもの

下記の手法でファイルをつくって、読み込ませてください。

辞書の作り方

Excelやメモ帳などで作ってください。保存形式は CSV(UTF-8)にしてください。形式が違う場合は反映されません

対訳辞書の場合は、1列目に言語を半角大文字で指定します。言語名は、ISO639-1形式で指定します。たとえば、日本語であればJAです。

2列目以降は、それぞれの言語毎にどの様な表現をするかを指定してください。

音声認識後の補正辞書は、A列が認識した文字列、B列が補正文字列になります。

ケーススタディ
「あんぱんち」と音声認識させたとき
「アンパーンチ」と出したい

この場合は、補正辞書ファイルに
「あんぱんち,アンパーンチ」と設定されていればOKです。

オプション

■翻訳注釈を取り除く
 DeepL翻訳などを使うときにでてくる「カッコ書きの訳注」を表示しないように加工します。

棒読みちゃん連携

できること

  • 棒読みちゃん経由で発話できます

設定方法

まず、チェックをつけてプラグインを有効化します。

その後、棒読みちゃんの設定に合わせて値をいれます。

通信方式としては、HTTPとTCPが選べます。ご自分の環境で安定するほうを使いましょう。(HTTPのほうが安定しているというレポートがあります)

通信方式は、棒読みちゃんの設定画面を見て設定してください。

また、音声IDは、この画面のIDをみて設定します。

音量、トーン、話速は、-1を設定すると棒読みちゃんの現状設定を継承します。

ゆかりねっとコネクターNeo取説

ゆかりねっとコネクターの軽量簡易版
「ゆかりねっとコネクターNeo」の取り扱い説明書です。

■ゆかりねっとコネクターNeoとは

最大4言語翻訳して表示するためのシステムです。使用するための構成図はこのような形になります。

ゆかりねっとコネクターは、字幕の精度を高めたり話すスピード、話し方、伝え方を調整したり、UDトークを併用することで意思疎通を丁寧に行うことを狙いに設計されています。エンタテインメントに寄せるため、「やりたいことはなるべくできるように」機能を載せています。

ゆかりねっとコネクターNeoは、コンセプトとしては対局にあるものです。できるだけ簡易的な設定で多言語翻訳をして伝えるためのものです。字幕へのカスタマイズは最低限とし、発話⇒表示までの時間なども短縮したものです。

そのため、丁寧に字幕を読んでもらうことより応答に重きをおいていることから、話速が早い場合や応答スピードを求めている場合に向いています。

とはいえ、ゆかりねっとコネクターNeoも、ゆかりねっとコネクターと同様…それ以上のカスタマイズ性や自由度を併せ持ちたいと考え、プラグインで機能拡張を行っています。 

どちらを使うかは、使用者の使い方・ニーズで選んでみてください。

■初期導入

ゆかりねっとコネクターNeoを設計通りに動かすためには下記のものが必要なので、インストールをしておいてください。

■セットアップ

1.音声認識方法の選定

まずは音声認識に何を使うか決めてください。

下記の3つの中から使いたい音声認識を選びます。
・UDトーク音声認識(スマホアプリと連動)
・Chrome音声認識(ブラウザ)
・Edge音声認識(ブラウザ) 

1-1)UDトークの場合

UDトークを使うのであれば、音声認識するためのスマートフォン端末(iOSもしくはAndroid)が必要になります。インストール方法はこちら

音声認識の種類にUDトークを使うを選びます。

招待に使う番号はプロフィールのところに載っています。

スマートフォンのUDトーク側で招待をします。

招待をしたら、ゆかりねっとコネクターNeo側で招待を確認します。

招待がうまくできていれば、接続先の候補がでてきます。

リストをダブルクリックすることで接続・切断ができます。

(また、不要な招待はDELキーで消すことができます)

-2)Chromeの場合

Chrome音声認識ではGoogle Chromeブラウザをインストールしてください。

音声認識の種類はブラウザを選び、

プログラムの位置では、Chromeがある 位置を指定します。
(オプション画面のなかにあります)

1-3)Edgeの場合

Edge音声認識では、最新のWindows10アップデートが適用できていれば、問題なく使えるはずです。

音声認識の種類はブラウザを選び、

共通設定で、ブラウザ位置にEdgeがある位置を指定します。

方法を決めたら、画面で設定を選んでください。

1-3)ゆかりねっとから受信する場合

まずは、ゆかりねっとにこのプラグインファイルをよみこませてください。(ゆかりねっとのpluginフォルダにいれるだけです)

次に、ゆかりねっとコネクターNeoの設定をプラグインに変えます。

その後、ゆかりネットを立ち上げます。ゆかりねっとのフィルタに項目が追加されるので有効にします。

うまくいっていれば表示が「接続完了」になります。その後はゆかりねっと側で音声認識をはじめてください。

  • プラグインを入れても表示されない方は、お使いのWindowsセキュリティ機能でブロックされていることがあります。今回コピーして入れたファイルのプロパティをひらいて「許可する」をチェックして下さい。

下記のファイルの許可をしてください

2.言語の設定

使用する言語は翻訳1~4まで選ぶことが出来ます。話者の言語は母国語で設定してください。

表示言語が被っていると赤になります。重複翻訳すると翻訳カウントが無駄に消費されてしまうので、赤くなっている場合は言語を変えるか、翻訳エンジンをOFFにしてください。
(表示しないとか、翻訳OFFになっている場合は赤くなっていても問題ありません)

3.表示の設定をします

見た目に関する部分はこちらを調整してください。テロップ画面の表示部分に適用されます。

  • 保持時間は、字幕が確定してから消えるまでの時間です。
    右にスライドするほど、時間を長くキープします。
    (あまり短いとちらつきが発生します)
    一番右までスライドすると、字幕が消えずに残るようになります。
     
  • 音声区切りについて:
    Chrome/Edgeは、話し続ける限り長文を認識する傾向のあるエンジンです。そのため、エンジンが確定するよりも前に、短く区切る場合にはこのスライドを左に寄せてください。

《注意》
エンジンの意図を無視して強制的に区切ります。
区切りが不自然になる事がありますが、これは仕様です。
(強制確定している以上、仕方ありません)

  • 「表示が増えてきたらスクロールして2行に抑える」
    たくさん話したときに行数がふえて意図しない文字列で埋まらないようにするための仕組みです。チェックをONにした場合は、音声区切りは長めにしたほうが良い結果になる事が多いです。
    (稀に3行になることがあります)

4.支援コードの登録

多彩な音声認識を使うためには、自分でAPI提供企業と契約するか、FANBOXに支援登録をして「みんなで費用を支え合いながら使う」の2択があります。

4-1)個人でAPI登録をする場合

各企業と個人で契約し、キーを入手してください。キーを入手したら、オプションメニューから下記の枠に入力することで連動できるようになります。

4-2)支え合う場合

PIXIV FANBOXで支援登録をすると、プロモーションコードが書いてあるページからコードを入手することができるようになります。

  • 支援コードページ:      
  • 上記ページから入手してください。支援していれば表示することができます。

このコードを入力することで、企業向けの翻訳システムを使う事ができるようになります。

  • 支援している場合は、月が替わると、翻訳残量は100%に戻ります。
  • 支援の継続状況にあわせて動作をきりかえるため、定期的(約3か月ごと)にコード確認があります。(確認タイミングは、画面に表示されています)

5.字幕を出す

テロップ画面を出すには、字幕画面を出すボタンを押します。

ブラウザで画面がでて、ここに字幕が出てくるようになります。

6.音声認識を開始する

UDトークをお使いの場合は、スマホアプリ画面下の赤いボタンをタップして音声認識を開始してください。連携がうまくできている場合は、認識した結果が表示されます。

Chrome/Edge音声認識を使っている場合は、音声認識ボタンをおします。

画面がでたら、Startを押して音声認識を開始します。

  • ゆかりねっとと同じ認識方式を採用するなら、「連続発話向きモード]をOFFにします。このモードは立て続けに話すことに向きません。
    (連続して話すと、文頭が欠けます)
     
  • デッドロックリカバリーをONにすると、音声認識通信がフリーズしたことを検出して積極的に再起動します。
    PCによっては再起動時にブツっという音が入るそうなので、気になるようならOFFにしてください。ただし、OFFにすると音声認識サーバの接続状況によっては音声認識がしばらく止まることがあります。
     
  • 画面がチカチカしている場合は、他のアプリで音声認識を起動しているなどして機能がONにできない場合が考えられます。その場合は、パソコンを再起動するか、他のアプリを終了してみてください。

7.標準機能以外の拡張を行う

ゆかりねっとコネクターはプラグインで機能を拡張できます。

  • 左のチェックを付けたプラグインが有効になります。
  • それぞれの固有機能を設定するには、設定ボタンを押します。
  • 不要なプラグインはチェックを外すことで全体動作が軽くなります

  • プラグインファイルは、インストールした先のpluginフォルダに入っています。完全にプラグインを無効化するためには、pluginフォルダから削除する必要があります。
  • プラグイン開発キット(C#)を使うと、自作機能を追加できます。
    HTTPでWebサービスを呼び出すサンプルはこのファイルです

  • プラグインは名前順で読み込み、動作します。
    何らかの理由で順番を変えたい場合は、pluginフォルダ内の
    ファイル名をかえて、順番を変更してください
プラグイン名機能
棒読みちゃんプラグイン文章を棒読みちゃんで読み上げます。
辞書プラグイン認識後や翻訳前後に文章を補正することで表示される字幕のレベルを向上させます
Discord連携Discordから文章を受けたり、Discordに転送できたりします
配信ソフト向けテキスト出力前バージョンまでNeo本体に入れていた機能を分離しました。表示しているテキストを随時ファイルに書き出します。
コメントジェネレータ連携コメントジェネレータをつかって字幕を表示できます。
ファイル出力プラグインPremire・AviUtil・RecotteStudio・おこ助などの編集ソフトやYoutubeなどへアップロードできる字幕ファイルを出力できます
入力支援原稿ベースで表示・発話できるようにします
動画読み込みキーワードを見つけたら指定された動画を再生します。
MTGカード支援Magic: The Gathering のカード情報を表示します。
OBS連携プラグインOBS-WebSocket機能と連動し、OBSのテキストソースに直接字幕データを送信します
フォト読み込み指定の言葉に反応して写真を表示します
歌詞表示支援時間に合わせて歌詞を表示します
サウンド再生プラグインキーワードをみつけたら、指定された音楽を再生します。
読み上げ連携プラグインVOICEVOX、COEIROINK、CoeFont、Voiceroid、CeVIO、AIVoiceなどのテキスト発話ソフトと連携し読み上げができます。
ルビ付与プラグイン表示画面に日本語のルビを付与します
起動支援プラグインソフト立ち上げ時に、関連するソフトを立ち上げます。
更新通知プラグインアプリの最新版をチェックし、ダウンロードをアシストします。
VaNiiプラグインVaNiiMenuやVaNiiGrassにテキストを表示します。
翻訳連携サーバ関連するツールに翻訳機能を提供します
バーチャルキャスト連携ゆかりねっとコネクター用のVCIを経由して、ワールド内に字幕を表示します
ばもきゃ連携キーワードに合わせてキャリブレーションコマンドを起動したり、文字データをUnityやツールに送ります。
Youtube字幕送信プラグインYoutubeLiveの字幕機能へ字幕データをおくるための機能を提供します
Zoom字幕送信プラグインZoomのキャプション機能へ字幕を送信します。
VRオーバーレイVR空間上に「自分だけが見える」字幕画面が出せます。
カスタムレイアウト(わんコメ仕様テンプレ)わんコメの仕様でつくられたメッセージ表示テンプレートをつかって、字幕を出すことができます。

応用1.OBSなどの配信ソフトと連携する

テロップをファイルに書き出すことができます。これにより、OBSなどの配信ソフトに直接取り込めるようになります

「配信ソフト向けテキスト出力」プラグインの画面で上記の設定をして、その後に音声認識をするとファイルができあがります。そのファイルをOBSなどのソフトに読み込み設定すると、直接配信ソフトのテキスト部分に文字を埋め込むことが出来るようになります。

(なお、ファイル経由なので若干のラグがあります)

応用2.GUIの言語変更について

ゆかりねっとコネクターNeoは、複数の言語に対応しています。基本的にはOSの言語設定に沿って起動しますが、意図的に変更する場合は起動時のオプションに付与してください。

日本語/ja
英語/en
ロシア語/ru
スペイン語/es
韓国語/ko
中国語/zh

応用3.読み上げをしたいとき

ニースが多かったので、読み上げ対応をしました。棒読みちゃんにお願いすることが出来ます。設定を変更しない項目は-1を設定します。(通信ポート・遅延以外)。音声IDは、棒読みちゃんの画面で出てくる音声番号をいれてください。

また、Voiceroidなどのテキスト読み上げソフトに直接読み上げ指示することもできます。その場合は「読み上げ連携プラグイン」を設定してください。

応用4.STREAMDECK機能

音声認識結果の表示をON/OFFすることができます

音声認識結果URL
受け取るhttp://127.0.0.1:15520/api/mute-off
受け取らないhttp://127.0.0.1:15520/api/mute-on

URLは、下記の部分に表示されているものを使います
(各自の環境によって異なる場合があります)

応用5.レイアウトについて

  • レイアウトはHTMLで書かれています。もしそのあたりの知識があれば、自分でレイアウトを作ることができます。
  • 仕様は下記の通りになっています。もし開発したい方は参考にしてください。また、質問はDiscordコミュニティで受け付けています。
  • もし完成して「配布してもらっていいよ」という方は、Discordでご連絡ください。調整がつくようなら、インストールパッケージに同梱させていただきます

応用6.ログについて

  • マイドキュメント¥YukarinetteConnector¥Logフォルダに起動時ログが残っています。
    (オプション→ログボタンでフォルダを開くことができます)
  • トラブルが起きた時は、このファイルを添えてレポートをすることで解決が短期化されることが多いです。

また、Voiceroidなどのテキスト読み上げソフトに直接読み上げ指示することもできます。その場合は「読み上げ連携プラグイン」を設定してください。

初期化方法

①%USERPROFILE%\AppData\Local\YNC_Neo を指定して開きます。

②%USERPROFILE%\ドキュメント\YukarinetteConnector にある YNC_Neo.config を移動するか消してください。

ここに出てくるフォルダを消すか、移動することで初期設定に戻ります。

プラグインの初期化をするには、%USERPROFILE%\ドキュメント\YukarinetteConnector にある Plugin~から始まる config ファイルを消すか移動してください。これで初期に戻ります。

サポートが必要な場合

ユーザーコミュニティがあります。ユーザ同士でも情報交換したり、サポートを得る事が可能です。

DiscordコミュニティはSPAM対策のため、自己紹介の確認が行われるまで、読み込み専用になります。

自己紹介を書き込み、1日程度お待ちください。

(なお、必要な時にすぐ質問できるよう、あらかじめ加入しておくと便利です)

また、不具合レポートフォームがあるので、必要に応じて投稿するとよいでしょう。

ばもきゃ関連のツールと連携させる

■概要

  • シーン切り替えを、ばもきゃ関連ツールから指示できます。

■設定

この設定をして、ONにしてください。

■通信プロトコル

通信自体はOSCを基本としています(VMCProtocolとベースは同じ)
このツールから送られるメッセージは下記のとおりです。

■データセットの移動

機能次に進みます
アドレス[v1.52~]
/Telop/Dataset/Forward
パラメータなし
機能1つ前に戻ります
アドレス[v1.52~]
/Telop/Dataset/Reverse
パラメータなし

■データセットを反映

機能OBSにデータセットを送ります
アドレス[v1.52~]
/Telop/Dataset/Show
パラメータ[0] (int) データセットNo

もしくは

[0] (string) データセット名

■シーケンスを実行

機能シーケンスを実行します
アドレス[v1.52~]
/Telop/Sequence/Run
パラメータ[0] (int) シーケンスNo

もしくは

[0] (string) シーケンス名

SEO SIMPLE PACK 設定

パネルを切り替え: SEO SIMPLE PACK 設定

  • 投稿
  • ブロック

Discordに転送する

v1.7aより、受信したチャットデータをリアルタイムにDiscordへ転送できます。コメントを自分用に取っておきたい場合や、自分のコミュニティへリアルタイムに通知するために使うなど、応用が可能です。

Discordの設定で、ウェブフックの設定をしてください。このとき、https://discord.com/api/webhooks/ から始まるURLが取得できます。

このURLをコピーしておきます。
(※このURLは ここに投稿させる人以外に教えてはいけません)

そのURLを取得したらDiscord転送の枠にURLをはりつけて、チェックボックスをONにしてください。

この後受信されたチャットは、すべてDiscordに転送されます。

VirtualCastに字幕を置く(VCIを使う場合) 

前提条件

  • ゆかりねっとコネクター v3.3.33 以上

出来ること

  • VirtualCastの空間に字幕を出すことができます。
  • VirtualCast内でお互いの字幕を見ることができるなど、
    字幕を使ってやれることが増えます。

実現方法

連携設定の仕方

  • ゆかりねっとコネクターで、書き出すフォルダの設定をしてください。(VCIスクリプトの保存先を指定します)

連携後の使い方

  • カスタムアイテムから呼び出して使ってください。
  • 腕、ボディ、頭に取り付けることもできます。
  • 連携VCI v1.0.11より、拡大/縮小に対応します。

OBSでのきれいな見せ方(応用編)

投稿を表示

OBS連携機能をつかえば、OBSのテキストソースに文章を取り込めます。そうすると、こんないいことがあります。

  • ゆかりねっとコネクターで適用できないフォントも、OBSが対応していれば適用できます。
  • グラデーションがきれいに掛けられます。
  • OBS上で直接合成するので、取り込み負荷が下がり、よりきれいに取り込めます。

上級者向けの設定

・過去の文を表示したい

送信行数を1より大きくすると、過去の行を含む形で送信するようになります。こうすることで、過去の文章が表示された状態になります。(コメントみたいに、ずっと表示した状態が作れるわけです)

OBSのテキストソースではこの設定をしてください。

表示するエリアを設定しておくことで、この枠の中に納まるように表示ができるようになります。

・文章が多いと、前しか見えないのは困る!

つぎに問題となるのは、文章がはみ出てしまうケース。たくさん認識しているのに、表示エリアからはみ出てしまうので文章が表示されないという、なんとも悲しいケースです。

これを解消するオプションがあります。

まず、解消するための方針をきめます。

  • クロップ・・・文章の前側を削る方法
  • 改行・・・・・改行コードを入れる方法

特に、OBS連携の場合は改行をうまく使うことが表示をきれいにするためのポイントになります。

クロップの場合は、文字が電光掲示板のように流れていきます。逆に、改行の場合はOBSの機能をうまくつかうことで、「アメリカの番組につく字幕のように」スクロールする字幕がつくれます。

つぎに、何文字でその処理を入れるかを決めます。このチェックが入っていないと、翻訳1および母国語では処理されないので、注意してください。

翻訳2~4でも適用したいときは、この部分で設定してください。

改行を使ってスクロールするには、OBSでの設定も必要になります。

テキストソースの設定で「チャットログモード」にしてください。これで指定行数より上はカットされる動作になります。

これにより、スクロールしていくような表現が可能になります。

・文章をきれいに見せる

ここまできたら、グラデーションなどを採用してキレイに表示を作っていきましょう!

ゆかりねっとと併用する(上級者編)

ゆかりねっとを間に挟むという、上級者向けのモードです。

これを使うと、どんないいことが?

  • 言葉の置き換え処理を、ゆかりねっとのフィルター機能に統合できます。これにより、今まで音声合成用と翻訳用に分かれていた辞書が統合できます。
  • 音声合成で発話を止めた時に字幕が出なくなるようにできます。

制約事項

  • ゆかりねっとには、転送プラグインを入れる必要があります
  • 音声認識はUDトークに限定されます

設定方法

  • ゆかりねっとの「Chromeの実行ファイルがある位置」に、ゆかりねっとコネクターを指示してください。
  • ゆかりねっとコネクターの転送プラグインをONにします。
    ※並び順が大事です。上から順に処理されます。
  • そしたら、ゆかりねっとをONにしましょう。
  • ゆかりねっとコネクターが立ち上がるので、UDトークモードにして、上級者モードをONにしてください。
  • あとは、いつも通りUDトークを接続して、つかってください。

調整ポイント

  • ゆかりねっとの部分で処理が絞られるので、ゆかりねっとコネクターの表示制御を無効化すると、遅れを最小にできます。

    ↓このチェックをいれると、制御を無効化できます

集計機能 (!voteコマンド)

チャットデータを参照して、コメント集計ができます

まず、コマンドを決めます。このチェックを外すと、最後のコメントを集計します。!vote 以外にしたい場合はコマンド名を書き換えればオリジナルの命令文を決められます。

集計は、上の「集計受付」ボタンが押されているときのみ受け付けます。また、分析画面には、入力されたものを集計し、グラフで表示します。