shamrock1976 のすべての投稿

【お知らせ】iOS版でアドオンが反映・復元できない方へ

(追記)開発者の個人アカウントで実際に購入をしてみました。iOS13.5でも購入でき、アンインストール後に復元をしても問題なく復元がされます。

ーー
先週くらいからいくつか「月額購入のアドオンが反映されない」と言う報告をうけています。

iOSのバージョンアップが上がったからかもしれませんが、原因は不明です。

で、こちらではAppleの課金情報は匿名なので何もできず、かつAppleが提供するテスト環境での課金や復元処理は正常に完了しております。

ですので、Appleへお問い合わせの際は「開発会社からはTestFlightを経由した課金と復元のテストは正常に完了をしていると言う報告をもらいました」と添えて問い合わせしていただけるとよいと思います。

ただこちらでもしばらく課金の部分は手を付けていませんのでiOSのバージョンアップで仕様が変わったところがないかを調べてみます(ただテストが正常にできているので不具合がある可能性は低いと思われます)。

こういうトラブルがあるのでコンパクトプランや時間制限解除の提供はもうやめていく方向で検討を始めたいと思います。

よろしくお願いします。

【重要】ZOOMとの連携の正しい設定方法

ZOOMとの連携について、検索すると勘違いをされてる方が見受けられますので、とりあえず図解してみました。

複数人で使うときもAPIトークンを設定するのは1台だけです。絶対に「それぞれが設定をしないでください」です。喋るときはそれぞれが自分のUDトークを使って話します。このとき喋った端末の話者名もホストのUDトークに送られそこからZOOMに送られ表示されます。

1台だけで使うときはホストがZOOMからの音声を音声認識させます。話者名はその端末のものになるのでオフにして運用するのもいいでしょう。スピーカー越しのAさん、Bさん、Cさんの声と、ホストさんの声は肉声で認識することになります(ホストさんと他者の認識率に差はでるかもしれません)。有線でつないで認識させる方法もあります。

マニュアルも合わせて御覧ください。

https://teachme.jp/27228/manuals/8656888

なんどもいいますが、ZOOMへ字幕を出す機能は「付加的な機能」です。通常のUDトークの運用に加えてやるものなので、これによって使い方が変わることはありません。

正しく設定してご利用ください。

【重要】ZOOMへの字幕送信機能の調整

ZOOMへの字幕送信機能が大きな反響をいただいてとてもうれしく思います。

ーーー
現在Android版のver.86はリリース済み、iOS版 ver.121は現在審査中です。写真はこれからリリースするver.121のものですが、運用のコツを少しご説明します。
ーーー

使ってらっしゃる方たちのの要望や自分でも使ってみて変えたほうがいいところなど仕様を調整してみて最終的に決まりました。

■字幕のシーケンス番号をリセット

ZOOMの字幕データはミーティングの開始から0をスタートとして一つ一つの字幕に番号が振られているようです。これを0から開始しないと字幕の表示に遅れが生じたりするようです。ですので、ミーティングをスタートしたらリセットボタンを押して字幕番号を0にしてください。時々字幕がでない、表示が遅いと言う報告があるのですが、これが原因ではないかと思います。

※ただ、いまver.120ではリセットを押すと上のAPIトークンまで消えてします。これはバグでver.121では修正されていますので少々ご不便おかけします。

■APIトークンを設定する端末は1台だけ

上記の字幕のシーケンス番号の理由からも複数の端末から字幕を送ると表示がされません。仕様としてもこのAPIトークンは字幕を送信することができる情報なのでホストの方が設定をし信頼できる相手以外は外に出さないように管理をお願いします。悪意をもって行えば会議を荒らすことも可能な情報をなります。

■翻訳結果を送信する

これはver.120まではスイッチで設定できましたが、使用感をみるとトーク画面の翻訳のオンオフに連動させたほうが楽だと気づきました。ですので、ver.121からは説明文を残し設定を消しています。

ーーー
機能リリースとともに微調整が入りバージョンアップを頻繁におこなっておりますが、みなさんが使ってくれていろんなところにアップしてくれたおかげでどういうふうに実装したらいいかもわかりました。ありがとうございます。

とりあえず、ver.121をお待ち下さい。ver.120でも問題なく使用できますが、ver.121がZOOM連携の安定版となります。Android版 ver.86はこの仕様になっています。

【トピック】GAAD Japanの字幕付き配信のしくみ

5月21日(木)、GAAD JapanというGlobal Accessibility Awareness Day関連のイベントがオンラインで開催されました。UDトークは開催協力ということで字幕付きでYouTube Liveの配信を担当しました。

ご覧になった方はわかると思うのですが、YouTube Liveの画面右1/3はUDトークの字幕、左はZOOMの画面。最初から最後までこのスタイルで配信を行いました。

その仕組を少しご説明します。

まず一枚目の写真、これが配信部分です。右のWindowsのラップトップでOBSと言うソフトを動かしてYouTube Liveへ配信をしています。OBSは配信をしている方にはおなじみのソフトで音声や画像などいろんなソースのコントロールができます。当日はこれでセッションの間を画像をだしてミュートにし、次の登壇者との打ち合わせを行ったりして進めていきました。

右のMacはZOOMとUDトークを並べて表示しています。この画面をHDMIで出力し、Windowsのラップトップに接続してあるキャプチャデバイスに入力し配信をしています。MacのQuick Time PlayerというアプリがiOSの画面をキャプチャでき、さらにMacはスプリットビューという2画面フルスクリーンができます。これで調整して配置。

ZOOMはカメラをオフにしている人は出ない設定にし、通常はギャラリービュー、登壇中はスピーカービューと切り替わるようにしていました。なので基本配信中はなにも操作をすることなくいい感じの画面で遷移してました。

2枚めの写真はUDトークの方です。今回登壇者グループはZOOMでやったのでそこの音声を取り込むためにZOOMをiPadで起動し、その音声をヘッドフォン端子からiRig2を経由してもう一台のiPadに入れてます。ここで音声認識した結果を一枚目の写真のiPhoneにトークの公開で送っています。

そして最後に「タイムラグ」への対応です。YouTube Liveはだいたい20秒くらいの遅延があります。これに対応するために「20秒遅延させて配信する」アプリを開発しました(※公開予定なし、ニーズがあれば出そうかと)。こうすることによって

・YouTubeの画像にはリアルタイムで認識しているUDトーク
・YouTube Liveを見ている人の手元には配信遅延に合わせて表示されるUDトーク

と2つの時間軸で字幕を進行させることに成功しています。

ちょっと機材は多めに使ってますが、数人集まれば用意できると思いますのでぜひやってみてください。

ここまで用意するのは大変!ってかたは、画像に字幕を配信するのを諦めて、配信されているYouTubeの音声を有線でiRig2に取り込み認識させて公開するといいと思います。

何度もリハーサルと検証をしたおかげで配信は大きなトラブルもなく(あったんですが、復帰できました)終えることができました。

iOS版 ver.120にてZOOM連携で機能を追加しました

iOS版 ver.120にてZOOM連携で機能を追加しました。

・話者名を表示する
UDトークに設定している話者名を表示します。「トークを公開」で複数人で喋って使っているときに便利です。(複数人で使っていてもAPIトークンを設定する端末は1台ですので運用を間違えないようにしてください)

・翻訳結果を表示する
翻訳結果の方を字幕として出すことができます。話者名を表示して「トークの公開」と合わせて外国語を話す方と使用すると2言語で双方向に名前と翻訳結果を出すこともできます。(※超応用編です。使いこなしていただけますか?(笑))

ZOOMへの送信機能が思いのほか話題になってびっくりしております。なのでもうちょっとのんびり機能追加をしようと思ったのですがここはアクセルの踏み時と思い要望があった2つの機能を実装しました。

マニュアルも更新してあります。

https://teachme.jp/27228/manuals/8656888

お試しください!

ZOOMの字幕機能にUDトークの音声認識結果を表示できるようになりました

ZOOMの字幕機能にUDトークの音声認識結果を表示できるようになりました!

https://teachme.jp/27228/manuals/8656888

iOS版 ver.119の新機能です。みなさんお使いのオンライン通話アプリZOOMと連携して使える機能です。ZOOMの「ホスト」の方が設定することができますのでぜひお試しください。簡単にできます。

また他にもこうした通話アプリで連携できるものがあれば実装していきたいと思ってますので通話アプリを提供されてる企業の方はぜひご提案ください。

よろしくお願いします。

【トピック】UDトークは無料アプリなので企業や教育機関でも使うことができます

「無料のUDトークって仕事で使えるの?」とたまに問い合わせがあるのですが、「使うことができます」。有料のプランがあるので「違いは?」と聞かれますが、音声データの収集ポリシーが違うだけで機能は同じです。

皆さんに協力していただき認識率は驚くほどに向上しております。

利用規約に書いてありますが

・一般の企業や団体いわゆる「法人」→無料アプリをお使いいただけます

・官公庁、地方自治体及び教育機関→「アプリ導入プログラム」を申し込んでいただければ無料でお使いいただけます

すべての団体にたいして音声の収集を行わない有料の「法人向けプラン」はお申し込みいただければご利用いただけます

法人向けプラン
https://udtalk.jp/price/

アプリ導入プログラム
https://udtalk.jp/requesting-from-organization/

オンラインミーティングやセミナーでのリアルタイム字幕や全文文字のアーカイブなどいろんな活用方法が日々入ってきております。

ぜひお気軽にご利用ください。

【トピック】教育機関での使い方の実例

一つ前の投稿の反響が大きかったので、具体的な運用方法を図解してみました。
「パターン1」は先生がUDトークを運用するケースです。「パターン2」は学生側(支援者側)で運用するケースです。

パターン1が推奨ではありますが、先生がきちんと単語登録をしたり、卓上マイクではなくヘッドフォンマイク等で授業を行って(あときちんと話す)いただければパターン2でもいい結果が得られます。(パターン1でもちゃんと話すことは大前提なのですが)

つまり「先生側でやることが多い」のか「学生側でやることが多いのか」になります。そしてどちらの運用をしても字幕は授業を受けている全生徒に配信することができます。パターン1でやっているときはたとえオンライン授業に通信上のトラブルがあってもUDトークは字幕を配信できるのでいいことも多いです。実際におおくのオンラインカンファレンスで「音声がとぎれてもUDトークが動いててよかった」という声は多いです。

そしてこれがやることが多いのか?と言われると、これをすべて手書きとかタイピングでやろうと思ったら不可能だしもっとやることは多いでしょう。これくらいの準備でよい、と考えていただければいいかなと思います。それにこれをやることで授業の全文ログも先生側で保存ができます。それをきれいに修正して配布してもいいわけです。

ぜひ参考にしてみてください。

【トピック】教育機関での使い方、あってますか?

最近、教育機関(特に大学関係)で問い合わせが多いのですが、

「聴覚障害がある学生がオンラインで授業を視聴するために対象学生に配布をしたい」

と言われます。ですが、これは学校が導入して使う使い方としては「間違っています」。オンラインで配信されてるものを自分のスマホを使ってそこで音声認識して字幕で見るだけなら、それは学校がサポートをしているとはいいません。別に学生さんはUDトークだろうがGoogleのアプリだろうが別になんでもいいのです。

学校が導入してサポートをすると言うことはどういうことか?と言うと「先生が使う」ということです。先生がきちんと単語登録をしてUDトークを手元でつかい、QRコードを発行して学生さんに案内をします。学生さんはオンラインの授業を見ながらスマホのUDトークで字幕を見ます。支援室の人たちはオンラインの授業を見ながら誤認識の編集をしましょう。

これが正しい使い方です。

可能かどうかで言うとすでに都知事の会見でその方法で行っています。音声認識は先生もしくは配信を見ている支援室の誰かが行えばいいです。なので支援室が運用をすることでもきちんと学生さんに字幕を配信することができます。

以前からUDトークを学生に渡して導入した気になってるところが多いのですが、こちらは「それは違う」と指摘をしています。

オンライン授業の字幕は聴こえない学生のためでしょうか?先生の方でUDトークを使って字幕配信をしていればネットが不安定で音声が途切れたり、音が大きく出せない環境などでも見ることができます。

聴覚障害がある学生のためにだけ、と考える必要はまったくなく、アクセシビリティとして教育機関の方たちには取り組んでいきたいです。特に「アプリ導入プログラム」を申し込んでくるからにはこちらもきちんと使ってもらえるところにのみ適用をしていく所存です。

今一度、UDトークを導入されている教育機関の方は使い方を振り返ってみてください。導入担当の方は「もし自分が耳が聞こえなかったら、このオンライン授業は受講できるだろうか」と想像をしてみてください。

【レポート】Web4All Conference 2020

4月20日〜24日まで台北で開催のThe Web Conference 2020の中のプログラム「Web4All」にUDトークはツールスポンサーとしてリアルタイム字幕の提供で参加をしました。20日と21日の開催です。

本来こちらは台北市で開催だったのですが、コロナウイルスの影響でオンライン開催となりました。

Web4Allの今年のテーマは「Automation for Accessibility」。
まさにUDトークも自動で字幕がでるのでテーマにもぴったりだったわけです。

話者の言語は「英語」ということで各国の英語の方が参加され、UDトークは英語の音声認識を行い自動翻訳で参加することももできます。またZOOMのいちユーザーに「Live Transcription by UD Talk」というのを参加させそこに「英語と中国語(繁体字)」の字幕を流し続けました。

1日目は発表者の音響の環境がまちまちで聞きづらいし、なかなか音声認識が難しい方もいたのですが、オーガナイザーの人に「全員ヘッドフォンマイクでやってもらえるといいと思います」と送ったら2日目はみなさんそれで発表をしていただけました。

発表はしゃべる方もいれば字幕付きの動画を用意しているかたもいたり、いろんなことに取り組くまれていることを知ることができました。

開発者を含め日本からの参加者もいてメッセンジャーなどでやり取りをしながら参加しました。参加者のひとりが「自動読み上げで日本語を聞いている」ということで「同時通訳の自動化」と言うちょっとした近未来の感じを味わえたそうです。

音声認識は英語の話者も各国の方で北米、イギリス、インド、シンガポールと認識エンジンを変えて対応をしました。専門的な分野ほどきちんと音声認識されて自動翻訳で意味が把握できるようでした。AIテクノロジーが専門分野ほど強いのはわかっている(学習をさせるカテゴリが明確)のですが、専門用語がキーワードとして出てくるだけで何の話かわかります。

特に大きなトラブルもなくUDトークは最後まで字幕を提供することができました。クロージングでチャットの方にUDトークについてもありがとうのメッセージをいただけて嬉しかったです。

Automation for Accessibility、日本でも進めていきたいと思いました。人間しかできないことは人間がやる、そうすることによってより多くの人にサービスを提供できるようになると思います、あらゆる分野で。

しかし、海外で開催されたカンファレンスを日本にいて完全遠隔で字幕の対応ができてしまうと、もうUDトークでスポンサーとして海外に仕事でいけなくなってしまうな、と思いました(笑)

この方法で日本で開催されるオンラインイベントも全部字幕をつけることができると思います。ぜひみなさんもトライしてみてください。