カテゴリー別アーカイブ: トピック

【運用レポート】関東聾学校バレーボール大会(東京都立葛飾ろう学校)

昨年の7月に開催された関東聾学校バレーボール大会での運用レポートになります。実はこちらの資料、葛飾聾学校の生徒さんたちが修了研究発表会で発表するために作っていたそうなのですが、今回の休校で発表する機会がなくなってしまい関係者だけのものになってしまいました。それではもったいないので、せっかくだからUDトークの方で紹介をしませんか?ということで資料をいただきました。

各地で障害者スポーツ大会は行われていますが、別に観客として聴覚障害者のある方がいくのは障害者スポーツ大会だけではなくすべてのスポーツです。昨年のラグビーワールドカップでも東京都練馬区のパブリックビューイングでUDトークによる字幕でのサポートが行われた例もあるようにスポーツイベントでの文字による情報サポートは聴こえない人だけではなくすべての人にメリットがあると思います。

ちょっと資料にボリュームはありますが、ぜひ御覧ください。

教育関係者の方は参考資料として自由にお使いいただいて構いませんとのことですのでぜひ生徒さんの発表を広めてください。

こちらは学園祭での発表のポスター資料です。とても良くまとまっていてできていますよね。

【まとめ】UDトークとZOOMでリアルタイム字幕

さて、いろいろ実験をしてきましたが、とりあえず方法としては3つご紹介できるかと思います。

■1つ目はPCやiPadの横に置いて「自分の声とZOOMからの出音」を音声認識させます。グループの中で誰か一人が使っていればいいことになりますし、難聴者の方が自分だけで字幕を見たい場合も有効です。このときちゃんと「一人ずつ譲り合って話す」と言うオンラインミーティングのルールを運用すればよりよい結果になるでしょう。

■2つ目はiPadでZOOMとUDトークを動かして画面共有の機能を使いさらにシアターモードやプレゼンテーションモードなどの機能を応用させて字幕付きで資料や画像を一緒に見せる方法です。

この方法はZOOMを使ったセミナー形式に向いていると思います。質疑応答などはチャットに統一してもらうなどルールも工夫してみるといいと思います。

■そして3つ目です。こうなってくるともっと「自動化して運用」をしてみたくなるところです。

そこで「字幕さん」ってユーザーをミーティングに入れれば字幕をだしてくれる、みたいなことができないかなと思ってやってみました。

ポイントはHDMIのキャプチャデバイスを使ってiPadの画面をユーザーの画面に出すとこです。音声認識はZOOMの出音のみで行っているので特に誰かがセッティングをするとかの必要はなく「字幕さん」を招待して参加してもらうだけになります。もちろんちゃんと編集したりする運用も可能です。

例えばこれを設置しておいて、字幕が必要だったらここからそのミーティングに参加させるようにするだけで字幕付きのミーティングが自動で開催できます。

1〜3と方法を紹介しましたが、もちろん0番目の方法としてはオンラインだろうがオフラインだろうが同じ使い方をする(それぞれがUDトークを使って口元で話す)のも良い運用です。ですが、工夫次第でもっと簡単に、もっとインタラクティブにそして自動化までして行うことができます。

オンラインミーティングとUDトークの運用で耳が聞こえない方だけではなく外国人の方も参加できるミーティングが開催できると思いますので、ぜひこちらを参考にしてみなさんもトライしてみてください!

【トピック】ZOOMとUDトークの簡単議事録作成

いろんな人に協力をしてもらってZOOMとUDトークの運用実験をしています。

で、これが一番手軽かな?ってセッティングができたのでご紹介します。

ノートPC1台、スマホ一台。

スマホは1台で音声認識をONにして「自分の声とZOOMからの出力音声を音声認識」させてます。やってみるとそこそこいい認識します。でもこちら(https://udtalk.jp/post-3533/)で紹介した使い方をしたほうが話者がきちんと別れるのでおすすめではありますが、とりあえず簡単に字幕対応したい場合はこれでいいと思います。

PCはUDトークのPC版を立ち上げて編集しつつこれを画面共有します。相手には編集作業をしている画面がZOOM越しに見えるのでそれはそれでいい感じです。

画面共有を字幕で使うと言うのは割とありだと思います。ミーティングも別に毎回プロジェクタを使って出すわけではなくデータを配布して手元で見るケースもあるでしょう。

iPadでシアターモードを使った応用技(https://udtalk.jp/post-3785/)なんかもありますが、使ってくうちに「これでいけるんじゃない?」ってのがどんどん出てくるのが面白いです。

実際に今日は4〜5人の世間話で耳が聞こえないかたも入ってオンラインでやってみました。喋れなくてもUDトークはキーボードで打ってる途中経過も見れるので「沈黙」も少なく感じます。

ぜひみなさんもいろいろトライしてみてください!

【トピック】UDトークで字幕付きオンラインイベントを

3月13日(金曜日)「UDトークで始める音声認識・自動翻訳アプリ活用術」がNerima Base – ネリマベース で開催されました。今回はオンライン対応ということでオンラインでの参加が10名ほど、現地での参加は3名とたくさんの方に参加していただきました。

今回はオンライン配信でUDトークの機能をフル活用してZOOMと組み合わせてみました。これまでもZOOMとの組みあせをいろいろ紹介してきましたが、実際にイベントをやったときにどう見えるのかというのを実体験していただきました。

まず主催者側で用意したのは画面共有と音声でのやり取りをするためのiPad。カメラとして使用する(音は切っている、ハウリングするので)PC。UDトークはiPhoneとBluetoothマイクを使用して音声認識させました。

見ている方はUDトークの画面で資料と字幕が「画面共有」で配信されているのでZOOMだけで見ることができます。もちろんスマホやタブレットを別に用意すればサブスクリーンとしてUDトークの字幕を見ることができます。

今回は「講習会」なので、オンラインで参加される方からの発言はすべてチャットに統一しました。もちろん講師も手元のPCでチャットして質問を拾いながら進めていきます。

はじめての試みでしたが、とてもスムーズにすすめることができて参加者の満足度も高かったように思いました。耳が聞こえない人も何人か参加されていましたが、同じようにこうしたオンラインのイベントを楽しむことができるのはいいですよね。

このイベントだけではなく、法人向けの講習会もこの方法で開催したいと思います。

【トピック】ZOOMの画面共有とUDトークのシアターモード

今ZOOMの活用が話題なのでちょっとUDトークも乗ってみます。とは言え、UDトークはすでにZOOMと「併用」することで字幕付きのオンラインミーティングができます。もちろん議事録も作成可能(全文ログですけどね)。

これの良いところは誤認識の修正もみんなでできるし記録も全部残ります。全文記録が必要かどうかは置いといて、とりあえず残しておけば会議を思い起こせるし、字幕があることで聴覚障害者が働く環境でも問題なくオンラインミーティングが導入できます。

でももうちょっとスマートにできないかな?ということで色々試してみたのです。そう、ZOOMには「画面共有」と言う機能があります。

これはiPadですが、iPhoneでもOKです。Androidはわかりません(笑)。ここで「画面」を選択するとそのiPadの画面が他の人に共有されます。素敵な機能です。

「ブロードキャストを開始」をタップします。マイクはオフでOKです。そうするとこのiPadの画面を共有することができます。

そして次はUDトークの画面を、と普通にやったらそれは文字だけですよね。でもそれでもある意味ではOKです。予め作成しておいたQRコードを読み込ませてトーク画面にします。QRコード等を用意して会議やイベントを行うのはこちらのマニュアルを参照。

https://teachme.jp/27228/manuals/4799090/

トーク画面のメニューから「フルスクリーンモード」を選択します。そうするとその画面がZOOMで共有されて他の人も見ることができます。

ただちょっと参加者の顔が小さいですよね。PCだと少し見やすくレイアウトできますが。そうだ、UDトークには「シアターモード」があります。カメラの画像の上に字幕を重ねて見ることができる機能です。これを画面共有すればいいかも。

あとはカメラの位置を見やすく配置して。あとシアターモードはシングルタップでこの字幕の位置を変えたり、ピンチインアウトで文字の大きさも変えれます。翻訳モードをオンにしてればもちろん翻訳もできます。

これで配信した結果、閲覧する人はどんなふうに見えるかと言うと、こんな感じ。

画面共有されている画像がUDトークのシアターモードで「カメラ画像」っていうこの手があったか!って言う方法です。でも確かに動画なんかでも再生して画面共有できるのでできそうではありましたね。ちなみにこの端末で裏で動いているZOOMはマイクもスピーカーも使えるので普通に会話もできます。動画はオフになりますね、自動的に。

ここまででセッティングをまとめるとまず配信に必要なのは

シアターモードのUDトーク+バックグラウンドでZOOM(マイクとスピーカー)

この1台だけで通話ができます。

音声認識用のデバイス(スマホ、タブレット)

写真で手に持ってるiPhoneで音声認識させています。これは普通のUDトークの使い方です。きちんと単語登録をして用意しましょう。

これだけでもできるのですが、配信に使ってるiPadはちょっと離れたところにあるだろうし、ZOOMがバックグラウンドにあるので誰が参加してるかわからないしチャットもできない。なのでもう一台PCなりを接続して参加者の様子やチャットをするのを立ち上げると便利かもしれません。自分の手元で複数台使ってZOOMを起動するときはハウリングしないように気をつけましょう。

まとめるとこんな感じですかね。ミーティングというよりは講演会や講習会にはピッタリの運用だと思います。それぞれが話す場合は一画面をフルスクリーンモードにして共有しておくのも良いかも知れませんし、各手元で見てもいいと思います。

音声認識で話す方はそれぞれの話者がそれぞれのアプリで話すのが理想ですが、ZOOMからの音でも認識するときもあるので結果オーライでやってみてください。

実際にやってみたら分かりやすいと思いますし、工夫次第でもっといろんなことができそうです。何よりこれがすべてデフォルトの機能だけでできるのは新たな発見でもあります。

運用事例ができたらどんどん広めてください!

【トピック】WT01専用ネックバンドアダプター

たくさんの方にご利用頂いております専用マイクAmiVoice Front WT01ですが、こちらで使用できる専用のネックバンドアダプターが発売されました!

WT01には首掛けのネックストラップが付属でついていますが、こちらは横から首にかけれるのと、認識しやすい位置にWT01が固定されるのでとても手軽に利用できると思います。

3,000円とお買い求めしやすい値段になってますので、ぜひご購入ください。

【トピック】AmiVoice Front ST01とミキシングデバイスHUB01

音声認識用のマイク、AmiVoice Front ST01とマイクをまとめるミキシングデバイスHUB01を紹介します。

HUB01は4極端子のマイク(なので実はST01じゃなくても繋がります)を4つ接続して一つの出力にまとめてアナログ端子のあるiPad等に入力できます。小さなテーブルで向き合って会議をするとかインタビューなどでとても使いやすいと思います。

専用のキャリングケースもあります。
HUB01は電池かUSBからの給電で動作します。

Bluetoothはワイヤレスで便利ですが、据え置きで使うなら有線も安定していて設置も楽です。割と重宝しています。

UDトーク for Windowsのver.2.4.3をリリース

UDトーク for Windowsをバージョンアップしました。今回からインストーラーが変わっていますので、インストールされる方は手順を確認して新しいバージョンに更新をしてください。

1.ver.2.4.3をインストールする前に以前のものを手動でアンインストールしてください。

2.ダウンロードページのリンクをクリックしてインストーラーを起動してください。サイズが小さくなっています。

3.そのまま自動的に起動されます。ネットワークを使用しますので許諾のダイアログボックスで許可をしてください。

4.今回別のアプリとしてインストールされるのでユーザーIDが変更されます。
新しい開発環境に移行したためどうしてもこの処理が必要となります。幸いver.2.3.9には大きな不具合はありませんので、お時間あるときにアップデートしてください。

ver.2.4.3の変更点です。
・「発言を許可」でトークに参加したときのみ現在接続されている端末がリストで表示されるように変更しました。Mac版はすでにそうなっていたのと、編集を許可および閲覧のみでは全員「匿名ユーザー」として動作することになります。

・同時編集の際、同じ発話の編集とつかみに行くと極稀に編集できてしまうことがあった。

・各所の処理を軽減させ、パフォーマンスの向上を図りました。
よろしくお願いします。

https://udtalk.jp/download/

【トピック】議会を字幕付きで閲覧しよう!

この時期は地方議会の定例会が行われていると思います。UDトークを傍聴席に導入している議会事務局も多くなってきました。

そして多くの議会がいまネットによる生中継を行っています。そしてそれをiPadで見ながらUDトークを同時に立ち上げると結構いい感じで文字化してくれます。もちろんパソコンとiPhoneでもOKです。音声も十分音声認識できるクオリティです。

編集する人がいたら十分追いつく程度の誤認識かと思います。もうこここで議事録も作れてしまうかもしれませんね。

それに一般質問は質問も答弁も読み上げが基本なので認識も良いです。

ーーー
ここからは開発者で東京都練馬区民の「目線」で書きます。

UDトークの開発会社は東京都練馬区にあり、開発者も練馬区民でICTで課題解決をするシビックテック団体として活動しています。

一般質問に

「練馬区地域福祉・福祉のまちづくり総合計画改定について」
「区の情報化施策について」
「障がい者の就労について」

など、見てみるとちょっと興味がある内容があったので前半は練馬区議会に傍聴に。議会の傍聴というのははじめてだったのでいい経験をしました。やっぱり傍聴には字幕があるといいなぁと思いつつ後半は会社に戻って動画配信とUDトークで閲覧。


すると、一般質問の中にUDトークの活用や10月に練馬区役所の職員さん対象に行なったUDトークの講習会、そしてシビックテック団体との協働などを一般質問で言っていただき、それについて区からの答弁も!ちょっとびっくりしましたがとても嬉しかったです。

※動画はFacebookページのコメントに掲載してあります。

【トピック】議会を字幕付きで閲覧しよう!この時期は地方議会の定例会が行われていると思います。UDトークを傍聴席に導入している議会事務局も多くなってきました。そして多くの議会がいまネットによる生中継を行っています。そしてそれをiPad…

UDトークさんの投稿 2019年12月3日火曜日

UDトークと開発会社を地域事業者としてとても気にかけてくれてることがうれしいですね。これからも地域事業者として区と連携していきたいと思います。

※写真及び動画は練馬区議会開催中の動画から引用させていただきました。

【トピック】認識結果は編集しよう!

音声認識の結果は完璧ではありません。そもそも何が完璧なのか、その定義も難しいです。話者が「いい間違えた」場合、認識結果は
 
・間違えたまま出す?
・間違いを正して出す?
 
前者は音声認識としては正しいですが、見た人は間違っていると言うでしょう(こういう人は減ってきましたがまだまだいます)。後者はある意味では改ざん担ってしまうので望まない結果でもあります。
 
UDトークはこういうとき「認識結果を修正する」機能があります。知っているよ、という方は多いのですがこれ以外と知られてないケースもあり。
 
修正方法は簡単です。項目をタップするだけです。その発話が編集できます。自分の発話の編集はもちろん、トークの公開で接続されてる相手の発話も編集できます。
 
またWindowsとMacではPCで編集できるツールもダウンロードできるようになってます。
 
単語登録では補えなかったところは積極的にみんなで編集しましょう。
 
よく「編集は難しい」と言う方もいらっしゃいますが、同じくらい「誰でもできる」のでそのへんの人やみんなにやってもらうって人もいます。
 
UDトークが協賛として関わる多くのイベントもコンセプトは「みんなで創る字幕」と言うコンセプトで数百人の参加者全員で編集していくようにしています。その結果、適した字幕も表示され記録も残せます。(※このときはQRコードを編集許可で配布します)
 
よく運用ケースでも「まだ誤認識が多い」とコメントしているところは編集をしていないところが多いです。編集作業があたりまえになると誤認識があるないはさほど問題ではないのです。見つけたらささっと手持ちのスマホで修正をしましょう。これは大きなシンポジウムでも飲み会で使っても使い方は同じです。
 
ちなみに、AIテクノロジーの観点から言うと多くの(例えばタイピングのような)単純作業は機械に変わっていきますが、認識結果の編集はいまは「人間にしかできない仕事」でありおそらくこの先もしばらくはそうでしょう。なので「ありがたくやりましょう」とUDトークのセミナーでは皮肉まじりの冗談で紹介をしております(笑)。でもこれはホントです。「配慮する」ということはまだまだAI技術では苦手とするところなので。
 
AIがほとんど作業をしてあと少しを人間が行う、と言う理想的なモデルがUDトークで出来上がってます。
 
ぜひみなさん(特に法人利用されてるかたは)、運用を一度見直してみてください。これは聴覚障害者支援のアプリではなく議事録・記録作成や会議の可視化アプリとして見ると運用のモチベーションも変わってくると思います。