shamrock1976 のすべての投稿

【トピック】議会を字幕付きで閲覧しよう!

この時期は地方議会の定例会が行われていると思います。UDトークを傍聴席に導入している議会事務局も多くなってきました。

そして多くの議会がいまネットによる生中継を行っています。そしてそれをiPadで見ながらUDトークを同時に立ち上げると結構いい感じで文字化してくれます。もちろんパソコンとiPhoneでもOKです。音声も十分音声認識できるクオリティです。

編集する人がいたら十分追いつく程度の誤認識かと思います。もうこここで議事録も作れてしまうかもしれませんね。

それに一般質問は質問も答弁も読み上げが基本なので認識も良いです。

ーーー
ここからは開発者で東京都練馬区民の「目線」で書きます。

UDトークの開発会社は東京都練馬区にあり、開発者も練馬区民でICTで課題解決をするシビックテック団体として活動しています。

一般質問に

「練馬区地域福祉・福祉のまちづくり総合計画改定について」
「区の情報化施策について」
「障がい者の就労について」

など、見てみるとちょっと興味がある内容があったので前半は練馬区議会に傍聴に。議会の傍聴というのははじめてだったのでいい経験をしました。やっぱり傍聴には字幕があるといいなぁと思いつつ後半は会社に戻って動画配信とUDトークで閲覧。


すると、一般質問の中にUDトークの活用や10月に練馬区役所の職員さん対象に行なったUDトークの講習会、そしてシビックテック団体との協働などを一般質問で言っていただき、それについて区からの答弁も!ちょっとびっくりしましたがとても嬉しかったです。

※動画はFacebookページのコメントに掲載してあります。

【トピック】議会を字幕付きで閲覧しよう!この時期は地方議会の定例会が行われていると思います。UDトークを傍聴席に導入している議会事務局も多くなってきました。そして多くの議会がいまネットによる生中継を行っています。そしてそれをiPad…

UDトークさんの投稿 2019年12月3日火曜日

UDトークと開発会社を地域事業者としてとても気にかけてくれてることがうれしいですね。これからも地域事業者として区と連携していきたいと思います。

※写真及び動画は練馬区議会開催中の動画から引用させていただきました。

【トピック】認識結果は編集しよう!

音声認識の結果は完璧ではありません。そもそも何が完璧なのか、その定義も難しいです。話者が「いい間違えた」場合、認識結果は
 
・間違えたまま出す?
・間違いを正して出す?
 
前者は音声認識としては正しいですが、見た人は間違っていると言うでしょう(こういう人は減ってきましたがまだまだいます)。後者はある意味では改ざん担ってしまうので望まない結果でもあります。
 
UDトークはこういうとき「認識結果を修正する」機能があります。知っているよ、という方は多いのですがこれ以外と知られてないケースもあり。
 
修正方法は簡単です。項目をタップするだけです。その発話が編集できます。自分の発話の編集はもちろん、トークの公開で接続されてる相手の発話も編集できます。
 
またWindowsとMacではPCで編集できるツールもダウンロードできるようになってます。
 
単語登録では補えなかったところは積極的にみんなで編集しましょう。
 
よく「編集は難しい」と言う方もいらっしゃいますが、同じくらい「誰でもできる」のでそのへんの人やみんなにやってもらうって人もいます。
 
UDトークが協賛として関わる多くのイベントもコンセプトは「みんなで創る字幕」と言うコンセプトで数百人の参加者全員で編集していくようにしています。その結果、適した字幕も表示され記録も残せます。(※このときはQRコードを編集許可で配布します)
 
よく運用ケースでも「まだ誤認識が多い」とコメントしているところは編集をしていないところが多いです。編集作業があたりまえになると誤認識があるないはさほど問題ではないのです。見つけたらささっと手持ちのスマホで修正をしましょう。これは大きなシンポジウムでも飲み会で使っても使い方は同じです。
 
ちなみに、AIテクノロジーの観点から言うと多くの(例えばタイピングのような)単純作業は機械に変わっていきますが、認識結果の編集はいまは「人間にしかできない仕事」でありおそらくこの先もしばらくはそうでしょう。なので「ありがたくやりましょう」とUDトークのセミナーでは皮肉まじりの冗談で紹介をしております(笑)。でもこれはホントです。「配慮する」ということはまだまだAI技術では苦手とするところなので。
 
AIがほとんど作業をしてあと少しを人間が行う、と言う理想的なモデルがUDトークで出来上がってます。
 
ぜひみなさん(特に法人利用されてるかたは)、運用を一度見直してみてください。これは聴覚障害者支援のアプリではなく議事録・記録作成や会議の可視化アプリとして見ると運用のモチベーションも変わってくると思います。

「話すこと・聞くこと」の授業パーフェクトガイド

「話すこと・聞くこと」の授業パーフェクトガイド 編著:長谷浩也(はせひろなり)

教育関係者必読の本が出版されました。実は去年からこちらの本の執筆でUDトークのアカウントを提供させていただいてまして、この度めでたく出版の運びとなりました。

Amazonはこちら
https://www.amazon.co.jp/dp/4182887158

この本のチャプター3:合意形成能力を育む!「話し合い」指導のアイデア、でUDトークを4ページに渡って取り上げていただいています。話し合いを振り返るときに黒板に全部書くのは大変。授業の時間も限られています。そこでUDトークを使って会話を可視化。しかもUDトークの学年別に漢字の表記を切替えれることで小学校の教育に最適です。著者の長谷さんも「音声認識アプリでこの機能があるのはUDトークしかない」と絶賛していただきました。

いま「字幕」は「聴こえない子達への福祉のサポート手段」から「一歩進んだ教育ツール」として大きく扱いが変わってきています。UDトークの問い合わせにも視覚優位で耳よりも目で見たほうが把握しやすいお子さんへの学習補助などで使いたいというのが増えてきています。

教育機関でのご利用は無料アプリではなく「教育機関向けプラン」を導入していただくように利用規約で決まっていますが、先生たちで実際にこの本を読んでお試しいただくくらいならOKですので、ぜひ取り組んでみてください。

自治体や教育委員会でプレミアムプランを導入して管轄校全部で使えるようにするのがオススメです(笑)

教育関係はこうした本が出ると大きくスタンダードが変わっていくと思っています。これからが楽しみです!

GoogleとAmiVoice、音声認識の特徴

現在コンパクトプランと法人向けプランでは日本語の音声認識エンジンをAmiVoiceとGoogleで選択してご利用いただけるようになっております。どの認識エンジンも精度が上がってきました。そうなるとどういった基準で使い分ければいいのか?ということろが課題となってきます。

そんな使用の際の基準を考えてみました。

AmiVoice Google
単語登録
句読点挿入
「えーと」などのカット
読みの表示
発音のカバー率
雑音環境
編集のしやすさ

単語登録、句読点挿入、「えーと」などのカット

このあたりは講演などのリアルタイム字幕を作成するときには必須の機能となりますので、まずきちんと音を取れる環境ではAmiVoiceを選択したほうが良いでしょう。Googleを選択する理由はないと思います。

読みの表示

実は読みの表示は音声認識エンジンの機能です。AmiVoiceの場合は認識結果に読みが含まれているのでそのとおりに表示することができます。Googleの場合は音声認識の結果にあとから読みを機会的につけているため喋っていない読みがでることがあります。

発音のカバー率

Googleは実はそれほど喋った内容をそのまま出す処理を行っておりません。入ってきた音声に対して一番近い文章を出す方を優先しています。それとは反対にAmiVoiceは入ってきた音声に対してどういう結果があるかを優先します。その結果、Googleの場合は入力された音声が曖昧でもそれなりに正しいものを(多少喋ってないことが付加されたようになったり)出してきます。さらに雑音とみなすとまったく結果が出ないこともあります。

入力音声に対する結果を優先<出力する文章の正しさを優先

ということになります。ですので、UDトークの使用環境で言うと難聴者の方の発話や、まだ日本語を文法的にきちんと話せない外国人の発話に強いことになります。事実、この機能を提供したあとに、企業で働く難聴者の方がGoogleに切り替えたことにより「いままでリスピーク(復唱)をしてもらっていたのが、会議で自分で発言ができるようになった」と報告を受けています。

雑音環境

これは上記のカバー率によってくるのですが、雑音環境でも同じことが言えます。AmiVoiceは「きちんと入力された音声」に対しての精度を上げるためにチューニングをしています。逆にGoogleはもともと検索エンジンへの入力で使われる音声認識なのでとにかく雑音に強い側面があります。居酒屋やパーティーなどで筆談や通訳との併用で活用するには良いと思います。

編集のしやすさ

これはUDトークの機能になりますが、UDトークは喋り終わる前でも小刻みに認識結果が確定したところから編集ができますが、Googleは話し終わるまで編集することができません。短い発話を繰り替えすような会話環境なら良いですが、やはり講演などではAmiVoiceで運用するのがいいと思います。

まとめ

こうやって列挙すると講演等でしっかりと環境を整えて運用をするケースではGoogleを使う理由はあまりないですが、喋る人が自分で選ぶ(特に難聴者の方が使うとき)とすごく活用の幅が広がるのではないかと思います。

こちらはAmiVoiceでの結果になります。「、」が入っているのとAmiVoice、Google、UDトークにきちんと読みがなが入っています。単語登録がされている結果でもあります。スマホに向かってきちんと話したので一回でこの結果を出すことができました。

こちら、Googleでの結果になります。文末の「。」はUDトークの方で挿入しているものですので、音声認識自体では句読点は出されていません。当然amivoiceやgoogleなどには読みは振られていません。「短い髪は」は「みじかいはつわ」の誤認識ですが、読める文章に近づけているのがわかります。ちなみに「は」とか「が」も言い忘れたところに挿入されたりしています。もっとシビアな環境で試してみたいですね。

こちら、一般の方にはコンパクトプランと言う形式で提供しておりますが、有料のアドオンとなります。もし難聴者の方でまず試したい方がいましたらSmilingual(スマイリンガル)をインストールしてみてください。こちらもGoogleで実装してますので、自分の声の認識が認識しやすいかどうかを試してアドオンを購入されるといいと思います。

「選べる」ということはアプリの機能としてとても重要です。UDトークは

  • 音声認識エンジンの選択
  • 翻訳エンジンの選択

ができる数少ないアプリでもありますので、ぜひいろいろ試していただき自分にとって最適な使い方を見つけていただけると幸いです。

【運用レポート】WordCamp Tokyo 2019

WordCamp Tokyo 2019。WordPressと言えばきいたことがある人も多い、ホームページを手軽に作れるオープンソースのプログラム。またコミュニティとしてとても大きなイベントが行われます。今回UDトークはアクセシビリティ対応として「ツールスポンサー」と言う形でこちらにアプリを提供させていただきました。

セッションは4部屋同時開催。午後から一部屋は同時通訳も入る英語セッションとなりました。

UDトークはスポンサー展示ルームで行われるトークを字幕対応しながらいらっしゃった方にデモをすると言う感じで一日会場で過ごしてました。

編集スタッフは20名近い人が名乗りを上げていただき、各部屋に2名ずつくらい配置。誤認識の修正もきちんと行われていきました。スクリーンには日本語と英語、手元への配信も専用ページを作成して案内する形です。ここのところのUDトークが公式で関わるイベントでは定番の理想的な運用となりました。

https://udtalk.jp/wct19/

午後からの英語セッションは英語で認識して日本語で見るわけですが、ほんと最近急激にGoogleの認識精度がすごくあがりました。字幕だけ見ていてもある程度意味は把握できます。

WordPressの開発から運用してるかたやユーザーの方までいろんな方が参加されるイベントとなりました。

そして、来年2月にアジアでは初開催となるタイで行われるWordCamp AsiaでもUDトークの運用されることが決まりました。それはまた後ほどご報告いたします。

iOS版 ver.105、Android版 ver.76をリリースしました

iOS版 ver.105、Android版 ver.76をリリースしました。今回は大きなバージョンアップが含まれています。

1.日本語から英語への翻訳エンジンを選べるように

UDトークは日本語から英語への翻訳エンジンは高電社の「翻訳クラウド」、それ以外はGoogle翻訳を採用しておりました。やはり日本語の言い回しなどは日本のメーカーが強いと言う理由でしたが最近Google翻訳が、特に長い文章で行った時にすごく精度が上がってきたのでこれを選択できるようにして好みで使っていただけるようになりました。この2つのエンジンの違いは「手前味噌ではございますが」を認識させると面白い結果になります。「メニュー>トーク設定」で変更ができます。

2.日本語の音声認識エンジンを選べるように

法人向けプランとコンパクトプランで日本語の音声認識エンジンをAmiVoiceとGoogleで選択できるようにしました。最近Googleの無料アプリが話題なのと、Googleの日本語もだいぶ良くなってきたのでUDトークでもGoogle音声認識が使えるように実装してみました。AmiVoiceとの違いですが、認識率はそれほど変わらず、AmiVoiceのほうが句読点がしっかり出たり、単語登録もできたりなどアドバンテージがあります。Googleは雑音や曖昧さに強い傾向はありますが。AmiVoiceは何が音があるところは出す、Googleは認識できないところは何も出さない、と言う違いがあります。法人向けプランとコンパクトプランをご利用の方は管理ツールで設定の上、「メニュー>トーク設定」で変更ができます。

3.サブディスプレイ(プロジェクタ出力)で画面上部に時計とタイトルを表示

サブディスプレイと言う言い方でプロジェクタへ別画面での出力をサポートしていますが、そこの画面に設定で時間とタイトルを表示できるようにしました(いま長いタイトルは末尾がトリミングされてしまうため現在調整をしております)。時計があると動作しているのもわかるのでぜひご一度設定してみてください。

4.iOS版、ver.103とver.104の不具合を修正

両バージョンであったプロジェクタ出力の致命的な不具合を修正しました。必ずバージョンアップしてください。

国際福祉機器展2019出展

9月25〜26日に開催された国際福祉機器展。今年も2000枚以上のチラシがなくなるなど多くの方にブースにお立ち寄りいただきました!

思えば去年くらいまではUDトークのブースには多くの聴覚障害者支援での課題を抱える方がいらっしゃってましたが、去年あたりから変わり始め今年はほとんどそういう方はいらっしゃいませんでした。ではどういう方がいらっしゃったかと言うと、外国人対応での課題を抱える方や外国人です。

つまりUDトークは多言語コミュニケーションの課題を解決刷るアプリに変わりつつあるのです。いま日本の福祉は多くの現場に外国人の方たちが従事しています。そこでのコミュニケーションにUDトークのような翻訳アプリを活用できないだろうかと。

ここ最近の翻訳精度の向上は目をみはるものがあります。中国、台湾、香港、フィリピン、タイ、マレーシアなどの方がいらっしゃいましたが、UDトークとSmilingualでなにも問題なく対応です。向こうも予め翻訳機や翻訳アプリを持ってらっしゃる方もいらっしゃいました。

福祉の課題が変わりつつあるなかでもUDトークは聴覚障害者支援だけではない「多言語コミュニケーション」に軸をおいているので、むしろいますごく自然に紹介ができます。

事前にお知らせしておいた新型AI搭載マイク「ピアボイス」も良かったです。この雑音下で離れたところからでも認識する精度はUDトークよくご存知のかたほど驚いていました。もうすぐ販売しますのでお待ち下さい。

それではみなさん、また来年お会いしましょう!

【運用レポート】Code for Japan Summit 2019

9月28〜29日、Code for Japan Summit 2019が開催されました。UDトークはシルバーパートナーとして協賛。サミット内の全てのプログラム(セッション、ワークショップ等)に多言語自動字幕を提供しました。

とにかくプログラム数が多いサミット。同時に10箇所で行われるおそらくUDトーク史上最多の運用だったのではないでしょうか(それ以上やった!と言う方は名乗り出てください)。

全ての部屋でスクリーンには日本語と英語を投影。サミット専用アプリから各部屋のUDトークを起動できるようになっていてすぐに手元で見ることができます。編集スタッフも少ない人数のなかみんなで協力し編集を行いました。ほんとに裏方の記録班の方たちんは感謝しかありません。

開催場所の神田外語大学の設備がすごく、メイン会場の「食神」からの中継を8号館の屋内上部にあるメインスクリーンに表示。ここは食神に入れなかった人がサテライトで見る場所なのですが字幕とスライド内容と話者のアップのワイプが入り最高の環境でした。

またセッション形式のプログラムにはすべてグラフィックレコーディング(グラレコ)も入りあとから振り返りがしやすくなっています。こちらもセッションが重なるなか2日間お疲れさまでした。

また海外の方が登壇するセッションもあり英語から日本語(多言語)への自動翻訳字幕としてもUDトークを活用。もちろん日本語のセッションも多言語で見ることができたので、海外ゲストからもこの取組は好評でした。

会場のどこに行っても字幕とグラレコがあると言うこういう環境を作るのは難しいのでしょうか?(簡単ではないです)

でもまず「こういうイベントを作りたい!」と言うのを前提にしていれば機材の調達(今回これが一番大変でした!)やスタッフの配置など工夫ができます。これで例えばメイン会場だけ字幕があるとかだとぜんぜん意味や意義が変わってきます。全部に設備として配置するくらいがUDトークは良いのです。そして今回は字幕が必要と思われる人(聴覚障害者、外国人)が参加するセッションには修正者を多めに置くなどのコントロールもしました。それも一つの工夫です。

ともあれ無事に終了し、大量のテキストログが手に入りました。後日、グラレコチームとのデータ分析をするミーティングも企画されることになります。イベントが終わったあとに残した可視化データは「資産」です。

Code for Japan Summitは多くの方に知っていただきたいUDトークのすごい運用事例です。次回は来年、愛知で開催されますので、またお知らせします!

【運用レポート】函館野外劇、報告

7〜8月に行われた函館野外劇。UDトークが自動翻訳で多言語対応字幕として採用されました。その報告をいただきましたので掲載します。

ベトナム語が「ノーケア」だったのが主催者の方も驚いていたようです。日本にはいまたくさんのベトナム人の方が来ていて働いています。語学の習得ももちろん大事ですが、自動翻訳でうまくいくことは雇用する企業さんにとって朗報なのではないでしょうか。

たしかにUDトークでイベントを行うときもベトナム人の方はいまままでも「字幕ありがとうございます」と言ってニコニコとしてくださってました。

自動翻訳の精度がってよく言いますが、全体を通して内容が伝わるか、受け取れるかというのはインターナショナルなのかなと思います。

ぜひベトナム語環境でUDトークを活用ください!

ーーー
ご無沙汰しています。UDトークの結果報告です。

①使用言語 英語、中国語、韓国語、ベトナム語、日本語

②利用人数
正確にはつかめませんが、30〜40人程度。

③利用者の感想は概ね良好。日本語はまだ、フィードバックがないので正確には把握できない。

④制作者としての感想
自動翻訳が十分に機能していないので、正しい訳文が出てくるよう、台本の修正が必要で、作業量もかなりのものであつた。英文が得られれば、中文、韓文は簡単に得られるものと思っていたが、それぞれに翻訳に対するケアがひつようであつた。ベトナム語はノーケア、思いがけない利用であったが、十分役に立っていたようである。

⑤ワイファイはレンタル1台、公園内のフリーワイファイで十分であったが、今後については検討が必要かもしれない。

おかげ様で次への手がかりが得られました。取り急ぎご報告まで。
ーーー

以下、以前このページで紹介した函館野外劇の投稿の転記です。

ーー
【新聞掲載②】函館野外劇で多言語対応アプリとして活用!

http://www.yagaigeki.com/

6月26日付けの北海道新聞より、UDトークの「函館野外劇」での導入が記事になりました。記事全文文字起こししてますのでお読みください。

とても自動翻訳の特性を理解して運用されているのだなぁと思うところは

「一方自動翻訳の精度には課題が残るという同会の土谷雅宏理事は「大枠のストーリーが伝わる翻訳となるよう、送信する台本に手を加えている。また、英語、中国語、韓国語を話せる人に監修をお願いしている」と話す。」

台本の方を調整する、と言うアプローチは自動翻訳技術を使いこなす上では重要なアプローチです。

7月12日から五稜郭公園で開演です!

ーーーー
【主催NPO翻訳アプリ導入】

函館市の五稜郭公園で7、8月に行われるNPO法人市民創作「函館野野外劇」の会の講演で、約160ヶ国の言語を翻訳できる無料アプリケーション「UDトーク」が初めて活用される。

劇の進行に合わせて、スマートフォンやタブレット端末にセリフが表示されるほか、聴覚障害者向けには日本語の字幕を流すことができる。クルーズ船の寄港などで米国人観光客の増加が見込まれる中、客層を広げていく狙いだ。

UDトークは「聴覚障害者のある人とコミュニケーションの手段に」とアプリ開発などを手掛ける「シャムロックレコード」(東京)が、2013年に開発。会話の内容や事前に打ち込んでいた言葉を画面に表示し、翻訳できる機能が備わっている。

これまで法人や自治体など400以上の団体で導入されるなど、国内で活用が広がっている。

同会によると、これまでも野外劇を観劇した留学生や聴覚障害者だから「何をしているかわからない」「内容を知りたい」との声が寄せられていたという。
こうした不満や要望に対し、同会はアプリ「あらかじめ用意した台本のセリフをリアルタイムで届けられる」としてUDトークが有効と判断した。

来場者はアプリをダウンロードし、会場にあるQRコードを読み込むことで利用が可能になる。

劇中、役者の演技に合わせて同会が送信した日本語のセリフが各自の手元の端末で受信でき、設定しておいた言語に翻訳して表示される。

一方で、今年で32回を数える函館野外劇が昨年は50代以上の来場者が半数を超えるなど、新規客の取り込みが課題となっている。
同会の里見泰彦事務局長は「今年は外国人研修生を招待する予定もある。日本だけではなく、海外の人に函館の歴史や野外劇を知ってもらえれば」と期待している。

【運用レポート】シオノギ製薬社内で全従業員向けイベント

もうベテランユーザーとも言えるシオノギ製薬さんから運用レポートが届きました。社内の全社員向けのイベントで活用されたそうです。聴覚障害者対応と多言語対応を含めてコミュニケーションバリアフリープロジェクトとして動いているのはとてもいいですね!

引き続きご活用ください!


ーーー

【実施したこと】
7月31日(水)、シオノギ製薬社内で全従業員向けイベントとして、UDトークを使用しました。

【イベントでのUDトーク内容】
イベントには米国や中国からもグループ社員が参加したため、UDトークで多言語表示として、壁に投影、その他、参加者の手元でUDトークを見られるように、iPadを数台用意しました。

工夫した点として、コミュニケーションバリアフリープロジェクトメンバーだけでなく、イベント主催部署からもスタッフを募集し、合計5名で修正タイピング対応しました。

スタッフは原稿を見ながら即座に修正タイピングし、同時に専門用語をリアルタイムで単語登録をします。

全員初心者の社内従業員によるボランティアでしたが、シオノギ自らバリアフリー対応を実施したイベントでした。