カテゴリー別アーカイブ: トピック

「話すこと・聞くこと」の授業パーフェクトガイド

「話すこと・聞くこと」の授業パーフェクトガイド 編著:長谷浩也(はせひろなり)

教育関係者必読の本が出版されました。実は去年からこちらの本の執筆でUDトークのアカウントを提供させていただいてまして、この度めでたく出版の運びとなりました。

Amazonはこちら
https://www.amazon.co.jp/dp/4182887158

この本のチャプター3:合意形成能力を育む!「話し合い」指導のアイデア、でUDトークを4ページに渡って取り上げていただいています。話し合いを振り返るときに黒板に全部書くのは大変。授業の時間も限られています。そこでUDトークを使って会話を可視化。しかもUDトークの学年別に漢字の表記を切替えれることで小学校の教育に最適です。著者の長谷さんも「音声認識アプリでこの機能があるのはUDトークしかない」と絶賛していただきました。

いま「字幕」は「聴こえない子達への福祉のサポート手段」から「一歩進んだ教育ツール」として大きく扱いが変わってきています。UDトークの問い合わせにも視覚優位で耳よりも目で見たほうが把握しやすいお子さんへの学習補助などで使いたいというのが増えてきています。

教育機関でのご利用は無料アプリではなく「教育機関向けプラン」を導入していただくように利用規約で決まっていますが、先生たちで実際にこの本を読んでお試しいただくくらいならOKですので、ぜひ取り組んでみてください。

自治体や教育委員会でプレミアムプランを導入して管轄校全部で使えるようにするのがオススメです(笑)

教育関係はこうした本が出ると大きくスタンダードが変わっていくと思っています。これからが楽しみです!

GoogleとAmiVoice、音声認識の特徴

現在コンパクトプランと法人向けプランでは日本語の音声認識エンジンをAmiVoiceとGoogleで選択してご利用いただけるようになっております。どの認識エンジンも精度が上がってきました。そうなるとどういった基準で使い分ければいいのか?ということろが課題となってきます。

そんな使用の際の基準を考えてみました。

AmiVoice Google
単語登録
句読点挿入
「えーと」などのカット
読みの表示
発音のカバー率
雑音環境
編集のしやすさ

単語登録、句読点挿入、「えーと」などのカット

このあたりは講演などのリアルタイム字幕を作成するときには必須の機能となりますので、まずきちんと音を取れる環境ではAmiVoiceを選択したほうが良いでしょう。Googleを選択する理由はないと思います。

読みの表示

実は読みの表示は音声認識エンジンの機能です。AmiVoiceの場合は認識結果に読みが含まれているのでそのとおりに表示することができます。Googleの場合は音声認識の結果にあとから読みを機会的につけているため喋っていない読みがでることがあります。

発音のカバー率

Googleは実はそれほど喋った内容をそのまま出す処理を行っておりません。入ってきた音声に対して一番近い文章を出す方を優先しています。それとは反対にAmiVoiceは入ってきた音声に対してどういう結果があるかを優先します。その結果、Googleの場合は入力された音声が曖昧でもそれなりに正しいものを(多少喋ってないことが付加されたようになったり)出してきます。さらに雑音とみなすとまったく結果が出ないこともあります。

入力音声に対する結果を優先<出力する文章の正しさを優先

ということになります。ですので、UDトークの使用環境で言うと難聴者の方の発話や、まだ日本語を文法的にきちんと話せない外国人の発話に強いことになります。事実、この機能を提供したあとに、企業で働く難聴者の方がGoogleに切り替えたことにより「いままでリスピーク(復唱)をしてもらっていたのが、会議で自分で発言ができるようになった」と報告を受けています。

雑音環境

これは上記のカバー率によってくるのですが、雑音環境でも同じことが言えます。AmiVoiceは「きちんと入力された音声」に対しての精度を上げるためにチューニングをしています。逆にGoogleはもともと検索エンジンへの入力で使われる音声認識なのでとにかく雑音に強い側面があります。居酒屋やパーティーなどで筆談や通訳との併用で活用するには良いと思います。

編集のしやすさ

これはUDトークの機能になりますが、UDトークは喋り終わる前でも小刻みに認識結果が確定したところから編集ができますが、Googleは話し終わるまで編集することができません。短い発話を繰り替えすような会話環境なら良いですが、やはり講演などではAmiVoiceで運用するのがいいと思います。

まとめ

こうやって列挙すると講演等でしっかりと環境を整えて運用をするケースではGoogleを使う理由はあまりないですが、喋る人が自分で選ぶ(特に難聴者の方が使うとき)とすごく活用の幅が広がるのではないかと思います。

こちらはAmiVoiceでの結果になります。「、」が入っているのとAmiVoice、Google、UDトークにきちんと読みがなが入っています。単語登録がされている結果でもあります。スマホに向かってきちんと話したので一回でこの結果を出すことができました。

こちら、Googleでの結果になります。文末の「。」はUDトークの方で挿入しているものですので、音声認識自体では句読点は出されていません。当然amivoiceやgoogleなどには読みは振られていません。「短い髪は」は「みじかいはつわ」の誤認識ですが、読める文章に近づけているのがわかります。ちなみに「は」とか「が」も言い忘れたところに挿入されたりしています。もっとシビアな環境で試してみたいですね。

こちら、一般の方にはコンパクトプランと言う形式で提供しておりますが、有料のアドオンとなります。もし難聴者の方でまず試したい方がいましたらSmilingual(スマイリンガル)をインストールしてみてください。こちらもGoogleで実装してますので、自分の声の認識が認識しやすいかどうかを試してアドオンを購入されるといいと思います。

「選べる」ということはアプリの機能としてとても重要です。UDトークは

  • 音声認識エンジンの選択
  • 翻訳エンジンの選択

ができる数少ないアプリでもありますので、ぜひいろいろ試していただき自分にとって最適な使い方を見つけていただけると幸いです。

【運用レポート】WordCamp Tokyo 2019

WordCamp Tokyo 2019。WordPressと言えばきいたことがある人も多い、ホームページを手軽に作れるオープンソースのプログラム。またコミュニティとしてとても大きなイベントが行われます。今回UDトークはアクセシビリティ対応として「ツールスポンサー」と言う形でこちらにアプリを提供させていただきました。

セッションは4部屋同時開催。午後から一部屋は同時通訳も入る英語セッションとなりました。

UDトークはスポンサー展示ルームで行われるトークを字幕対応しながらいらっしゃった方にデモをすると言う感じで一日会場で過ごしてました。

編集スタッフは20名近い人が名乗りを上げていただき、各部屋に2名ずつくらい配置。誤認識の修正もきちんと行われていきました。スクリーンには日本語と英語、手元への配信も専用ページを作成して案内する形です。ここのところのUDトークが公式で関わるイベントでは定番の理想的な運用となりました。

https://udtalk.jp/wct19/

午後からの英語セッションは英語で認識して日本語で見るわけですが、ほんと最近急激にGoogleの認識精度がすごくあがりました。字幕だけ見ていてもある程度意味は把握できます。

WordPressの開発から運用してるかたやユーザーの方までいろんな方が参加されるイベントとなりました。

そして、来年2月にアジアでは初開催となるタイで行われるWordCamp AsiaでもUDトークの運用されることが決まりました。それはまた後ほどご報告いたします。

【重要】iOS13.2がリリースされました。こちら音声認識に関わる大きな変更点があります

iOS13.2がリリースされました。こちら音声認識に関わる大きな変更点があります。
iOSで使用しているSiriやキーボードでの音声入力の音声データの扱いについてのポリシーがAppleから明確になっています。

UDトークだと無料版の日本語以外の音声認識、Smilingual(スマイリンガル)だと日本語を含む殆どの音声認識が対象になります。

まず13.2にアップしたときの最初の起動時に音声データを解析用として提出するかどうかのダイヤログがでます。ここでまず選択することでiOSに向かって喋った音声をどうするかを選択することができます。

あとから設定をするときは「設定>プライバシー>解析および改善」で「Siriおよび音声入力の改善」のチェックがあるのでこれを外すと音声データの保存がされません。

もう一つは「設定>Siriと検索>Siriおよび音声入力の履歴」です。ここで現在喋ってAppleのサーバーに蓄積されてあるであろう自分の音声を消すことができます。

つまりこれで「Appleは音声データというユーザーのプライバシーをユーザーの選択で管理できる」ことになります。つまりiOS版のSmilingualはiOS13.2にアップして音声を提供しない設定にすれば何ら問題なく各所でつかっていただけることになります。

UDトークに関して、無料版の日本語音声はこちらはプライバシーポリシーや利用規約で明確にした上で「AIの学習のために収集し再利用を行って」います。実は他の音声認識のアプリはこのあたりを明確にしていないケースがあるので一度ご覧になってみてもいいと思います。

【ヒント】喋った音声はどうなるの?

じゃ音声の提供はダメなことなのか?ユーザーに内緒で集めたり強制的にとか規約をわかりづらくしてやるのは間違いなくよくありません。ですが、そうしたデータをUDトークやAppleに提供することで認識率が上がることにつながります。つまりAIの学習やビッグデータは利他的なテクノロジーだと考えています。

最終的な設定や判断はユーザーの皆様に任せますが、少なくともいままでiOSは音声データがどうなっているのか?という曖昧なところがなくなったのでますますiOSのデバイスに搭載されている音声認識がビジネスシーンで使われていくことになると思います。

なのでSmilingual、会社も学校も官公庁も、使ってくださいね。UDトークは学校も官公庁は法人向けプランを契約してください(利用規約内、ライセンス上で決めてます)。

Smilingualはこちら。

iOS版 ver.105、Android版 ver.76をリリースしました

iOS版 ver.105、Android版 ver.76をリリースしました。今回は大きなバージョンアップが含まれています。

1.日本語から英語への翻訳エンジンを選べるように

UDトークは日本語から英語への翻訳エンジンは高電社の「翻訳クラウド」、それ以外はGoogle翻訳を採用しておりました。やはり日本語の言い回しなどは日本のメーカーが強いと言う理由でしたが最近Google翻訳が、特に長い文章で行った時にすごく精度が上がってきたのでこれを選択できるようにして好みで使っていただけるようになりました。この2つのエンジンの違いは「手前味噌ではございますが」を認識させると面白い結果になります。「メニュー>トーク設定」で変更ができます。

2.日本語の音声認識エンジンを選べるように

法人向けプランとコンパクトプランで日本語の音声認識エンジンをAmiVoiceとGoogleで選択できるようにしました。最近Googleの無料アプリが話題なのと、Googleの日本語もだいぶ良くなってきたのでUDトークでもGoogle音声認識が使えるように実装してみました。AmiVoiceとの違いですが、認識率はそれほど変わらず、AmiVoiceのほうが句読点がしっかり出たり、単語登録もできたりなどアドバンテージがあります。Googleは雑音や曖昧さに強い傾向はありますが。AmiVoiceは何が音があるところは出す、Googleは認識できないところは何も出さない、と言う違いがあります。法人向けプランとコンパクトプランをご利用の方は管理ツールで設定の上、「メニュー>トーク設定」で変更ができます。

3.サブディスプレイ(プロジェクタ出力)で画面上部に時計とタイトルを表示

サブディスプレイと言う言い方でプロジェクタへ別画面での出力をサポートしていますが、そこの画面に設定で時間とタイトルを表示できるようにしました(いま長いタイトルは末尾がトリミングされてしまうため現在調整をしております)。時計があると動作しているのもわかるのでぜひご一度設定してみてください。

4.iOS版、ver.103とver.104の不具合を修正

両バージョンであったプロジェクタ出力の致命的な不具合を修正しました。必ずバージョンアップしてください。

【重要】iOS版のver.104ですが、プロジェクタ出力で行間がおかしくなる不具合が修正しきれてません

iOS版のver.104ですが、プロジェクタ出力で行間がおかしくなる不具合が修正しきれておりませんでした。

発生する手順としては

・プロジェクタの抜きさしを行う
・「カスタム」や「デュアル」の切り替えを行う

これをすると裏で大きなメモリを確保したまま開放されず動作が極端に重くなってしまったり、行間がおかしくなったりする不具合があります。

いま原因を修正してバージョンアップ版をご用意しておりますが、2〜3日掛かりそうです。

対処法としては動作がおかしくなったらアプリを一度終了させて立ち上げ直してください。プロジェクタ出力切り替えを行わずすぐに運用をしてください。

プロジェクタを使ってない場合は特に問題は発生いたしません。

ご不便おかけしますが、よろしくお願いします。

 

【重要】本日リリースされたiOS版 ver.103に不具合があります。

プロジェクタ出力で2言語を表示する際に行の高さがおかしくなり一部文字が消えてしまう不具合がありました。

この週末にデュアル画面でプロジェクタに2言語をお使いの予定の方はアップデートをしないでください。

すでにバージョンアップ版のver.104を申請しましたので1〜2日中には対応版がリリースされます。

1言語のみを出すモードでは問題は確認されていません。

大変ご不便おかけしますがよろしくお願いします。

国際福祉機器展2019出展

9月25〜26日に開催された国際福祉機器展。今年も2000枚以上のチラシがなくなるなど多くの方にブースにお立ち寄りいただきました!

思えば去年くらいまではUDトークのブースには多くの聴覚障害者支援での課題を抱える方がいらっしゃってましたが、去年あたりから変わり始め今年はほとんどそういう方はいらっしゃいませんでした。ではどういう方がいらっしゃったかと言うと、外国人対応での課題を抱える方や外国人です。

つまりUDトークは多言語コミュニケーションの課題を解決刷るアプリに変わりつつあるのです。いま日本の福祉は多くの現場に外国人の方たちが従事しています。そこでのコミュニケーションにUDトークのような翻訳アプリを活用できないだろうかと。

ここ最近の翻訳精度の向上は目をみはるものがあります。中国、台湾、香港、フィリピン、タイ、マレーシアなどの方がいらっしゃいましたが、UDトークとSmilingualでなにも問題なく対応です。向こうも予め翻訳機や翻訳アプリを持ってらっしゃる方もいらっしゃいました。

福祉の課題が変わりつつあるなかでもUDトークは聴覚障害者支援だけではない「多言語コミュニケーション」に軸をおいているので、むしろいますごく自然に紹介ができます。

事前にお知らせしておいた新型AI搭載マイク「ピアボイス」も良かったです。この雑音下で離れたところからでも認識する精度はUDトークよくご存知のかたほど驚いていました。もうすぐ販売しますのでお待ち下さい。

それではみなさん、また来年お会いしましょう!

【運用レポート】Code for Japan Summit 2019

9月28〜29日、Code for Japan Summit 2019が開催されました。UDトークはシルバーパートナーとして協賛。サミット内の全てのプログラム(セッション、ワークショップ等)に多言語自動字幕を提供しました。

とにかくプログラム数が多いサミット。同時に10箇所で行われるおそらくUDトーク史上最多の運用だったのではないでしょうか(それ以上やった!と言う方は名乗り出てください)。

全ての部屋でスクリーンには日本語と英語を投影。サミット専用アプリから各部屋のUDトークを起動できるようになっていてすぐに手元で見ることができます。編集スタッフも少ない人数のなかみんなで協力し編集を行いました。ほんとに裏方の記録班の方たちんは感謝しかありません。

開催場所の神田外語大学の設備がすごく、メイン会場の「食神」からの中継を8号館の屋内上部にあるメインスクリーンに表示。ここは食神に入れなかった人がサテライトで見る場所なのですが字幕とスライド内容と話者のアップのワイプが入り最高の環境でした。

またセッション形式のプログラムにはすべてグラフィックレコーディング(グラレコ)も入りあとから振り返りがしやすくなっています。こちらもセッションが重なるなか2日間お疲れさまでした。

また海外の方が登壇するセッションもあり英語から日本語(多言語)への自動翻訳字幕としてもUDトークを活用。もちろん日本語のセッションも多言語で見ることができたので、海外ゲストからもこの取組は好評でした。

会場のどこに行っても字幕とグラレコがあると言うこういう環境を作るのは難しいのでしょうか?(簡単ではないです)

でもまず「こういうイベントを作りたい!」と言うのを前提にしていれば機材の調達(今回これが一番大変でした!)やスタッフの配置など工夫ができます。これで例えばメイン会場だけ字幕があるとかだとぜんぜん意味や意義が変わってきます。全部に設備として配置するくらいがUDトークは良いのです。そして今回は字幕が必要と思われる人(聴覚障害者、外国人)が参加するセッションには修正者を多めに置くなどのコントロールもしました。それも一つの工夫です。

ともあれ無事に終了し、大量のテキストログが手に入りました。後日、グラレコチームとのデータ分析をするミーティングも企画されることになります。イベントが終わったあとに残した可視化データは「資産」です。

Code for Japan Summitは多くの方に知っていただきたいUDトークのすごい運用事例です。次回は来年、愛知で開催されますので、またお知らせします!

【運用レポート】函館野外劇、報告

7〜8月に行われた函館野外劇。UDトークが自動翻訳で多言語対応字幕として採用されました。その報告をいただきましたので掲載します。

ベトナム語が「ノーケア」だったのが主催者の方も驚いていたようです。日本にはいまたくさんのベトナム人の方が来ていて働いています。語学の習得ももちろん大事ですが、自動翻訳でうまくいくことは雇用する企業さんにとって朗報なのではないでしょうか。

たしかにUDトークでイベントを行うときもベトナム人の方はいまままでも「字幕ありがとうございます」と言ってニコニコとしてくださってました。

自動翻訳の精度がってよく言いますが、全体を通して内容が伝わるか、受け取れるかというのはインターナショナルなのかなと思います。

ぜひベトナム語環境でUDトークを活用ください!

ーーー
ご無沙汰しています。UDトークの結果報告です。

①使用言語 英語、中国語、韓国語、ベトナム語、日本語

②利用人数
正確にはつかめませんが、30〜40人程度。

③利用者の感想は概ね良好。日本語はまだ、フィードバックがないので正確には把握できない。

④制作者としての感想
自動翻訳が十分に機能していないので、正しい訳文が出てくるよう、台本の修正が必要で、作業量もかなりのものであつた。英文が得られれば、中文、韓文は簡単に得られるものと思っていたが、それぞれに翻訳に対するケアがひつようであつた。ベトナム語はノーケア、思いがけない利用であったが、十分役に立っていたようである。

⑤ワイファイはレンタル1台、公園内のフリーワイファイで十分であったが、今後については検討が必要かもしれない。

おかげ様で次への手がかりが得られました。取り急ぎご報告まで。
ーーー

以下、以前このページで紹介した函館野外劇の投稿の転記です。

ーー
【新聞掲載②】函館野外劇で多言語対応アプリとして活用!

http://www.yagaigeki.com/

6月26日付けの北海道新聞より、UDトークの「函館野外劇」での導入が記事になりました。記事全文文字起こししてますのでお読みください。

とても自動翻訳の特性を理解して運用されているのだなぁと思うところは

「一方自動翻訳の精度には課題が残るという同会の土谷雅宏理事は「大枠のストーリーが伝わる翻訳となるよう、送信する台本に手を加えている。また、英語、中国語、韓国語を話せる人に監修をお願いしている」と話す。」

台本の方を調整する、と言うアプローチは自動翻訳技術を使いこなす上では重要なアプローチです。

7月12日から五稜郭公園で開演です!

ーーーー
【主催NPO翻訳アプリ導入】

函館市の五稜郭公園で7、8月に行われるNPO法人市民創作「函館野野外劇」の会の講演で、約160ヶ国の言語を翻訳できる無料アプリケーション「UDトーク」が初めて活用される。

劇の進行に合わせて、スマートフォンやタブレット端末にセリフが表示されるほか、聴覚障害者向けには日本語の字幕を流すことができる。クルーズ船の寄港などで米国人観光客の増加が見込まれる中、客層を広げていく狙いだ。

UDトークは「聴覚障害者のある人とコミュニケーションの手段に」とアプリ開発などを手掛ける「シャムロックレコード」(東京)が、2013年に開発。会話の内容や事前に打ち込んでいた言葉を画面に表示し、翻訳できる機能が備わっている。

これまで法人や自治体など400以上の団体で導入されるなど、国内で活用が広がっている。

同会によると、これまでも野外劇を観劇した留学生や聴覚障害者だから「何をしているかわからない」「内容を知りたい」との声が寄せられていたという。
こうした不満や要望に対し、同会はアプリ「あらかじめ用意した台本のセリフをリアルタイムで届けられる」としてUDトークが有効と判断した。

来場者はアプリをダウンロードし、会場にあるQRコードを読み込むことで利用が可能になる。

劇中、役者の演技に合わせて同会が送信した日本語のセリフが各自の手元の端末で受信でき、設定しておいた言語に翻訳して表示される。

一方で、今年で32回を数える函館野外劇が昨年は50代以上の来場者が半数を超えるなど、新規客の取り込みが課題となっている。
同会の里見泰彦事務局長は「今年は外国人研修生を招待する予定もある。日本だけではなく、海外の人に函館の歴史や野外劇を知ってもらえれば」と期待している。