shamrock1976 のすべての投稿

【トピック】イベントでの運用方法2つ紹介

UDトークは「喋った言葉を文字にする、翻訳をする」と言うとてもシンプルな機能を提供しているアプリです。なので使い方や運用方法はいろんなパターンが考えられます。

そうしたナレッジをまとめてイベントでの運用方法2つをご紹介したいと思います。


1.コスト最小限!多言語自動リアルタイム字幕

  • スクリーン投影:なし
  • 単語登録:しっかりと
  • 同時編集:なし

リアルタイム字幕はQRコードを発行して参加者のお手持ちのスマートフォンで見てもらいます。イベントでの準備は予めこちらのマニュアルにそって準備をしておきます。

イベント開催時のマニュアル

イベントが始まったら音響設備に接続してある端末の「タップして話す」ボタンを押すだけです。あとは自動で認識してQRコードを経由して参加者の手元のアプリへ字幕を送信します。単語登録がしっかりされているので認識率もそこまで悪くはないです。こちらの運用方法はSEMICON Japan 2018で実際に運用されたパターンです。すべての会場、すべてのセッションに完璧ではなくても字幕を提供したい、しかも低コストでということが実現できました。もちろん終了後にはすべてのセッションの全文ログが保存されています。録画されている動画と照らし合わせてあとから編集をし全文記録を必要に応じて作ることができます。

これにかかるコストは

  • 機材のレンタル費用
  • スタッフによる単語登録の作業
  • 必要に応じてコンパクトプラン、もしくはイベントプラン

のみとなり、UDトークのリアルタイムの運用に関してはスイッチをいれるだけなのでほとんどかかりません(アプリが落ちたときに復帰するくらい。アプリなので絶対に落ちないとは言えませんので)。

ただし、自動翻訳を利用するときは「原文が100%正しいことが条件」でもあるので様子を見ながらちょっと修正するだけでも効果は大きいと思います。


2.リアルタイム字幕はエンタメ!スクリーン投影

  • スクリーン投影:あり
  • 単語登録:分かる範囲で
  • 同時編集:あり

シンポジウムやカンファレンスで自動でリアルタイム字幕が出てくるのはある意味「エンタテイメント」でもあります。それにスピーカーの写真を取るときにあえて字幕をフレームに収めると「その人が何を喋ってるときの写真なのか」が分かる、いままでにはなかった新しいメディアとして扱えます。従来、福祉の世界では隅っこに追いやられていた字幕が、音声認識でこのスピードで全文出てくると非常にエキサイティングなのです。これはスーパーマーケットトレードショー2018での運用例がそれにあたります。

ただしスクリーン投影をすると言うことはそれなりに目に入るので間違ったものは直して行ったほうがいいでしょ。かつ、スクリーンは一方通行に流れていきます。手持ちのスマートフォンであれば例え音声認識の結果が間違っていても、後の結果をみてさかのぼって内容を再確認もできますが、スクリーンだけみているとそうもいきません。なのでスクリーン投影をするときは編集作業は必須となります。

ただし編集者をつけるときはだいたい常時2名、張り付きで作業を行うことになり、それなりに人件費がかかってきます。ですが、そのぶん事前準備のコストを下げることができるのでそのあたりは「どういう字幕を出したいか」によるバランスにもなってくるかと思います。でも編集者は特別なスキルは必要ないので、そのイベントのスタッフさんが開いてる時間に行うというのも十分可能です。

自動翻訳を利用するときは「原文が100%正しいことが条件」でもあるのでこちらの運用だと多言語字幕も安心して提供できると思います。


1か2か、もしくは1をベースに考えてポイントとなるところだけ2で対応する、と言ったパターンも考えられます。大事なのは「全部で提供する」ということです。「この時間帯だけ」とか「このセッションだけ」のような提供の仕方ではなく、場所や会場単位で対応していくのが良いと思います。

ちょっとおまけで、3を挙げますが、こちらはあまりおすすめしません。


3.編集者なしでスクリーン投影はおすすめできない?

  • スクリーン投影:あり
  • 単語追加:そこそこ
  • 編集者:なし

もちろんないよりはあった方がよいのですが、参加する全員がちゃんとUDトークのことを分かっていることが重要です。何も知らない人がみると簡単に直せる誤認識が放置されているので音声認識の評価を下げるだけなので、あまりおすすめはできないです。


と、いくつか運用パターンを書きましたが、これは「初めて音声認識字幕を見る人がいる」ときのマイナスイメージを避けること、つまり「成功体験」を重視した運用です。音声認識や自動翻訳と言う結果が不確定な技術はこの成功体験が重要で、その先の採用や運用のモチベーションに大きく影響をしてきます。

もし対外的にUDトークを使用するときは、2つの運用を参考にしてみてください。

(もちろん最終的には無人で自動で高精度で動かせるのが理想ですが、それまでは3は見かけたらアドバイスをしてあげましょう…)

【トピック】UDトークを上手に使うための3つのポイント

「どうやったらUDトークを上手に使えるの?」と言う質問、たくさんいただきます。同じアプリなのに「すごくよかった!」とか「まだまだぜんぜんダメだ…」とか、これだけ評価が分かれるアプリも珍しいかもしれません。こちらとしてはこの両極端の評価がさらに「どっちなの?!」と言う探究心をあおってみなさんで考えてくださってるのでそれもまた面白いかなと思っています。

それで評価が真っ二つに分かれるのはズバリ「使い方」なのです。UDトークは使い方一つで両極端に評価が別れてしまうくらい人による運用に依存した「道具」です。うまく使用する方法を3つ挙げてみたいと思います。


1.口を近づけて話す

音声認識の精度は9割がたこれに依存すると言ってもいいと思います。「音をきれいに取る」とも言いかえれます。つまり「スマホと口を近づけて話す」これがポイントです。音源(口)とマイク(スマホ)が離れている状態では音声認識はうまくできません。また音響設備と接続して使用しているときも「マイクと口を近づけて話す」がポイントです。ハンドマイクなどで行っているときは無意識に持って話すのでとてもいい結果が得られます。ただし、いくら音響設備から音をとったとしても集音マイクとか床に置くバウンダリーマイクなどでは音声認識は難しいケースが多いです。

【参考】
【ヒント】UDトークを音響設備に接続して使用する


2.単語登録をする

2つ目に「編集する」が来なくて意外と思った方も多いかもしれませんが、「口を近づけて話す」がしっかりとできている場合、単語登録をきちんと行うことで多少誤認識はありつつもかなり正しく出てきます。音声認識はただの機械なので「登録されていない単語は絶対にでません」です。なので単語登録をしないで運用するということは基本「ありえません」。大体の評価が低いところは単語登録をしていないケースがほとんどです。「固有名詞が出ないだけ」と考えていませんか?固有名詞がでないということはその前後の文脈における音声認識もできないことになります。最低限「名前」「組織名」「製品名」などは登録しておかないといけません。

【参考】
ウェブで単語登録する(単語登録アカウントの作成)


3.編集をする

1と2ができている状態であれば編集者の負担というのはかなり低くなります。運用例だとスマートフォンで編集をしても十分追いつけることも確認しています。「編集が大変!」「こんなの追いつかない」とよく聞きますが、それは1と2がやられてないケースで起きているのがほとんどです。編集はある程度コツはあります。例えば漢字かな変換は諦めてカタカナやひらがなで修正をしてしまうとか、聞き逃した単語があるときは「***」と「そこに何かがあったけどわからない」と言う修正をすることもあります。つまりリアルタイム字幕ときは「修正する」ことが目的ではなく「伝達する」ことが目的となります。そう考えると修正者の方向性も自ずと見えてくるのではないかと思います。


ぜひ今ちょっとうまく運用できていないなと感じている方はこの3つの点を見直してみてください。また参加したイベント等でうまく使えてないなと言うのを見かけたときはぜひこの3つの点を主催者に遠慮なく伝えてみてください。

アメディアフェア in 練馬

アメディアフェア in 練馬にお越しいただきありがとうございました!

今回Shamrock Recordsのブースには長谷川貞夫さんをお迎えしてご自身の開発「ヘレンケラーシステムプロジェクト」を発表していただきました。はい、UDトークは視覚障害者の方がたくさんいらっしゃるこの展示会には不向き、強力なゲストでブースはいつも満員でした!

じゃUDとーくは?と言うと、別室で行われていた4つのセミナーの全てにリアルタイム字幕をつけていました。もちろんQRコードを発行してお手元でもみれるように。そしてブースではZOOMと併用して「字幕付き生中継」を行っていました。これは説明すると「そんなことがこんな簡単にできるのか!」とみなさん驚かれてました。


練馬開催でかなり交通の便が良くなったのか例年よりも来場者は多かったとのことです。アメディアさんは練馬区を代表する福祉機器の会社さんで、全盲の社長の望月さんにみなさん会いに来たようでなんども「望月さんどこに行ったかしらない?」と尋ねられました。あとうちのブースが入り口付近で来場された方がたくさん長谷川さんに挨拶して行かれたのも面白かったですw

こちらのヘレンケラーシステム、今度はCode for Nerimaのブースで2月2日の「つながるフェスタ」で展示をいたします。コミュニケーション手段として障害を超えた面白いアイデアなのでぜひ皆さんに知っていただきたいと思いました。

ありがとうございました!

【運用レポート】東京都練馬区「みんなのUDパーク」

開発者の青木です。僕が代表を務める東京都練馬区のシビックテック団体Code for Nerima。12月15日(土)、練馬区主催の「みんなのUDパーク」に区との協働活動としてUDトークを使ってメインステージのリアルタイム字幕サポートを行ってきました。

司会者の方の話すことや、ステージの催し物での話し、途中字幕がついていない動画への字幕出し(動画の音声を認識)など、メンバー張り付きで臨機応変に対応しました。

休憩スペースにはテレビ会議アプリ「ZOOM」で中継しつつ、UDトークで字幕を表示。字幕付きテレビ生中継のようなものを実現しました。こうすると休憩しながらステージの内容も見れるのでいいですよね。これからも練馬区のイベントで応用していきたいと思います。

視覚障害者の方が中心となって活動されている演劇結社「ばっかりばっかり」さんの舞台では多言語対応をしてみました。さすがに演劇のセリフはそのまま自動翻訳では難しいので、まず簡単な英語でセリフを作成し、それをベースにUDトークで自動翻訳。もともと「ばっかりばっかり」さんのステージはプロジェクタを使ってセリフを吹き出しで表示するなどの工夫(noteの記事参照)をしていますのでそこに今回スクリーンで英語と中国語の字幕を出し、かつ手元にはお好みの言語で表示と言う対応にしました。詳しくはnoteを御覧ください。

ユニバーサルデザイン=障害者対応、と勘違いしている人が多いと思いますが、ユニバーサルデザインはアクセシビリティ、つまり「誰もが使いやすい、参加しやすい」というところを目指すものです。東京都練馬区はユニバーサルデザインを掲げていて、区民のみなさんが住みやすい参加しやすいイベントづくりをしております。

区の事業者や団体がこうして区のイベントをアクセシビリティでサポートできる形が他の地域でも実現していくといいなと思っています。

Code for Nerimaの公式レポートはこちらhttps://note.mu/code4nerima/n/n60f752e3c4c1?

【運用レポート】こんなところにUDトークが!

こんなところにUDトーク!シリーズ(笑)。

ユーザーさんから「UDトークが使われている」と言う情報をいただきました(ほんとよく見つけていただきました、さすがです!)。

動画の18〜30秒くらいで記者さんがICレコーダーとUDトークを片手で2つ持ちしてインタビューの内容を録っています。囲み取材などではわりと定番スタイルでもある、と。新聞社やテレビの報道局で活用されていることは把握していたのですが、こうしてニュースに写り込こむケースはとてもめずらしいし、面白い感じがします(笑)。

聴覚障害者とのコミュニケーションアプリで始まったUDトークですが、現在はこうした文字起こしの業務や議事録での活用が急速に増えてきています。
現在のUDトークには録音機能があるので、この2台持ちスタイルはもしかしたら昔から使われてる方なのかなーと思ったり。教えてあげたいです!

https://teachme.jp/27228/manuals/3394196/

また国会の内容などの文字起こしも記者さんたちの中ではUDトークで行っていると聞いたこともあります。テレビの前においておけばほぼほぼ文字になる、と(笑)。
音声と文字に関わる部分の仕事は音声認識技術によって大きく変わってきていますね。

ニュース元はこちら。キャプチャ画像はウェブサイトの動画から取りました(ソースから問題が指摘されたら削除するかもしれませんのでご了承ください)。

https://news.tv-asahi.co.jp/news_politics/articles/000142961.html

【シェア】東京都練馬区の「第2次みどりの風吹くまちビジョン」、アクションプランにUDトークの活用案が組み込まれました!

東京都練馬区の「第2次みどりの風吹くまちビジョン」、アクションプランにUDトークの活用案が組み込まれました!

みなさんご存知のとおりUDトークは東京都練馬区で開発されております(笑)。もちろん東京都練馬区でもUDトークは正式に導入され、Code for Nerimaと言う区民団体により区民協働のツールとしてもイベントで活用されております。

この度「第2次みどりの風吹くまちビジョン」のアクションプラン(戦略計画)の一部にUDトークの活用が組み込まれました。

戦略計画 21 窓口から区役所を変えるの「3 案内が正確・迅速に行われます」の一部からの引用です。

ーーー
高齢者、障害者、外国人の皆さんなどへの案内に、音声文字表示・翻訳の機能をもつ音声認識アプリ(UDトーク)の活用を進めます。
ーーー

「高齢者、障害者、外国人」と明記し、UDトークと言う名称がアクションプランに記載されることは練馬区の事業者としてこれほど嬉しいことはありません。これからも練馬区に貢献していきたいと思います。

ぜひ他自治体の方も参考になさってください。この件についてのお問い合わせは練馬区まで!

■戦略計画 21 窓口から区役所を変える
https://www.city.nerima.tokyo.jp/kusei/keikaku/vision2/visonap20181210.files/v2ap-s21.pdf

■練馬区報
https://www.city.nerima.tokyo.jp/kusei/koho/kuho/201812/20181206165152711.files/1211_all_sp_1-4.pdf

■第2次みどりの風吹くまちビジョン アクションプラン[戦略計画](素案)
https://www.city.nerima.tokyo.jp/kusei/keikaku/vision2/visonap20181210.html

【運用レポート】山形県立山形聾学校(宇治川雄大先生)

教育機関向けプランをご利用いただいている山形県立山形聾学校の宇治川先生からちょっと画期的なアプローチのUDトークの使い方をいただきました。

「指導者の授業改善の視点」とありますが、これは別にろう学校に限らず学校一般や塾や企業の研修などにでも適応できると思います。教員や講師が「振り返り」をすることで質のレベルアップが見込めます。

この件でお問い合わせがある場合は山形県立山形聾学校の宇治川までご連絡いただければご対応いただけるとのことです。
(写真が宇治川先生、優しくて熱い先生です!)

ぜひこれからもご活用ください!

ーーーー
授業改善を目的とした音声認識の活用について

山形県立山形聾学校
教諭 宇治川雄大

1.実践にあたり
本校では、平成28年度より、集団補聴システムと音声認識を活用した実践に取り組んでいます。実践の主な目的は、本校に在籍する聴覚に障がいのある幼児児童生徒が主体的にコミュニケーションを図る手段としての有効性を確かめることであり、実践を通して効果があることが分かりました。また、校外学習を中心とした教育活動での活用に加え、生徒が参加する研修会での情報保障としての活用、聴覚に障がいのある教職員に対しての情報保障としての活用、公開研究会や会議での議事録作成等の場面でも効果が実証され、現在も幅広く活用しています。

今回は、音声認識を用いた新しい実践の提案として、指導者の授業改善の視点で、音声認識を活用することを試みました。具体的には、指導者の授業での発問や指示を音声認識アプリケーションにより文字情報へ変換していきます。そして、授業後に文字情報をもとに指導者の発問や指示の内容を振り返るとともに、児童の実態に合わせた発話や指示を統一して使用していくことで、児童の学習理解を高めることに繋がるか検討しました。なお、本校では、Shamrock Records株式会社の提供する「UDトーク」を、法人向けプラン(教育機関向けプラン)の契約を結んだ上で使用しています。

2.実践の紹介
今回の実践は、小学1年生の算数科「なんじ、なんじはん」の単元で検討を行いました。以下に、実践の結果について紹介します。

単元を始めるにあたり、指導者の発言について、長針を「ながいはり」、短針を「みじかいはり」等と言い方(板書や学習プリントも含む)を統一したり、発問を「長い(短い)針はいくつですか。」「何時(何時半)ですか。」等の言いまわしで統一したりしました。しかし、実際の授業では、「(長い針は)いくつのところですか?」と計画と異なる言い方で発問してしまったため、児童が混乱し、指導者が答えを児童に伝えるような状況になりました。授業を行っている際は、指導者は児童が発問の意味を捉えられないと判断して進めましたが、データを確かめたことで、指導者が統一した発問の言いまわしと異なる言いまわしをしてしまったために、児童が発問の意味を捉えきれず答えられない状況が生じたことが明らかになりました。

そこで、次時からは、特に発問においては、統一した言いまわしを徹底することを意識したことで、児童は発問の言いまわしに慣れることができました。その結果、単元の後半になると、児童は長針や短針の位置についての発問に対して数字を答えることができるようになり、授業の中心課題に時間を十分にかけて学習し、目標の達成に繋げることができました。

このように、ビデオカメラ等の機材を準備して記録したり、複数の教員で発言や指示の内容を記録したりすることなく、指導者が容易に自らの授業の振り返りが可能であることが、今回の実践から示唆されました。

【運用レポート】g0v Hackathon at Taiwan

10月にUDトークをサミットで採用していただいた台湾のシビックテックグループ「g0v(ガブゼロ)」主催のハッカソンでUDトークが活用されました。中国語と英語のスピーカーがそれぞれ発表をしていくなかで、双方向に翻訳をしていきスクリーンで2言語、手元のアプリで多言語への翻訳をして皆さん参加されたそうです。中には聴覚障害者のグループも参加していてUDトークに驚いたとの報告もありました。

音響設備との接続や話者がマイクを持って話すなどいろいろ課題はあったようですが、日本での使いこなしのノウハウをぜひg0vに伝えていきたいと思っています。

また実は台湾のあるコワーキングスペースで正式にUDトークを導入するという話もいま進めていますのでまた追ってご報告いたします。日本初の翻訳アプリ、世界にはばたけUDトーク!(笑)

SEMICON Japanセミナーステージ(TechSTAGE)のすべてのセッションでリアルタイム字幕を提供します!

セミナーステージ(TechSTAGE)のすべてのセッションでリアルタイム字幕を提供します!
SEMICON Japan、日本最大級のエレクトロニクス製造サプライチェーンの国際展示会です。こちらの3つのステージでUDトークによるリアルタイム字幕をアクセシビリティサービスとして提供いたします。

お手元のスマホやタブレットへ配信します。誤認識の編集は今回行いませんが、単語登録を事前にきちんと行っているので内容は把握しやすくなっていると思います。これについては各ご意見あると思いますのでぜひ参加してどうだったかをシェアしていただけるとありがたいです。

こういう「すべてのセッションに自動字幕」というのが展示会では増えてきました。そしてもう来年にはあたりまえになっていく手応えは感じています。

ちなみに今回UDトークは協賛という形で関わっております。こうしてウェブページにロゴなど配置していただけるだけでOKですので、ぜひお問い合わせください2〜3ヶ月前からご提案いただけると良いかと思います。

■SEMICO Japan
http://www.semiconjapan.org/jp/

■TechSTAGE
http://www.semiconjapan.org/jp/programs/techstage

■UDトークについて
http://www.semiconjapan.org/jp/UDTalk

【運用レポート】神戸市(プレミアムプラン&講習会)

先日「神戸市」でUDトークの講習会を担当させていただきました。6月からスタンダードプランでご利用を頂いていたのですが、12月からプレミアムプランにアップグレード、神戸市内全域でUDトークが活用できるようになりました。

講習会は午前と午後2回に分けて行われ、述べ40人くらいの方がご参加されました。参加された方は神戸市役所の様々なセクションの方々です。

外国人対応と議事録作成で多くの質問がありました。UDトークもそのあたりを中心に機能を紹介させていただきました。

また運用事例では開発者の青木自身が東京都練馬で行っている「Code for Nerima」の活動を例に、UDトークでリアルタイム字幕の対応を市民団体と一緒に「協働」で行っていくこともできることを紹介しました。市民の方たちと一緒にアクセシビリティに取り組むことはいま大事な課題としていろんな自治体が取り組んでいる「市民協働」なのです。

神戸市くらいの大きな自治体で全域で導入していただけることはとても良い事例となります。これからも定期的に講習会をひらいたり事例の吸い上げなど行っていきたいと思います。

ぜひご活用ください!