shamrock1976 のすべての投稿

【運用レポート】インターナショナルオープンデータデイ@富山県南砺市

3月2日のインターナショナルオープンデータデイ。各地でイベントが行われました。インターナショナルなイベントということでいくつかのイベントではUDトークが多言語リアルタイム字幕対応として使われた〜、と言う報告もいただきましたが、一つ富山県南砺市で行われたイベントをご紹介します。主催はCode for Nantoさん。


南砺市に住む外国人の方たちとの困りごとはなに?をテーマに交流を深めると言うテーマ。会場にはアメリカ、フィリピン、カンボジア、ベトナム、中国からいらした方で参加者の半数を占め、まさにインターナショナルな感じでした。

UDトークは多言語対応のアプリとして、スクリーンに日本語と英語、みなさんのスマホやタブレットを貸し出してベトナム語、クメール語(カンボジア)、英語などに設定。発言は日本語をベースに進められ時々母国語で。自動翻訳でうまく伝わらないときは一緒に来てる日本語が得意な人が日本語で逐次通訳をして、またそれをUDトークで翻訳して配信するなど工夫をしました。これだけの国の人がいるなかである程度の情報共有をUDトークでできたことはとても良い実績にもなりました。参加者からも「これがあってほんとに良かった」「南砺市でも使ってほしい」などの声もでてきました。

イベントはグラレコ(グラフィックレコーディング)も入り内容全体がまとまっていく感じで。グラレコもイラストを多くし英語で注釈を入れていくなどの言語によらない多言語対応の工夫もありました。

いろんな情報共有のツールを使うことでいままでコミュニケーションが難しくて交流や参加ができなかったことがだんだんできるようになって来ています。特にこうした地域の交流でそういう工夫はとても重要だと感じました。
みなさんが普段思っていること、住んでる外国人の方たちはほんとに地域の日本人の方たちが大好きで感謝をしていること。じゃ地域はそういった外国人方たちこれから何をしていけるのか、ともに何をしていくことができるのか。とてもよいイベントでした。


参加者のみなさま、これから期待しています!

【導入報告】福井県越前市

福井県の越前市役所にUDトークが導入されました。福井県では初の導入となります。

聴覚障害者対応と外国人対応が一緒にできるのがUDトーク。しかも低予算で市役所内であれば複数端末でご利用いただけます。

習熟度を高めるとともに職員さんで誤認識の編集をしていくようになればいいかなと思います。

以下、新聞記事の文字起こしです。

ーーー
即座に文字化、多言語翻訳
音声認識アプリ活用へ
越前市窓口 会話、交流を支援

越前市は4月から耳が不自由な人との円滑なコミュニケーションのため、音声を認識して即座に文字化するアプリが使えるタブレットを市役所の窓口に置く。

多言語翻訳機能もあり、同市で増えている外国人市民に対するサービス向上にも役立てる。

活用するのはコミュニケーション支援アプリ「UDトーク」。アプリを起動させた端末に向かって話すとすぐに内容が字幕になって表示される。筆談より会話が円滑にできるとして、全国の自治体や法人で導入例が増えている。

多言語対応もしており、市内に増えているポルトガル語、ベトナム語を話す市民とのやりとりにも活用する。市民課、社会福祉課、長寿福祉課、子ども福祉課、健康増進課、税務課、今立総合支所のタブレットに導入する。

窓口業務だけではなく、講演や各種会議における字幕の投影、議事録作成の補助ツールにも使う。

アプリは無料配信されているが、法人契約によるバージョンアップに必要な年間費用として新年度当初予算案に34万円を計上。

複数端末の同時利用、長時間の接続、文字データの取り込みなどが可能になる。

4月までに市役所内で研修を重ね、職員間の習熟度を上げると同時に活用シーンをさらに増やせるように検討していくという。

市情報統計化はアプリの音声認識は100%ではないが、言葉のハンディがある人との80〜90%でもコミュニケーションできることが重要。今まで窓口に来る気になれなかった市民に足を運んでもらえるサービスに育てたいと話している。

【運用レポート】筑波技術大学

一昨年から導入して活用していただいてます「筑波技術大学」さんが美術館での実験を開始しました。

全国で美術館や博物館での活用が進んでいるなか、こうした取り組みをやっと大学レベルで取り組んでいただけるのはいいことですよね(そういった意味で初かと)。

記事の中にはUDトークと書かれてませんが、写真にはUDトークがばっちり活用されていますね。

筑波技術大学は障害者の方が入学することができる大学で、数多くの支援技術の開発や運用の取り組みをしています。こちらもそういった研究に活用していただけるのはとてもありがたいことです。

ぜひシェアお願いします!

で、記事内からはUDトークの名前が抜けてます。シェアするときは「筑波技術大学がUDトークを活用」の一文を添えてお願いします!

ただ一点、これQRコードで見せるときは「閲覧のみ」で公開をしたほうがいいですね(笑)。そういった使い方の指導も今後行っていけたら思っています。

https://www.yomiuri.co.jp/local/ibaraki/news/20190203-OYTNT50038/

【法人向けプラン導入報告】川崎市議会

川崎市議会にUDトークが導入されました。

傍聴席へ導入して情報支援のツールとして活用されます。単語登録や編集もしっかりと行っていただけてるようで、良い運用が期待できそうですね。

議会への導入はいま検討しているところが多く、従来の手書きや人手でやっているのからのリプレースが進んでいます。

全国の議会関係者のみなさま、導入申し込みお待ちしております!

https://www.yomiuri.co.jp/local/kanagawa/news/20190205-OYTNT50228/

 

【運用レポート】三重県伊勢市

昨年から三重県伊勢市は市内全域で導入して活動知ていただいています。UDトークを聴覚障害者だけではなく外国人とのやり取りにも活用できると言う好事例です!

伊勢市はみなさんご存知のとおり有名な観光地です。これからどんどん観光での対応も期待されますよね。楽しみな導入例となりました。ここはぜひ一度行ってみたいなと思ってます。

ーーー
伊勢市UDトーク運用事例


伊勢市では、聴覚障がいのある人などのコミュニケーション支援の充実を目指し、平成30年9月からUDトークを導入しています。

来庁者の窓口対応について、今までは、手話の出来ない聴覚障がいのある人や耳の聞こえにくい人には、筆談等で対応していましたが、窓口での事務手続きの説明などでは、筆談では時間がかかり、説明が伝わりにくいことがありました。

また、外国人の窓口対応においては、英語や中国語などの多言語に堪能な職員が少なく、来庁者に対して丁寧な意思疎通が図れないといった課題がありました。

しかし、UDトークの導入以降は、会話内容をタブレット端末にリアルタイムに表示できることから、聴覚障がいのある人や外国人の多言語翻訳等において、お互いにストレスを感じることなく、スムーズな窓口対応ができるようになりました。

UDトークを通して行われた会話内容のログを保存できることから、今後は、要約筆記に代わる講演会や議事録作成など、多方面での利用を考えています。

平成30年9月5日の市長定例記者会見で発表されました。
『平成30年9月5日 市長定例記者会見』

http://www.city.ise.mie.jp/16523.htm

平成30年9月12日の伊勢新聞記事に掲載されました。
『聴覚障害者の支援強化 伊勢市がアプリ「UDトーク導入」 三重県内初』

聴覚障害者の支援強化 伊勢市がアプリ「UDトーク」導入 三重県内初

【運用レポート】AccSell Meetup 014『おしえて!iOS VoiceOver 2019新春Ver.』

アクセシビリティについていろいろトピックを取り上げているAccSell(アクセル)さん。VoiceOverと言う視覚障害者の方がiOSを使うときにオンにするアクセシビリティの機能の紹介と活用のミートアップが開催されました。

講師の中根さんが手元でiPhioneを使いながら行うスタイル。さて、こういうときにUDトークの「シアターモード」が活躍します。

三脚で固定して中根さんの手元を映します。中根さんは全盲なので「だいたいこのあたりでiPhoneを使ってください」とだけ指示します。手元を映してるUDトークのシアターモードをプロジェクタに投影することでとてもインタラクティブな講習会を行うことができます。しかもUDトークのシアターモードは60フレームのカメラモードにしてあります(つまりコマ落ちやブレが少ない)。

この方法はいろいろ活用ができます。例えば最近の基盤系のハードを使ったプログラミング教育で手元のデバイスを投影して行ったりすることもできます。手話通訳と字幕を一緒に投影して大きな会場で見ることもできます。

シアターモードはカメラ越しに見た景色に字幕をつけるARっぽい機能でもあります。

UDトークは投影する方法でもいろいろなアプローチが試せますのでぜひいろいろやってみてください。

【運用レポート】シビックテックオンラインアカデミー

2019年、明けましておめでとうございます!今年もUDトークをよろしくお願いします。

さっそく新年最初の運用事例です。

Code for Japanが「シビックテックオンラインアカデミー」と言うのを新たにはじめました。これはZOOM(テレビ電話アプリ)を使っての生配信になります。ではこれに字幕の配信もあったらいいよね、ということでさっそく運用してみました。こういうのをCode for の人たちは面白がってやってくれるのでこちらも楽しいです(立場としてはCode for Nerimaの代表、青木秀仁としてやっております)。

さて、ZOOMでCode for Japanの代表関さんとCode for ふじのくにの市川さんが東京と静岡で話しています。お二人にはヘッドフォンをしてもらい、静かな部屋でiPhoneでUDトークを起動していただき机においてもらい開始と同時にONにしてもらいました。トーク公開時には「同時発言を許可する」をONにしているのでふたりとも音声認識ができます。
二人の発言は完全に分離されてしかも良い状態で認識しているので会話の内容がだいたい正しく表示されます。参加者は映像と音声に加えて字幕も見ることができます。誤認識は参加者みんなで直していきます(今回は僕は編集者として参加)。

思った以上にうまくいきました。そしてこれはYouTubeにアップされるので、この会話ログを元にYouTubeの字幕を作ることも可能です。公開されたらまたお知らせします。
運用図と参加者がどう見えていたのかの写真を添付します。ぜひみなさんもこの方法で字幕付き動画生配信やテレビ会議をやってみてください。

そして、さっそく字幕付きのYouTubeを公開です!
https://www.youtube.com/watch?v=jI9gqDlH95Y

【トピック】イベントでの運用方法2つ紹介

UDトークは「喋った言葉を文字にする、翻訳をする」と言うとてもシンプルな機能を提供しているアプリです。なので使い方や運用方法はいろんなパターンが考えられます。

そうしたナレッジをまとめてイベントでの運用方法2つをご紹介したいと思います。


1.コスト最小限!多言語自動リアルタイム字幕

  • スクリーン投影:なし
  • 単語登録:しっかりと
  • 同時編集:なし

リアルタイム字幕はQRコードを発行して参加者のお手持ちのスマートフォンで見てもらいます。イベントでの準備は予めこちらのマニュアルにそって準備をしておきます。

イベント開催時のマニュアル

イベントが始まったら音響設備に接続してある端末の「タップして話す」ボタンを押すだけです。あとは自動で認識してQRコードを経由して参加者の手元のアプリへ字幕を送信します。単語登録がしっかりされているので認識率もそこまで悪くはないです。こちらの運用方法はSEMICON Japan 2018で実際に運用されたパターンです。すべての会場、すべてのセッションに完璧ではなくても字幕を提供したい、しかも低コストでということが実現できました。もちろん終了後にはすべてのセッションの全文ログが保存されています。録画されている動画と照らし合わせてあとから編集をし全文記録を必要に応じて作ることができます。

これにかかるコストは

  • 機材のレンタル費用
  • スタッフによる単語登録の作業
  • 必要に応じてコンパクトプラン、もしくはイベントプラン

のみとなり、UDトークのリアルタイムの運用に関してはスイッチをいれるだけなのでほとんどかかりません(アプリが落ちたときに復帰するくらい。アプリなので絶対に落ちないとは言えませんので)。

ただし、自動翻訳を利用するときは「原文が100%正しいことが条件」でもあるので様子を見ながらちょっと修正するだけでも効果は大きいと思います。


2.リアルタイム字幕はエンタメ!スクリーン投影

  • スクリーン投影:あり
  • 単語登録:分かる範囲で
  • 同時編集:あり

シンポジウムやカンファレンスで自動でリアルタイム字幕が出てくるのはある意味「エンタテイメント」でもあります。それにスピーカーの写真を取るときにあえて字幕をフレームに収めると「その人が何を喋ってるときの写真なのか」が分かる、いままでにはなかった新しいメディアとして扱えます。従来、福祉の世界では隅っこに追いやられていた字幕が、音声認識でこのスピードで全文出てくると非常にエキサイティングなのです。これはスーパーマーケットトレードショー2018での運用例がそれにあたります。

ただしスクリーン投影をすると言うことはそれなりに目に入るので間違ったものは直して行ったほうがいいでしょ。かつ、スクリーンは一方通行に流れていきます。手持ちのスマートフォンであれば例え音声認識の結果が間違っていても、後の結果をみてさかのぼって内容を再確認もできますが、スクリーンだけみているとそうもいきません。なのでスクリーン投影をするときは編集作業は必須となります。

ただし編集者をつけるときはだいたい常時2名、張り付きで作業を行うことになり、それなりに人件費がかかってきます。ですが、そのぶん事前準備のコストを下げることができるのでそのあたりは「どういう字幕を出したいか」によるバランスにもなってくるかと思います。でも編集者は特別なスキルは必要ないので、そのイベントのスタッフさんが開いてる時間に行うというのも十分可能です。

自動翻訳を利用するときは「原文が100%正しいことが条件」でもあるのでこちらの運用だと多言語字幕も安心して提供できると思います。


1か2か、もしくは1をベースに考えてポイントとなるところだけ2で対応する、と言ったパターンも考えられます。大事なのは「全部で提供する」ということです。「この時間帯だけ」とか「このセッションだけ」のような提供の仕方ではなく、場所や会場単位で対応していくのが良いと思います。

ちょっとおまけで、3を挙げますが、こちらはあまりおすすめしません。


3.編集者なしでスクリーン投影はおすすめできない?

  • スクリーン投影:あり
  • 単語追加:そこそこ
  • 編集者:なし

もちろんないよりはあった方がよいのですが、参加する全員がちゃんとUDトークのことを分かっていることが重要です。何も知らない人がみると簡単に直せる誤認識が放置されているので音声認識の評価を下げるだけなので、あまりおすすめはできないです。


と、いくつか運用パターンを書きましたが、これは「初めて音声認識字幕を見る人がいる」ときのマイナスイメージを避けること、つまり「成功体験」を重視した運用です。音声認識や自動翻訳と言う結果が不確定な技術はこの成功体験が重要で、その先の採用や運用のモチベーションに大きく影響をしてきます。

もし対外的にUDトークを使用するときは、2つの運用を参考にしてみてください。

(もちろん最終的には無人で自動で高精度で動かせるのが理想ですが、それまでは3は見かけたらアドバイスをしてあげましょう…)

【トピック】UDトークを上手に使うための3つのポイント

「どうやったらUDトークを上手に使えるの?」と言う質問、たくさんいただきます。同じアプリなのに「すごくよかった!」とか「まだまだぜんぜんダメだ…」とか、これだけ評価が分かれるアプリも珍しいかもしれません。こちらとしてはこの両極端の評価がさらに「どっちなの?!」と言う探究心をあおってみなさんで考えてくださってるのでそれもまた面白いかなと思っています。

それで評価が真っ二つに分かれるのはズバリ「使い方」なのです。UDトークは使い方一つで両極端に評価が別れてしまうくらい人による運用に依存した「道具」です。うまく使用する方法を3つ挙げてみたいと思います。


1.口を近づけて話す

音声認識の精度は9割がたこれに依存すると言ってもいいと思います。「音をきれいに取る」とも言いかえれます。つまり「スマホと口を近づけて話す」これがポイントです。音源(口)とマイク(スマホ)が離れている状態では音声認識はうまくできません。また音響設備と接続して使用しているときも「マイクと口を近づけて話す」がポイントです。ハンドマイクなどで行っているときは無意識に持って話すのでとてもいい結果が得られます。ただし、いくら音響設備から音をとったとしても集音マイクとか床に置くバウンダリーマイクなどでは音声認識は難しいケースが多いです。

【参考】
【ヒント】UDトークを音響設備に接続して使用する


2.単語登録をする

2つ目に「編集する」が来なくて意外と思った方も多いかもしれませんが、「口を近づけて話す」がしっかりとできている場合、単語登録をきちんと行うことで多少誤認識はありつつもかなり正しく出てきます。音声認識はただの機械なので「登録されていない単語は絶対にでません」です。なので単語登録をしないで運用するということは基本「ありえません」。大体の評価が低いところは単語登録をしていないケースがほとんどです。「固有名詞が出ないだけ」と考えていませんか?固有名詞がでないということはその前後の文脈における音声認識もできないことになります。最低限「名前」「組織名」「製品名」などは登録しておかないといけません。

【参考】
ウェブで単語登録する(単語登録アカウントの作成)


3.編集をする

1と2ができている状態であれば編集者の負担というのはかなり低くなります。運用例だとスマートフォンで編集をしても十分追いつけることも確認しています。「編集が大変!」「こんなの追いつかない」とよく聞きますが、それは1と2がやられてないケースで起きているのがほとんどです。編集はある程度コツはあります。例えば漢字かな変換は諦めてカタカナやひらがなで修正をしてしまうとか、聞き逃した単語があるときは「***」と「そこに何かがあったけどわからない」と言う修正をすることもあります。つまりリアルタイム字幕ときは「修正する」ことが目的ではなく「伝達する」ことが目的となります。そう考えると修正者の方向性も自ずと見えてくるのではないかと思います。


ぜひ今ちょっとうまく運用できていないなと感じている方はこの3つの点を見直してみてください。また参加したイベント等でうまく使えてないなと言うのを見かけたときはぜひこの3つの点を主催者に遠慮なく伝えてみてください。

アメディアフェア in 練馬

アメディアフェア in 練馬にお越しいただきありがとうございました!

今回Shamrock Recordsのブースには長谷川貞夫さんをお迎えしてご自身の開発「ヘレンケラーシステムプロジェクト」を発表していただきました。はい、UDトークは視覚障害者の方がたくさんいらっしゃるこの展示会には不向き、強力なゲストでブースはいつも満員でした!

じゃUDとーくは?と言うと、別室で行われていた4つのセミナーの全てにリアルタイム字幕をつけていました。もちろんQRコードを発行してお手元でもみれるように。そしてブースではZOOMと併用して「字幕付き生中継」を行っていました。これは説明すると「そんなことがこんな簡単にできるのか!」とみなさん驚かれてました。


練馬開催でかなり交通の便が良くなったのか例年よりも来場者は多かったとのことです。アメディアさんは練馬区を代表する福祉機器の会社さんで、全盲の社長の望月さんにみなさん会いに来たようでなんども「望月さんどこに行ったかしらない?」と尋ねられました。あとうちのブースが入り口付近で来場された方がたくさん長谷川さんに挨拶して行かれたのも面白かったですw

こちらのヘレンケラーシステム、今度はCode for Nerimaのブースで2月2日の「つながるフェスタ」で展示をいたします。コミュニケーション手段として障害を超えた面白いアイデアなのでぜひ皆さんに知っていただきたいと思いました。

ありがとうございました!