shamrock1976 のすべての投稿

【導入報告】神戸市情報化戦略部様

「UDトークで働き方改革」です。こうした導入例は今後増えていくのではないかと予想しています。会議の議事録はもちろんのこと、講演や研修の報告書作成なんかにも活用できるでしょう。全文ログをすぐに作成して広聴広報なんかにも活用できそうですよね。

こちらもいろいろとアイデアがいただけそうな導入事例です。ぜひ他の自治体の担当者様もご参考になさってみてはいかがでしょうか。

ーーーー
導入のきっかけ:神戸市役所では積極的にICT技術を取り入れることで、業務効率化を図っています。庁内で議事録作成(文字おこし)の作業が多く、これらは市民の方々に直接価値を生まない作業だったので、機械で代替する方法を模索していたのがUDトーク試行導入のきっかけです。

利用方法:議事録の作成が必要な、比較的少人数の打ち合わせでUDトークを利用しています。具体的には事業者との打ち合わせ等に利用することで、別途マイクを購入せずとも精度よく議事録が作成可能です。また、各局の担当者が速報的に書き起こしていた市会の内容を、UDトークで代替可能か現在検証中です。

今後:今年度は限定された部署で試行的に議事録作成事務の代替を検証予定ですが、将来的には区役所の窓口でのアクセシビリティ向上や、日本語が不得手な方々への多言語対応にも活用できないか検討しています。

【運用レポート】昭和学院短期大学様

5月のことになりますが、この度、昭和学院短期大学様にUDトークを導入し、実際にUDトークをご利用になる教職員さんたち向けにUDトークの講習会を担当させていただきました。

UDトークの基本的な使い方やコンセプトなどをいつもどおりお伝えすると、このアプリが聴覚障害学生へのサポートのためだけのものではないことに気がついていただけます。そうするといろんな活用方法のアイデアが浮かんできます。講習会はそんなちょっとしたきっかけを見つけていただくお手伝いをさせていただく感じです。

そしてここでも「シアターモード」とVRゴーグルは大人気でした(笑)。
特にシアターモードは聴覚障害学生にプリントに「書き込み」を入れてもらうときに使える、と言うことでした。確かにカメラ越しにプリントを見ながら先生の言葉も見える。これは画期的なアイデアかもしれません。
これからもご活用ください!よろしくお願いします。

UDトーク講習会@岐阜羽島

6月24日(日)に岐阜県の羽島市で開発者によるUDトークの講習会が開催されます。

主催の岐阜音声認識支援研究会さんはUDトークを導入していただき、同様に導入されている岐阜県白川町のサポートや先日の岐阜市長選挙でもUDトークを使った候補者演説のサポートをするなど活用されております。

県外の方でもご参加可能ですのでお気軽にお問い合わせください!

ーーーー
【平成30年度 第1回 音声認識活用講座】
会話が視える!UDトーク講習会

2018年6月24日(日)
13:30~16:00 (受付13:00〜)

羽島市福祉ふれあい会館
2階 地域ふれあいスペース

参加費:無料
定 員 :60名(締切:定員になり次第)
講師 :青木 秀仁氏 (郡上市出身・東京在住)
シャムロック・レコード株式会社 代表取締役
コミュニケーション支援アプリ 「UDトーク」 開発者
主 催 : 岐阜音声認識支援研究会
後 援 : 岐阜県 ・ 岐阜県教育委員会
羽島市 ・ 羽島市教育委員会
(一財)岐阜県身体障害者福祉協会
(一社)岐阜県聴覚障害者協会
羽島市身体障害者福祉協会
岐阜市身体障害者福祉協会
(特非)ぎふ難聴者協会
岐阜新聞社 岐阜放送

Android版にシアターモードを実装しました!

Android版 ver.51をリリースしました。iOS版で実装されているシアターモードをAndroidでも採用しました。

操作方法ですが、トーク画面でメニューから「シアターモード」を選択。

・1指タップで文字が出る場所が右回りで変わります。
・2指タップでVRモードに切り替わります。
・ピンチインアウトで文字の大きさが変わります。
・1指ダブルタップで前の画面に戻ります。

UDトークは音声認識は「口にスマホを近づけて」と言う原則があるため、このシアターモードも単体で音声認識ができるモードではなく「相手が喋ってるのを見るため」の機能になります。ただ単体でも音声認識がしたい(静かな場所や条件が揃えば音声認識も可能)と要望も来ているので現在仕様を検討しております。

今回Android版ですが、端末によっては動作が重かったり、対応していないものもあります。その辺りは確認をできたわけではないのでもし動作がおかしかったときはお知らせください。

なお、今回Android端末では大きな端末でもちゃんとVRゴーグルに合うように大きさが調整されます。ですので小さめのタブレットの方でも(ちょっと無理がありますが)VRゴーグルでお楽しみいただけます。iOSも画面サイズの調整が入るものは現在申請中ですのでお待ち下さい〜。

【運用レポート】Code for Nerima

開発者の青木です。昨夜は僕自身が代表を務める東京都練馬区のシビックテック団体Code for Nerima(コードフォーネリマ)のセミナーで早速シアターモードを使った運用をしてみました。

まずはシアターモードでVRゴーグル対応モードにして見てみます。ちょうどこれくらいの部屋のサイズと照明だとみやすく、そしてメンバーも事前予告でゴーグルを用意してたりとかで講師側からみると面白い光景が。でもその講師もゴーグルを付けて話してみるとか近未来だかなんだか分からない状態に(笑)


またシアターモード+Macを使ってFacebook Liveでの配信も行ってみました。ここにもシェアしたのでご覧になった方も多かったのではないかと思います。
CPUパワーなのか配信のバッファなのかちょっと画面がカクカクしたのとびっくりするくらい電源を食うこともわかりまさかのバッテリー切れ。でも画面に字幕を入れ込んで動画配信ができる、しかもこんなシンプルな構成で、ということのまずは第一歩となりました。

こちらの配信については早速ノートテイクアプリ「まあちゃん」の開発者静岡福祉大学の森先生がnoteにアップをしてくださっています。

https://note.mu/mori_n/n/n4f49f73e2b7e

ツイキャスでの配信もチャレンジしてみたいと思ってます。

Code for Nerimaのレポートはこちら

https://www.facebook.com/code4nerima/posts/201623330355505

市民団体だからこそできる新しいことへの挑戦。シビックテック(シビック+テクノロジー)らしい取り組みでこれからもいろいろやっていきたいと思います。そして同じように活動している団体や遠方で参加が難しいメンバーが多いところにも参考にしてもらえたらと思ってます。

新機能「シアターモード」をリリースしました

iOS版 ver.71リリース。新機能「シアターモード」をリリースしました。

トーク画面で「メニュー>シアターモード」とするとカメラを通して字幕と重なった画像を見ることができます。ARモードに近いのですが、こちらのほうが動画配信やパブリックビューイングで使用するには向いているかと思います。話者や手話通訳と一緒に字幕を見ることができます。
この画像をFacebookやツイキャスで配信することもできるので、動画配信の世界が変わるかもしれませんw

さらに、VRゴーグルを使うとかつてない没入感が得られます。シアターモードで画面を2本指でタップするとVRモードになり市販のゴーグル(¥2,000前後)でUDトークをVRコンテンツとして楽しむことができます。カメラ画像を使いますので背面が空いてるゴーグルをご利用ください。


これだとメガネを外しても字幕が見れます。開発者は非常に目が悪くメガネは必須なのですが、これだと字幕とトークを非常に快適に見ることができます(たぶんw)

ぜひみなさん、VRゴーグルを購入してみてください。アマゾン等でも買えますが、こちらのがコンパクトで着脱も簡単。小さいので女性も付けやすいのではないかと思います。

https://shop.otamart.com/items/159059

背面が空いててカメラを塞がないタイプであれば何でも使えます。
ぜひ「お楽しみ」ください。AR/VRコンテンツは体験した人じゃないとこの楽しさはわかりません!

【運用ポート】塩野義製薬株式会社様 コミュニケーションバリアフリープロジェクト

開発者の青木です。塩野義製薬株式会社内の「コミュニケーションバリアフリープロジェクト」主催で社内講習会が企画され講師として行ってまいりました。

告知のみで予約なしだったそうですがホールには部署を超えてたくさんの方に集まっていただき社内でもこのコミュニケーションバリアフリープロジェクトが非常に重要だと言うことを認識されているようです。
もうこちらはUDトークを使用し始めて2年くらい経つ気がします。普段から使っている人、初めて知った人が混在する中で使い方から簡単なワークショップそして運用事例をお話させていただきました。会場のホールはもういつも使用しているのかケーブルも用意されていて、参加される方もほとんどの方がすぐに「トークに参加する」でQRコード読み取って待機。編集者もついて企業内ででちゃんと運用がされていることを実感しました。

運用事例は私がいまメインで活動をしている東京都練馬区の地域団体「Code for Nerima」の話をさせていただきました。UDトークを使ってリアルタイム字幕対応と全文ログ公開を徹底すると何が起きるのか?どういうメリットがあるのか?を実例を挙げてご紹介させていただきました。

最後にコミュニケーションバリアフリープロジェクトのメンバーさんたちと記念撮影。みなさま、おつかれさまでした!

コミュニケーションバリアフリープロジェクトのホームページが新しくなりました。ぜひ塩野義製薬の取り組みをご覧になってください。

http://www.shionogi.co.jp/company/csr/act/cbf/index.html

終わったあとに「このアプリは聴き手(聴覚障害者)ではなく話し手のコミュニケーションスキル不足を補うためのもの、と聞いてその発想はなかった」とご意見をいただきました。もともと僕が作り始めたコンセプトは今も変わっておらず、それをこうして伝える機会もいただき気づきも得てもらえる。開発者冥利に尽きます。
これからもよろしくお願いします!

【運用レポート】堺市視覚聴覚障害者情報センター様

5月23日、堺市視覚聴覚障害者情報センターさんにてUDトークの講習会を行ってきました。視覚聴覚障害者情報センターさんはもう一昨年くらいから法人向けプランをご利用いただいております。

会場に入るともうヒアリングループ(補聴器に音声を飛ばす機器)とUDトークへつなぐiRig2まで用意されてて、持ってきたiPadをつなぐだけで準備完了。こうして設備の一部になっていると手軽にUDトークが活用できますね。
今回は参加者の半数が堺市の要約筆記者の方たち。普段から聴覚障害者の支援に携わってる方々でUDトークに興味をもっていただけました。手持ちのスマホでリアルタイムに表示と編集も行っていただきました。みんなで修正をしていくオープンな字幕。これからのトレンドになりそうな感じもします。なにより楽です。

メガネディスプレイや近々リリースする「シアターモード」も先行して体験していただきました。VRゴーグルを使って面白い体験ができる機能なのでお楽しみに。

また去年から導入をしている大阪府立大学の職員さんも参加していただき、導入事例を少し話していただきました。身近に実際に使用している大学があって使っている事実は他にも応用できると思います。こうした学校との地域連携は重要だと思います。

堺市のみなさんにUDトークを活用していただけることを願っております!
http://www.sakai-kfp.info/html/eareye_index.html

【ヒント】誤認識結果を積極的に編集をしましょう!

意外と知られていなくてびっくりする時があるんですが、UDトークは誤認識した箇所を「編集」することができます。お手元のUDトークで喋ったあと項目をタップしてみてください。編集モードになって直すことができます。

「誤認識したら、直す」

これが1サイクルになります。音声認識の認識率は100%はないし、なりません。仮になったとしてもそれが理解できる文字情報であるかとは全く別の問題になります(ローカルな内容を100%認識して文字に出しても、知らないことは知らない)。

この修正作業はトークを公開してつなげているときでももちろん可能です。自分の発言だけではなく、人の発言も修正することができます。QRコードを「発言を許可」か「編集を許可」で配布すると編集可能になります。

編集にはスマートフォン、タブレット、WindowsとMacなど大体どの端末でも行うことができます。その時に使いやすいものででしょう。
日本語は例え99%認識していても、1%のところで意味がわからなかったり変わったりするとても繊細な言語です。認識率の向上は「手放しでできる」ようになるのではなく「人間の仕事を軽減させる」ことをもたらします。

→以前はすべて打っていた(打てないから要約していた)
→今は音声認識で出して結果を修正する
→30%くらい修正をしていたところが5%くらいまで下がった

と言う流れなのです。
リアルタイム編集は別にスクリーンに情報として出すときのためだけではありません。いま同時に議事録を取ってる作業が楽になります。議事録は要約なので実はそこで話していることと「まったく違うこと」を記述しています。UDトークの場合はその場で聞きながら全文を記録・修正していくので要約議事録で改ざんが発生するリスクも軽減されます。また後から全文ログを元にして省略議事録を作ることができます。

・リアルタイムの情報支援手段
・全文の記録を作成

この2つの目的を最大限に達成するためにも積極的に編集作業を、参加者全員で行っていく運用を行ってみて下さい。

ちなみにUDトークは修正した箇所をハイライトします。なので一瞬目線をそらしてもどこが変わったかが把握しやすくなっています。そして修正後にまた翻訳をします。翻訳結果も変わったところがハイライトされますので、これもまた把握しやすくなりますし言語学習のツールとしても活用できます。