shamrock1976 のすべての投稿

はこだて国際科学祭、8月18〜26日

はこだて国際科学祭、8月18〜26日まで開催されます。今年も主要なトークイベントにはUDトークでリアルタイム字幕が付きます。プログラムにUDトークのアイコンがあるものはスクリーンに投影されます。

その他もしコミュニケーションサポートが必要であればお気軽に相談をしてみても良いかと思います。ユニバーサルな科学祭にと言う思いに賛同し、UDトークははこだて国際科学祭に全面的に協力をしております。

プログラムのPDFはこちらからダウンロードできます。

http://udtalk.jp/wp-content/…/2018/08/kagakusai2018guide.pdf

函館にお住まいの方はもちろん、科学祭にもぜひ参加してみてください!

【トピック】UDトークで動画の書き起こしをして字幕をつけてみましょう

収録済みで音声がクリアに収録されている動画であればUDトークのプレゼンテーションモードを活用して字幕データを作成することができます。

元ネタはこちら、ヒルズブレックファーストでの登壇動画です。

音声は非常によく録れています。
今回は一から音声認識させて文字起こししてみました。編集しているところも収録しました。

音声認識が完了したら内容をメールで書き出します。CSVファイルを更にチェックして完成させます。
CSV Converterを使って.sbvファイルを作成します。今回のデータは最初の字幕が動画の開始7.5秒後からだったので7500と入力して読み込ませます。

コピペして.sbvファイルを作成したらあとはYouTubeに追加です。

作成中の収録動画に今回作成した字幕を設定してありますので、御覧ください。
うまくやれば爆速でフル字幕つけれますので、ぜひ皆さんもお試しください。

そして字幕ができるってことは全文書き起こしも楽勝ってことですね!

ーーー
司会/Shamrock Records株式会社の青木秀仁さん、よろしくお願いします。ご登壇ください。

青木/皆さんおはようございます。
いつも見に来ているこのHIllsBreakfastのこの舞台に登壇するのでいささか緊張はしておりますが、短い時間ですが、よろしくお願いします。自社製品の紹介をさせてもらおうかなと思いますのでよろしくお願いします。
ただいまご紹介に上がりましたが、青木秀仁と申します。Shamrock Recordsというね。一見何やってるか分からない会社名なんですけども、アプリ開発をやってる会社です。
もともとミュージシャンでCD出したレーベルの名前をする会社名にしたのでこんな名前になっておりますが、開発者としてはですね、音声認識技術を使って、長年、開発をしておりました。声シャッターでアプリが去年ぐらいにヒットしてですね、もしこの中で知ってる方がいらっしゃったら光栄です。
と言うわけでUDトークというアプリですが、今こっちで出てる字幕。これUDトークというアプリの機能の一部で音声認識を使ってリアルタイムに声を文字化しています。それで後の方で間違ったのを編集するという形で正しい字幕を出していくというシステムになります。
UDトーク一言で言うとですね、対面でコミュニケーションするアプリです。これって一体どういうときに使うのかって、何か皆さん想像できますか?
結構これ言うと本当どう言う時に使うのというふうな疑問をもらうんですけども。
耳が不自由な方とのコミュニケーションですね。対面で音声認識とかキーボードとか筆談とかそういうものを使ってやりとりするのUDトークでできますよということです。
うん。皆さんの周りにいらっしゃったら、どういったコミュニケーションとってるのかちょっと後でお聞きしたいなと思うんですけども、実際僕もですね耳が不自由な友達ができて初めてこういうことに気がつきました。
開発のきっかけはですね、その友人に所属している市民団体で講演をしてほしいとやっぱ音声認識って耳が不自由な方とか結構注目してますので。
そこで講演をしたんですが、やっぱりなかなか通じないですね。うん。あれとかこれとか言ってもなかなか難しいし。なので、自分が話したいことを何か伝えるために作らなきゃいけないなと思いました。
何か使命感というよりはですね何か開発者の興味というか、どこまでできるんだろうというので、このUDトークというアプリを
開発に開発することになりました。
ちょっと聴覚障害についてお話をしたいなと思います。なかなか理解されにくい障害なんじゃないかなと個人的には思います。やっぱり見た目でわからないというのが大きいですね。それとあと、聞こえないという体験がなかなかしづらい。
自分の声も聞こえないわけなので、そういった中で、なかなか理解されにくいんですが、これから高齢化社会、誰もが耳が遠くなります。ここにいる方も全員例外なく目が遠くなって、自覚のない障害者になっていきます。そうなったときにですね、コミュニケーションの問題というのは必ず出てきます。
そうなったときにですね、よく障害者の人が困ってる困ってるっていうんですけども、一対一になったときって、こっちも困るんですね。話したいことが伝わらないという。
なのでコミュニケーションの問題というのは、双方向なんじゃないかと僕は考えています。
なので、UDトークというアプリはですね、聞こえる側の人をサポートするアプリ。
いわゆる障害者の周りの人をサポートするアプリという位置付けで、これを開発しております。
いい感じてますねよかったこれがだいたい出るかどうかで僕の仕事は終わるので(笑)。
UDトークですが、そう。やっぱり始めにどういうコミュニケーションをとっていいかということを話し合う前のステップ、そこのハードルをこれを使うと一気に下げることができると思います筆談がいいのか手話がいいのか、それとも講話がいいのか、それをまず話すためのステップとしてUDトークを使うといいかなと思います。
UDトークですが、各ストアから、ダウンロードができます。もう2年ぐらい前になりますね最初のリリースしたのは、そんな試行錯誤を繰り返して今のものになっております。
これ全部無料でダウンロードできますので、今スマートフォンとかお持ちの方すぐ使うことができます。じゃあ一体どこでビジネスするのかというと法人向けプランというのを用意して一般企業の会議の導入とか、教育機関への難聴学生のサポートなんかでお使いいただいてます。
何社か契約も取れてますので、これからどんどん広がっていけばいいかなと。
実は営業なんですけども、Shamrock Recordsは私1人だけなので、開発部しかない感じです。なのでこちらからちょっと営業している余裕がないので、口コミとか問い合わせベースで全て対応しております。
やっぱり先方さんに意識がないとなかなかこういうので導入しても使えないかなと。
ただそれだけではなくてですね、展示会で紹介したりとか、あとは各地で講演会とか説明会を開いて、当事者と支援者の方に対してこういうのがあるという紹介をさせてもらってます。
一般企業さんに行ったときにですね、いろいろ説明をするんですが、なかなか聴覚障害者のためにって言ってもピンとこない方も、残念ながらいらっしゃいますのでUDトークを使うことで生まれる新たな価値というのをですね、こちらから提案させてもらってます。
例えば議事録取れますよね。会議の。後から修正もしているので正しいものができますと、あとは会議の見える化に繋がって効率アップでもっと言うと、これからの会議のスタイルはこうだみたいなちょっとおしゃれな感じを出してあげれば、こういうの普及に繋がるんじゃないかなと思ってます。
なので、こういうのが普及してくると、結果的に聴覚障害持った方が社会参加しやすくなるのかなと思います。やってることが正しいのは当たり前なので、それを押し付けてもやっぱりなかなか人というのはおれないと。
結果的に参加しやすくなれば僕はいいんじゃないかなと思ってきます。と言うわけで、駆け足でしたが、紹介をさせていただきました。ホームページとかFacebookページで結構活動内容を随時報告してますので、興味のある方は見ていただけると。
また何かこの話を聞いてそういうこともあるんだなってことにちょっと気が気づきが得られた方はですね、後でお話をさせていただきたいと思います。どうもありがとうございます。

司会/ありがとうございます。
ちょっと皆さんを代表してご質問させていただきたいと思うんですけども。すごいですよね。みんなすごーいって言ってぼーっと見てたんですけど(笑)。
素晴らしい理念とサービスだと思いました。で、せっかくなのでいろんなたくさんの方が来てましたけどなんかこういうとこでもしいろんなサポートとか、力をかりたりだとか
あったりしますか?。

青木/えとですね、実はこのHIllsBreakfastでもう1年近くになるんですけども、裏で僕ずっと音声認識のこれを動かして試験運用したんですね。はい。
やっぱり音声認識のこういう精度を上げていくには実際に喋った音声が必要なので本当実験の場ということで提供させていただいてるのは本当にありがたいことです。この後はもしできたら実用フェーズみたいな感じで。
やっぱこういうトークイベントを字幕にできるといいかなと思うんですね。それがそういう人たちが来るからではなくて、表現する人がこういうのを使って知ってもらいたいっていうふうな動機でなんかこういうのを使っていくような文化が出来上がるといいかなと思ってます。

司会/ありがとうございました。

【運用レポート】高松市役所様

昨年からご利用いただき2年目の運用になる高松市役所様。いまでは市役所内の研修や市が企画するイベントはUDトークを使って記録を作成したり情報支援に役立てていらっしゃるようです。

高松市役所内の各部署宛てに添付のような案内も配信され、本格的に活用されています。

聴覚障害者とのコミュニケーション支援の色が強かったUDトークですが、最近では記録作成、議事録作成、外国人対応での活用も増えてきました。実はそれらの目的でちゃんと活用すれば聴覚障害者対応もできてしまうのです。

自治体関係のみなさま、こうした前例はすでに各所でありますのでまずは手軽に導入をしてみてお試しください!

iOS版 ver.78 プレゼンテーションモードを追加

【追記】不具合修正版はすでにver.79としてリリースされております!

ーーー
iOS版 ver.78をリリースしました。iPadのみの機能となりますがプレゼンテーションモードを追加しました。

プレゼンテーションモードボタンをタップすると左側に各種ファイルを表示することができます。ウェブページやフォトライブラリから写真や動画も表示できます。
使い方としては、プロジェクタが1台しかないときに字幕と資料を一緒に出しながら発表をしたりとか、手元のiPadに会議の資料や教科書を表示しながら進めていくとか、使い方の可能性はかなり広がります。

それで、すみません、ver.78ですがプレゼンテーションモードで少しバグがあります。

・プレゼンテーションモードのままQRコードを表示すると画面のレイアウトがおかしくなる。
→画面を回転させれば復帰します。
・動画や音声を再生してたとき、止めないでトークを終了すると再生し続ける。
→止めてからトークを終了するか、アプリを終了させてください。
・iCloud Driveからファイルが読めないケースがあります。
→次バージョンで対応します。

現在すでにver.79を申請済みなので1〜2日でお届けできます。
それまでお待ちいただくか、とりあえずちょっと動作がおかしくても(実用にはほぼ影響はないです)先に使ってみたいかたはアップデートお願いします。

【トピック】UDトークは誰が話したか判別できますか?

UDトークの議事録での活用で一番多い質問が「誰が話したか判別できますか?」です。答えは「その機能はありません」です。「できません」ではないのです。すでに声紋認証などの技術で「事前登録をしておけば」誰が喋ったかは分かったり、一定時間音声が溜まると「Aさん(仮定)である」などの推測をすることができます。でもそれはUDトークには採用をしていません。いろいろな理由があります。例えばスマートフォン1つをみんなで回しながら使ったり、多くの割合で初めてしかも一瞬使うケースが多いことから事前登録は難しい。推測もある程度蓄積されるまでは不確かなケースが多いなどもありますが、そもそもUDトークの目的からすると「その機能いらない」という判断をしています。

簡単なことです、名前を登録しておいて話す前に「名乗ればいい」これだけのことです。さらに基本的な使い方「話に割り込まない、遮らない」を守れば誰が喋ったかは明確に記録できます。

多くのこの質問をされる方は使用目的を間違っています。「自由勝手に適当に喋っているものを文字化」するのがUDトークではありません。仮にできたとしてもその記録はあまり価値がないでしょう。会議自体やらないほうがいいくらい生産性は低いのです。
目的は「記録を作成する」ことであり「情報共有の補助」になります。そもそもUDトークを使わなくてもちゃんと共有ができて記録が作成しやすい会議をちゃんとしたルールで開くことが大事です。そのうえでUDトークを使えば終わった瞬間にほぼほぼの議事録が出来上がっています。

実はこれが障害者の方が会議に参加することで必然的に採用されることになります。視覚障害者の方が参加される会議では名乗ることは必須です。じゃないとびっくりしてしまいます。聴覚障害者の方が参加される場合は音声言語特有の言いっ放しでは通用しません。ちゃんと理論立てて話す必要があります。

そのうち周りの人が気がつくわけです。「なぜか障害者の方が参加している会議は毎回きれいな議事録が残っている」と。実はUDトークはそこから周りの健常者の方たちが「こう使えば議事録が取れる」と言うヒントを得て使い始めております。

・名乗ってから話す
・話し終わったら「以上です」など
・話に割り込まない

これで会議を進めればUDトークできれいに議事録が取れます。誰が喋ったかなんてことは音声から読み取る必要もないのです。
ちなみにそれぞれがスマホを持って話した場合はちゃんとそのUDトークに設定した「名前」で話者名が振られます。UDトークのトップ画面から設定へ行くと名前が設定できますのでぜひご自身のお名前を設定してみてください。

ですが、ちゃんと仕様的に良さそうなものを思いついたら話者の推定機能は実装すると思いますので。

【運用レポート】トランスコスモス株式会社様

【運用レポート】トランスコスモス株式会社様
昨年からお使いいただいております、トランスコスモス株式会社様から運用時のレポートをいただきました。実際に使用されている方たちや部署からのレポートですので大変参考になりますね。
引き続きご利用ください!

ーーーー
トランスコスモスでは、聴覚、視覚、上肢、下肢、内部障がいなど、さまざまな障がいのある方が多数入社しており、各現場で力を発揮しています。また、全社的に障がいのある社員をサポートするための仕組みづくりに積極的に取り組んでいます。
その取り組みの一つとして、聴覚障がい社員とのコミュニケーションを円滑に行うため、手話通訳者の社内常駐や社内要約筆記、文字起こし、パソコンでのタイピング会話等のさまざまな方法を取り入れています。そして、新たな方法としてUDトークを2017年度の秋頃から導入致しました。

▼使用状況
・会議、研修、面談、面接、業務説明時など

▼UDトークを利用して良かったこと
・会話内容をリアルタイムに理解することができる
・会議参加者全員で会話内容や誤変換を確認しながら正しい情報をもとに会話がしやすい
・聞き間違いを文字でリアルタイムに補填でき、コミュニケーションのズレによるお互いの負荷を軽減できる
・パソコンでのタイピング会話といった無機質で感情が伝わりにくいものとは違い、自分の発言したことがそのまま反映されるので感情がよりダイレクトに伝わりやすくなる
・話し方を意識して頂くなど周囲の協力を得やすく、自身も一緒に会議に参加している、と実感できる
・ログを後から確認し事後に再確認ができる
・パソコンでのタイピング会話よりも多くの情報を共有できる

▼UDトークの利用にあたって工夫していること
・推奨されているマイクを導入する
・使用前に「話し方」や「マイクの持ち方」等の説明時間を設けている
・頻出単語、専門用語を積極的に登録する
・認識率が悪いときは、その都度「マイクと口元の距離」や「話すスピード」を調整する
・発音の抑揚をなくし認識率を上げる
・利用者アンケートを実施し、現場で苦慮した内容の改善策を後日フォローする
・社内簡易マニュアルで使用方法の啓発を行う
・短文ではなく長文でいっきに話す

▼導入担当者より
導入時、聴覚障がい社員の方々が認識結果を見た時の、驚きや喜びの表情がとても印象的でした。
そして、聴社員が使用したあとに、わざわざこちらまで来て「今まで伝えきれなかったことが伝えられた!」と言っていました。パソコンでタイピングしながらコミュニケーションをとることが日常的な環境ではありますが、音声認識を使用することにより説明時間は短縮され、より多くの業務を行えるようになりました。上手く認識させるには工夫も必要で、聴覚障がい社員も多くの情報の中から理解していくことに慣れが必要な部分もありますが、お互いが工夫することにより手話通訳や社内要約筆記とは違った形のコミュニケーションや学びが業務に活かされると感じています。とても有効なツールとなっています。

【導入報告】静岡県三島市様

このたび静岡県三島市様にUDトークの法人向けプランを導入していただきました!

広く三島市全域での市立の設備でのご利用が可能となります。

導入のコメントを担当者から頂いております。
今後ともよろしくお願いします。

ーーー
現在は、障がい福祉課での窓口対応や研修等で活用しております。今後は、音声による情報収取が困難な方に対し、市役所内外で幅広く有効活用していきたいと考えております。

CSV Converterをリリースしました。

UDトークの会話ログ(.csv)を読み込ませてFacebook動画の字幕ファイル(.srt)とYouTubeの字幕ファイル(.sbv)のデータを作成するプログラムを簡単ではありますが作成してみました。

開始時間が00:00:00.000で作成されるので、動画の開始から最初の字幕までの間隔を入力して作成します。マイナスの値も入力可能です。
こちらGithubにてオープンソースで提供いたしますのでご自由にお使いください。

https://shamrockrecords.github.io/CSVConverter/

リポジトリはこちら
https://github.com/ShamrockRecords/CSVConverter

【トピック】UDトークの正しい使い方、とは?

良くある問い合わせの一つに「UDトークの使い方を教えてください」と言うのがあります。おそらくそれは「正しい使い方」と言うのも含まれると思います。

もし問い合わせをされてきた方が聴覚障害者だった場合「このアプリを使うのはご自身ではなく周りの人です。それが正しい使い方です」とお答えします。そしてそれはまったくピンと来ていないようです。

法人向けプラン契約者に対する内部の講習会でも「このアプリは相手に伝えることができない話し手のスキル不足を補うもの」と言う話をします。聞き手がUDトークを使って工夫することについては一切触れません。それは講習会としては正しい使い方ではないからです。

いまだに多いのが「手元でUDトークを使っても認識しない」とか「電車の中で使ってもアナウンスが文字化されない」など自分が使ってしまって評価を下げているケースです。

UDトークを使うのは「話し手」です。環境を用意するのも単語を登録するのも「話し手」です。どうしてもそれを「聞き手」に頑張らせてしまう傾向が、特に教育機関で見受けられます。

教育機関での運用は思うところがあるのであえて書かせていただきます。

大学から講習会の依頼が来た時、対象は学生ではなく教職員と伝えます。UDトークを使用するのは学生ではなく教職員だからです。最初はなんで?と理由が分からない人たちも、講習会が終わったあとにはちゃんとその意図がわかっていただけます。「話し手」である先生が使うものなのです。しかし大学によってはちゃんとした運用がされておらず、学生さんが自分で授業の単語登録を行ったり、自分でセッティングしたり、よく分かってないところだとアカウントだけ渡して手元でUDトークを使ってしまい結局授業内容が分からないで終わってしまいます。もちろん学生さんの学内の活動でも使用できますのでアカウントを渡すのはOKですが、それはあくまでサークル活動とかそういったところで使い方になります。

そういう間違った運用をしている大学は講習会を企画されなかったりと言う状況です。

UDトークは話し手が使うものです。ですので、運用は教職員が行います。授業の準備をするのと同じようにUDトークの準備もして授業に臨みます。学生さんは授業に来たらUDトークのQRコードをもらって好きなところでみる。もちろんいくつかの大学はこういう運用をしています。

ですので、もしこの投稿を見て心当たりがある大学や間違った方法でUDトークを使っている学生さんがいたら一度内部でしっかりと「正しい運用」について話し合ってみてください。

UDトークは教育の分野においては既存の支援方法をサポートする大きな武器となります。またサポートする人員の割当が難しいときの手段として有効です。でもそれはすべて正しい使い方をしてのみです。企業での運用は正しい運用はそのまま結果につながるので教育機関よりはちゃんと試行錯誤をしているように思えます。

UDトークとしましても教育の分野は重要と考え、教育機関向けプランと言う導入しやすいプラン(月額16,000円使い放題)も用意し、導入後には積極的に講習会も行っております。

まずはちゃんとした運用をするとその先にいろんな可能性が見えてくるのがUDトークだと自負しております。

【導入報告】神戸市情報化戦略部様

「UDトークで働き方改革」です。こうした導入例は今後増えていくのではないかと予想しています。会議の議事録はもちろんのこと、講演や研修の報告書作成なんかにも活用できるでしょう。全文ログをすぐに作成して広聴広報なんかにも活用できそうですよね。

こちらもいろいろとアイデアがいただけそうな導入事例です。ぜひ他の自治体の担当者様もご参考になさってみてはいかがでしょうか。

ーーーー
導入のきっかけ:神戸市役所では積極的にICT技術を取り入れることで、業務効率化を図っています。庁内で議事録作成(文字おこし)の作業が多く、これらは市民の方々に直接価値を生まない作業だったので、機械で代替する方法を模索していたのがUDトーク試行導入のきっかけです。

利用方法:議事録の作成が必要な、比較的少人数の打ち合わせでUDトークを利用しています。具体的には事業者との打ち合わせ等に利用することで、別途マイクを購入せずとも精度よく議事録が作成可能です。また、各局の担当者が速報的に書き起こしていた市会の内容を、UDトークで代替可能か現在検証中です。

今後:今年度は限定された部署で試行的に議事録作成事務の代替を検証予定ですが、将来的には区役所の窓口でのアクセシビリティ向上や、日本語が不得手な方々への多言語対応にも活用できないか検討しています。