青いMLブログ

機械学習・深層学習・データサイエンス中心にいろいろと

自然言語処理ナイト

 DEEP LEARNING LABさんが主宰するオンラインイベント『自然言語処理ナイト』に参加しました。

dllab.connpass.com

これまでのDLLさんの開催のイベントでは、Microsoftさんの本社ビルでイベントが開催されることが多かったのですが、本日はオンライン開催。

 

■ 1. どんなイベントだったのか

Microsoft x ISID()2社での共同開催となった今回のイベントは、「自然言語処理(以下、NLP)」にフォーカスしてNLPに関する詳細な技術内容から、NLPを活用したサービス、NLPクラウドで扱う上でのソリューションとトピック満載!

技術理論を学びたい人から、ビジネスへの応用まで幅広い内容でしたが非常に有益な2時間でした。

 

■ 2. 講演内容

今回のイベントでの講演は以下の4つ。

  1. 「Attention is all you need !!! を入門するまえに!」Microsoft 得上竜一さん
  2. 「生成系NLPの研究動向」Microsoft 伊藤 駿汰さん
  3. NLPソリューション開発の最前線」ISID 深谷勇次さん、小川雄太郎さん、ファイサルさん
  4. 「Azure ML 自然言語処理の最新動向」Microsoft 女部田啓太さん

 

Microsoft、ISID

順番に紹介していきたいと思います。

1.「Attention is all you need !!! を入門するまえに!」Microsoft 得上竜一さん

 

word2vecから始まり、Attentionとは?というところを画像処理編と言語処理編でわかりやすく説明。

画像処理編に登場したピアニストはMicrosoft 女部田さんでした。

得上さんのプレゼンは全てTTS!!イベント終了後に公開された資料は、パワーポイントファイルでスライドショーにすることで音声も聴けます。

多少難しかった部分もあり、聞き直したいと思っていたところにありがたい資料の共有。プレゼン終了後もこのスライド見てもらえると言われていましたが、イベント終了後に改めて勉強させていただきました。

(資料はイベントページの下部に掲載されています。)

 

2. 「生成系NLPの研究動向」Microsoft 伊藤 駿汰さん

統計的な手法のn-gramから、深層学習を用いたRNN、LSTM、Seq2Seq、Transformer、BERT、GPT-2、UniLM、T5そしてGPT3と盛り沢山の内容でした。

GPT3に関してはキャッチアップできていなかったです。

BERTの3.4億パラメータに対して、T5が110億、そしてGTP-3は1750億 とモデルが巨大化していました。

"モデルのパラメータ数を増やすことで(モデルが巨大化)少ないデータでの転移学習でも性能が出せるようになってきた。精度が維持できるようになってきた。"

 

 

3. 「NLPソリューション開発の最前線」ISID 深谷勇次さん、小川雄太郎さん、ファイサルさん

株式会社 電通国際情報サービス(ISID)さんから3名の方が登壇。

最初に深谷さんからNLPを用いたソリューション"TexAIntteligence"のご紹介。「過去の不具合レポートを読み、過去の不具合レポートから似た不具合を探し出す」というケース。詳細を知りたいと思いました。
前後しますが、東ロボプロジェクトについて紹介されていました。「国語」、「英語」といった自然言語での点数が上がらなかったプロジェクトがBERTによって飛躍的に向上したという話。その話だけでもBERTの成果の大きさがわかります。

『AI vs. 教科書が読めない子供たち』

https://str.toyokeizai.net/books/9784492762394/

ISIDさんのソリューション「TexAIntelligence」はこちら
isid-industry.jp

 次に小川さんよりTexAIntelligenceのインフラについて説明。資料にも詳細な構成が掲載されています。

アジャイル開発で進められた開発ですが、外部のパートナーさんや外部発注は使用せずに、完全内製化のスクラム体制で進められたとのこと。

最後にファサルさんより、ISIDさんで進められている自然言語処理分野で実施している研究が紹介されました。

BERTから派生した様々な手法を紹介いただき、その中でもALBERTの優れている点についてもご紹介。
BERTもELMoもそうなのですが、セサミストリートのキャラクターですね。セサミストリートの番組見て英語を覚えた人も少なくないはず。自然言語処理の取得についてセサミストリートのキャラクターの名前にしたあたりに、研究者のロマンみたいなのを勝手に感じてしまいました。

 

4. 「Azure ML 自然言語処理の最新動向」Microsoft 女部田啓太さん

 Microsoft Azureに利用可能なinterpret MLについてのご紹介。機械学習の説明性は最も重要なテーマの一つである今日この頃、Microsoft Researchの成果を利用させてもらえるところにAzureの大きな魅力を感じました。

 

■ 3.  ここがよかった!

自然言語処理の基礎的な知識から研究、応用サービス、そしてMicrosoft Azure上でどのように活用していけるか一気に多数の情報を知ることができました。
毎回のDLLさんのイベントで大変勉強させていただいております。

 

■4. 最後に

次回のDeep Learning Labさん主催のイベントは8/1に企画されています。セッションも4トラックに別れて盛り沢山の内容になっております。

席にはまだまだ余裕がありそうでした。

非常に楽しみなイベントです。

dllab.connpass.com

 

DEEP LEARNING LABさんの紹介サイト

dllab.connpass.com

今回講演された小川雄太郎さんの著書

Pythonによる因果分析 因果推論・因果探索の実践入門』/マイナビ

6月30日に発売されたばかりの本です。

book.mynavi.jp

 

 

 

 

https://dllab.connpass.com/event/177785/