あの論文を検証してみた! - シリーズ第6回 - Structual Probe 論文

こんにちは!ブレインズコンサルティングの大下です。 今回は、「あの論文を検証してみた!」のシリーズ第6回、A Structural Probe for Finding Syntax in Word Representationsを検証していきます。 BERT、ELMo で埋め込んだ空間表現の中に、パースツリー…

あの論文を検証してみた! - シリーズ第5回 - Neural Processes 論文(実験編)

こんにちは!ブレインズコンサルティングの大下です。 今回は、「あの論文を検証してみた!」のシリーズ第5回、前回理論的(数学的・確率論的)な側面を解説したNeural Processes の論文の実験編です。 DeepMind社のTensorflow による実装を参考に、PyTorch…

あの論文を検証してみた! - シリーズ第4回 - Neural Processes 論文(解説編)

こんにちは!ブレインズコンサルティングの大下です。 今回は、「あの論文を検証してみた!」のシリーズ第4回、Neural Processes の論文について解説します。 Neural Processes の論文を選んだモチベーションは、もともと確率とニューラルネットワークの合…

あの論文を検証してみた! - シリーズ第3回 - Neural ODE 論文

こんにちは!ブレインズコンサルティングの大下です。 今回は、「あの論文を検証してみた!」のシリーズ第3回、Neural ODE の論文について解説、検証します。 今回の論文は、Neural Ordinary Differential Equationsで、ResNet と、オイラー法の更新則の類…

Objective-CでPythonモジュールを作ってみる

こんにちは! ブレインズコンサルティングのゆるふわ担当の馬目です! 今回はゆるふわな記事として、Objective-CでPythonのモジュールを作成してみます。 PythonのモジュールをC/C++で記述できることは、公式ドキュメントでも説明されているのですが、 実はO…

あの論文を検証してみた! - シリーズ第2回 - BERT 論文(実験編)

こんにちは!ブレインズコンサルティングの大下です。 今回は、「あの論文を検証してみた!」のシリーズ第2回、BERTの可視化実験を紹介します。 BERTの枠組みで学習したTransformer (Self-Attention) が、入力系列のどこを注目しているのか、を可視化し、解…

あの論文を検証してみた! - シリーズ第1回 - BERT 論文(解説編)

はじめまして、ブレインズコンサルティングの大下です。 ブレインズコンサルティングでは、過去Blogger で、技術的な情報を公開していましたが、長らく更新が途絶えていたこともあり、 そちらを廃止し、こちらで、新たなテックブログとして開始することにな…