こんにちは！ブレインズコンサルティングの大下です。 今回は、「あの論文を検証してみた！」のシリーズ第６回、A Structural Probe for Finding Syntax in Word Representationsを検証していきます。 BERT、ELMo で埋め込んだ空間表現の中に、パースツリー…

こんにちは！ブレインズコンサルティングの大下です。 今回は、「あの論文を検証してみた！」のシリーズ第５回、前回理論的（数学的・確率論的）な側面を解説したNeural Processes の論文の実験編です。 DeepMind社のTensorflow による実装を参考に、PyTorch…

こんにちは！ブレインズコンサルティングの大下です。 今回は、「あの論文を検証してみた！」のシリーズ第４回、Neural Processes の論文について解説します。 Neural Processes の論文を選んだモチベーションは、もともと確率とニューラルネットワークの合…

こんにちは！ブレインズコンサルティングの大下です。 今回は、「あの論文を検証してみた！」のシリーズ第３回、Neural ODE の論文について解説、検証します。 今回の論文は、Neural Ordinary Differential Equationsで、ResNet と、オイラー法の更新則の類…

こんにちは！ブレインズコンサルティングの大下です。 今回は、「あの論文を検証してみた！」のシリーズ第２回、BERTの可視化実験を紹介します。 BERTの枠組みで学習したTransformer (Self-Attention) が、入力系列のどこを注目しているのか、を可視化し、解…

はじめまして、ブレインズコンサルティングの大下です。 ブレインズコンサルティングでは、過去Blogger で、技術的な情報を公開していましたが、長らく更新が途絶えていたこともあり、 そちらを廃止し、こちらで、新たなテックブログとして開始することにな…