アルゴリズムとかオーダーとか

仕事で勉強したことなどをまとめてます

2022-01-01から1年間の記事一覧

Validatorのリワード計算方法

Validatorの報酬の計算方法は以下のページに整理されているが、これはPhaase0の計算式である。 kb.beaconcha.inConsensus-LayerはAltairとBellatrixの2回のアップデートが加えられており、現在のValidatorの報酬計算式は変更されている。詳しくは以下のペー…

2022年12月Ethereum Mainnetの同期について

先ほどEthereum Mainnetの同期が完了したので、同期に必要なシステム要件と掛かった時間を記録として残す。 なお、同期に必要となる時間はネットワーク状況や、接続したpeerによって大幅に前後することに注意。また、今回同期に用いたマシンは個人利用PCであ…

Failed to import transformers.trainer because of the following error の解決方法

huggingfaceのtransformersを使っていたら、急に「Failed to import transformers.trainer because of the following error」というエラーが発生した。対応方法がなかなか見つからなかったので記事に残しておく。 環境 Windows 11 Home + WSL2 + Ubuntu-20.0…

Docker Desktop for Windowsに外部からアクセスできるようにする

Docker Desktop for WindowsでNginxを建てて、そのNginxにLAN内のほかのPCからアクセスする方法。 Windows Firewallに対して80番ポート(Nginxをホスト側の80番ポートにフォワードしてる場合だが)を開ける。 他のブログなどで書かれているのは大体ここまで。…

Windows 11 + RTX2080TiでのDeepLearning環境メモ

nvidia driverを最新版にしたり、cuDNNの公開鍵が無効になったため、cudaを入れなおしたりなどしていたらpytorchからGPUが認識できなくなってしまった(泣 環境を再構築したので、cudaやdriver versionなどをメモとして残しておく。 cudaとNvidiaのdriver及…

Windowsで回線速度を定期的に測定する

最近はネットワークやルータ周りにも興味が出てきて勉強中。勉強のためにルータを直接いじりたいけど、業務用は少し高いのでASUSのルータ RT-AX3000を購入したところ、これはtransixに対応していないのでPPPoEで接続するように変更した。 PPPoEだと速度が遅…

BlockのgasLimitとgasUsedの関係とマイナーの戦略

www.youtube.com僕もよく拝見している、やさしいDeFiチャンネルの「やさしいEthereumガスの解説&きびしいEIP1559猛勉強」の動画内でこんな疑問があがっていた。「マイナーはUsedGasを見てBlockに含めるTransactionを決定しているのか?」この辺りは自分も明…

cudaのGPG Keyが無効になってたので綺麗?に削除してみた

久々にMyPCで機械学習を動かそうとしたら、cuda周りでエラーが発生した。nvidiaのドライバーも新しくしたので、入れなおそうと思ってupdateしたけど、GPG key周りでエラーが発生してうまくアップデートができなかった。なので、まずは古いcuda関連のライブラ…

Attestation

今回はBeaconChainのAttestationについて学んだことを整理するために記事にする。 なお、Attestationの仕様については基本的に以下の公式のspecを参照した。 github.com 基礎知識 Attestationとは Attestationの構造 AttestationDataの構造 Attestationが有…

TapyrusのTestnet nodeをECS + Fargate で立てる

最近は業務でTapyrusを用いたweb3システムの設計開発リードを行ってます。が、主に上流工程とマネージメントがメインで開発はチームメンバーに任せっきりです。 ということで、久々にTapyrusの環境構築を行ってみたので、その内容を整理して記事にします。 …

Windows 11 + Prysm + Geth でPraterテストネットと同期する

今更ながらの記事になりますが、今回はWindows 11上でPrysmとGethを利用してBeacon Chainのテストネットである、Praterテストネットの環境を構築する手順を紹介する。今回記事に整理する経緯としては、2022/06/09の01:00ごろに無事にRopstenがThe Mergeに移…

infura.ioを使ってBeacon Chain(ETH2.0)からBlockの情報を取得する

今回はBeacon Chainのblock情報をinfura.ioを使って取得する方法について記事にする。twitterで話題になっている、reorgについて何が起きてるのかを調べるためにblockの情報を見てみたいなぁと思ったのがきっかけである。The Ethereum beacon chain experien…

Docker環境でnltk.Treeグラフをpngとして出力する

今回も機械学習関連の記事である。 nltk.TreeのデータをPNG画像として出力したかったのですが、Docker環境で開発を行なっていた関係でちょっと手こずってしまった。 Docker環境でPNGを出力させる方法がなかなか見つからなかったので、記事としてまとめておく…

Attention Flowを追実験したい

最近は自然言語学習モデルのBERTを活用した実験を行っている。その中で、Attentionで何が表現されているのか?について興味が出てきた。 とあるツテから以下の論文を紹介してもらったので、この論文の中に出てきているサンプルコードを動かしたいというのが…

HugginfaceのTrainerでTensorboard用のログを出力する

今回もDeepLearningについての記事です。 HuggingfaceのTrainerで学習させたときに、学習途中のログをTensorboard用に出力する方法についてまとめます。huggingface.co Tensorboardのログ出力設定 Tensorboardのログを出力するために必要なライブラリ コマン…

BERTのpre-trainingをやってみた 〜雑記〜

今回は深層学習の自然言語モデルである、BERTについて色々触っていたのでその記録を簡単にまとめたいと思う。 ひょんなことから、BERTの事前学習からやらなければならなかったので、実際に用いたライブラリや環境、学習に必要な時間などについて書いていく。…

Windows 10 Home 21H2 + WSL2 + Ubuntu 20.04LTS環境にcudaをインストールする

最近、機械学習をいろいろと触っている。その関係で家のゲーミングPCに機械学習の環境を構築はしたけど、知識不足でcuda(GPUを使うやつ)環境はインストールできていない。 以前に導入を試みた際は、Windows 10ではcuda on WSL2が正式サポートされておらず、W…