discuss.systems
Original post on discuss.systems
Feed for machine learning, deep learning, statistics, & computational learning theory, and AI research. Tag posts with #MLSky.
Feed on Blueskydiscuss.systems
Original post on discuss.systems
cloudskillsboost.google
Encoder-Decoder Architecture | Google Cloud Skills Boost
<p>This course gives you a synopsis of the encoder-decoder architecture, which is a powerful and prevalent machine learning architecture for sequence-to-sequence tasks such as machine translatio...
gizmodo.com
Joe Rogan's Latest Episode Will Make You Question Everything About AI
AI might already be hiding its real capabilities. That’s what Dr. Roman Yampolskiy told Rogan in a podcast episode that will rattle both skeptics and true believers.
hgpu.org
Libra: Synergizing CUDA and Tensor Cores for High-Performance Sparse Matrix Multiplication
Sparse matrix multiplication operators (i.e., SpMM and SDDMM) are widely used in deep learning and scientific computing. Modern accelerators are commonly equipped with Tensor cores and CUDA cores t…
machinelearningmastery.com
https://machinelearningmastery.com/a-gentle-introduction-to-attention-masking-in-transformer-models/
inmobilexion.com
🔰PyTorchでニューラルネットワーク基礎 #09 【LSTM・多次元化】 #初心者 – Qiita
個人的な備忘録を兼ねたPyTorchの基本的な解説とまとめです。LSTMを利用した日経225を利用した予測の2回目となります。今回も次の日の日経225の始値を予測する単純な形ですが、前回(第8回)の1期ずれ予測(ナイーブ予測)からの改善とLSTMの理解の深化を目標としています。 方針 できるだけ同じコード進行 できるだけ簡潔(細かい内容は割愛) 特徴量などの部分,あえて数値で記入(どのように変わるかがわかりやすい) 演習用のファイル 再帰ネットワークは、$t$期のデータ$x_t$と$t-1$期までの過去の情報の特徴量である履歴$h_{t-1}$の2種類を使って、$t$期の特徴量を$$h_t=\tanh(W_x x_t + W_h h_{t-1} + b)$$のように導出していくタイプのネットワーク構造になります。 $x_t$:$t$期での新しい入力データ $h_{t-1}$:前の期で計算した結果「過去の情報」 $h_t$:現在計算している結果(これが次の時刻では過去の情報・履歴の$h_{t-1}$となる) 前回はRNNの中でもLSTMを利用して日経225の始値だけを利用して始値予測を行いました。結果は、きれいに1期ラグがある予測になりました。グラフを見ると様子がわかります。1期ずれた緑色の折れ線と予測値を表すオレンジ色の線が重なっているように見えます。 図:始値だけ利用したモデル 今回はこの「1期遅れている部分・ラグ」を少しでも改善してみたい!予測値を実測値に近づける試みを行います。結果から述べると次のようなグラフに改善されます。先程よりも実測値を表す青い線にオレンジ色の予測値がわずかながら近づいているのが確認できます。下図ではわかりにくいので、後半部分に期間を区切った拡大図も掲載しておきます数値的な判定は次回以降にします 図:始値、高値、安値、終値を利用したモデル PyTorchによるプログラムの流れを確認します。基本的に下記の5つの流れとなります。Juypyter Labなどで実際に入力しながら進めるのがオススメ データの読み込みとtorchテンソルへの変換 (2.1) ネットワークモデルの定義と作成 (2.2) 誤差関数と誤差最小化の手法の選択 (2.3) 変数更新のループ (2.4) 検証 (2.5) 2.0 データについて 日経225のデータをyfinanceやpandas_datareaderなどで取得します。第8回と同一のデータを利用します。
www.sharpcoderblog.com
The Fundamentals of Machine Learning
Machine Learning (ML) is a subset of artificial intelligence (AI) that focuses on building systems that can learn from and make decisions based on data. Unlike traditional pr...