さらばローザンヌ 散歩 街並み お土産2nd 最後の夜 散歩 本日はローザンヌの町並みを散歩しつつお土産を買っていった． まずはレマン湖を周遊． 対岸にはアルプス山脈が見え，日本では見られない風景． 週末などリラックスにもってこいだった．いい景色であ…

おつかれさま，おれ 最終発表会 買い物 最終発表会 無事に最終発表が終わった． 不甲斐ないがいい結果が出せなかったものの，RLの報酬の設計やCNNでのセンサーインプットなどいろいろなことを教えてもらえた． また日本に帰ってからも様々なディスカッション…

追い込み 資料作り 明日の最終発表のための資料作りに没頭しています． がんばれおれ． 帰国まであと3日

最後のEPFL EPFLの見納め シミュレーション EPFLの見納め 研究室に残していたものを取りに行く許可が降りたのでEPFLに赴いた． ポスドクの人に対応してもらって研究室を見納め，キッチン等回って，一緒にランチをとる． 久々の英会話だったがすんなり行けた…

週末の終末 最後の日曜日 最後の日曜日 これがスイスでの最後の日曜日(一応)とおもうと感慨深くなる． でもそれ以上に最終発表に追われてそれどころでもない． 強化学習の場合とにかく1step毎にいちいちトルクとかの行動を学習するから現実的でない動きにな…

追い込み追い込み 不動 不動の訳 不動 報酬関数の設計がだめだったせいで動かないことを学んだロボット． 人間みたいだ． 頑張って動いてくれるように設計を変えて再度トレーニング． 上手く行ってくれぇぇぇ！ 不動の訳 やっぱり動かない．だめかと諦めてい…

暑い 追い込み エラー 追い込み 6日後に向けた準備が襲いかかってくる． シミュレーションを回しつつ，資料の作成． 最近これしかやってねえな． エラー ここに来てエラーの処理に追われている． stackoverflow.comどういうことだ？動いているけど，トレーニ…

昇天祭 キリスト教圏の休日 Meetingと帰国後の作業 キリスト教圏の休日 今日は休日らしい．前回のイースター(キリストの復活祭)から40日後が昇天祭といって再びキリストが天に召されたのを祝うらしい． その10日後が精霊降誕祭らしい．この日はもう帰国して…

時計すげえ RL Patek Pilippe RL どうも離散行動リストで強化学習を行うと跳躍行動を排除してしまう． なので報酬関数を跳躍誘起か探索の割合のパラメタを増やしてみるしかないか． ここは残り少ない時間でできることと，発表でのフィードバックをもらおう．…

慶弔 離散行動 明日は我が身 離散行動 RLは少なくとも複雑なロボットでなければ離散行動リストを作ったほうが動作が安定しやすいみたい． もちろん報酬とメタパラメータの調整が肝だし，制御が甘いとだめだけれど． 最終発表前最後の打ち合わせでもそんな感…

日差し強い 初夏 残心 初夏 日中は20度を超えるようになってきて半袖でもいいくらいの気温． 眩しくてかなわないのでサングラスを購入． 街なかで行動するにはかなりいいものだと思った． 残心 残し少ないい日々をどう悔いなく過ごすか． 新コロ禍において気…

焦る週末 RL RL 計算が終わって確認したもののやはり想定した結果にはなっていない． 強化学習ェ、、、 車輪を使う以上は制御に関しては古典的手法のほうが優れているのだろうか． 経路計画の方に舵を切ったほうが良さげな気がしてきた． でもどのタイミング…

活気ある週末 散髪 カフェ 記号論 散髪 約2ヶ月半行けなかった散髪へ． めちゃめちゃ伸びていたので切り終えた直後はすごくスッキリしていい気分である． 短髪は乾くのも早いしいいですね． カフェ スタバが店内ルールを定めて営業していた． 一度に4人以上…

滞在日程が変わった、、、 帰国便の変更 研究 帰国便の変更 当初予定していたJALの帰国便が運休になったため，代替便を探すことになった． エクスペディア経由のため，カスタマーセンターに電話→振替便を探してもらったが，すでに空きがなくキャンセル扱いに…

終わりの意識 本の購入 帰国日変更？ 本の購入 フランス語圏にいるのならぜひ買いたいと思っていた「星の王子さま」を購入した． 今更だがこれで少しでもフランス語の勉強をしたいものである． ついでにサピエンス全史の英語版も購入した．サピエンス全史と…

外食！！！！ 計算打ち切り 久々の外飯 設計の肝 計算打ち切り 100イタレーションごとにstep数やrewardを保存して書き出しているのだが，150,000あたりから収束してきたので一旦パフォーマンスを確認． できはあまり良くなく，なぜだろうかと考えてしまう． …

勉強三昧 RL スタバ 懐古 RL 計算全然終わりませんね． これでまただめだったらちょっと凹むぞ． 強化学習難しい、、 スタバ スタバに行ってみたら，しばらくは持ち帰りのみの営業らしい． なので，行きつけのカフェ一択になるな． でもカフェで作業できるの…

活気 規制緩和 RL 規制緩和 飲食店含むほぼすべての業種が営業再開された． フロン地区に赴いたが，それなりに街に活気が戻っている． 一方でソーシャルディスタンスや店内の人数制限などがあるので店内はそれほど混んでいない． また義務教育も再開されたら…

メモリクラッシュ 負荷の原因 パフォーマンス ジャンプ 負荷の原因 今朝進捗を確認したらメモリクラッシュで強制終了していました． しばらくコードを眺めていたら，ロボットの軌跡を保存している部分が原因でした． エピソードごとに保存してリセットしてい…

計算重くなった メモリ不足？ 開業準備 メモリ不足？ 100,000イタレーションで回していて，2時間で25,000回終えていたから朝には終わっていると思いきや，76,000程度であった． その後も経過を見るも，80,000過ぎたあたりから一気に計算が遅くなっている． …

勉強と研究 GPUの威力 Open AI spinning GPUの威力 CPUとは比べ物にならない計算性能だ、、 相当短縮できているのでパラメタ調整や報酬設計が結構トライできそう． 日本でもいいやつ買おうかな． Open AI spinning (深層)強化学習の実装を見据えた非常に良い…

GPUの使い方 個人Meeting GPUセットアップ 個人Meeting 今日は個人ミーティングでの進捗報告．2日しか経っていないのでそんなに報告することもないのだが，REINFORCEアルゴリズムの性能結果を見せようとしてみた． じつはネットワークの重みが出力されていな…

良い天気 レギュラーミーティング 筋トレ 欧州の新コロ事情 レギュラーミーティング 水曜のレギュラーミーティングはいつも通りの進行であった． 一部のハードウェア研究者は週に2~3でキャンパスで作業ができるようだ． 最後に一度くらいいっておきたいよな…

寒暖差が大きい Zoom Meeting 数学とにらめっこ 収束 Zoom Meeting ミーティングをしたのだが，英会話力が低下していた． 進捗報告の際に，単語やらセンテンスがパッと出てこなくなっていて，ただでさえ低い会話力が全く英会話をしなくなったことで著しく低…

Last four weeks 残り時間 理論の勉強 COVID-19の数理モデル 残り時間 残り4週間(実質26日くらい？)で何ができるか． とにかく日々の目標と進捗管理． カレンダーに手書きで書き込みました． 理論の勉強 RLの理論の勉強してます． 本はこれ強化学習 (機械学…

計算が終わらない RLの計算が終わらない 筋トレと読書 RLの計算が終わらない tensorflowのREINFORCEで回してみたのだが，一晩経っても全然計算が終わっていないです、、 単純計算で50時間かかるっぽい． まじかぁ．GPU使ってなかったっけ？ 確認しよう． 筋…

GPU買いてぇ REINFORCE 買い出し REINFORCE ピクセルからピンを改めて読んでいると方策勾配法から試してみようという気になる． postd.cc postd.cc 連続値制御なら，まずはシンプルなアルゴリズムを適用してみようと，まずはREINFORCEアルゴリズムをコーディ…

残り1ヶ月 ５月 マンガ DeepRL ５月 日本はGW連休のに差し掛かっているが，自粛の影響でなかなか思うような計画が立てられていないのはもどかしいだろう． 海外にいると休日の感覚もなくなってくるので，正直平日と変わらない． 何度も言っているが，帰国ま…

寒い 雨 授業 春望 雨 朝から非常に寒くて，目が覚めた． 雨が続いていて肌寒い日が続く． 授業 オンラインの授業の日． 人間の運動生理学における学習とafter effectの話は面白かったな． 春望 杜甫の詩で有名なやつ． 中学か高校の時に習ったと思うけれど…

気晴らししたい pipのopenSSLエラー sdfファイルが見つかりません 第二段階の規制緩和 pipのopenSSLエラー 連続値制御のための深層強化学習アルゴリズムを使うためにpybullet gymをまずはインストール． github.com gymない人は，gymを以下でインストール gi…