기록하기

0. REMIND 2023년을 회고하기 앞서, 2022년 어떤 계획을 세웠는지 살펴봤다. 그때의 나는 꾸준히 성장하는 사람이 되기 위해 책 읽는 습관 유지, Continual RL 공부, RL 외 분야 공부를 하고싶어 했다. 책 읽는 습관 유지 : 스터디가 없을 때 책을 읽는다! 조건 자체가 강해서.. 결국 자주 읽지는 못 하지만 시간이 생기면 읽으려고 하고 있다. CRL 공부 : 이직하면서 CRL을 살짝 놨다. 예전엔 이쪽이 좀 중요했는데, 지금은 그런 느낌이 덜 했기 때문이다. 하지만 언제든 CRL을 다시 볼 마음이 있다. RL 외 분야 공부 : GNN 스터디를 시작했고, LLM 찍먹 및 diffusion 논문을 살짝 봤다. 짧은 일탈 후 느낀 점은 다른 분야도 굉장히 재밌다! 하지만 RL을 공부할 ..

Introduction 본 논문에서는 2016년 AlphaGo, 2017년 AlphaGo Zero를 통해 바둑(Go)에 대한 성공을 경험한 후, AlphaGo Zero의 more generic version 인 AlphaZero를 소개하고 있음. Game 의 복잡도를 보았을 때, Go가 가장 복잡하고, shogi (일본식 장기) 와 chess 순으로 복잡도를 가지고 있는데, AlphaZero는 동일한 알고리즘을 이용하여 Go, Chess, Shogi 모두에 대응하는 generic algorithm을 제안함. Background Alpha Go Alpha Go는 실제 전문가의 기보 데이터를 기반으로 모델을 학습하고 해당 모델을 활용하여 MCTS(Monte Carlo Tree Search) 를 진행하는 방법..

부제 : A서버에서 B 서버로 파일 전송 1. A 서버 : HTTPServer 열어서 파일 다운받을 수있도록 설정 http://A서버주소:8000 으로 접속해도 파일 다운로드 가능하기 때문에 http server 잘 열렸는지 해당 주소로 접속해서 확인 가능함 cd /source_dir # port는 꼭 8000 아니어도 됨 python -m SimpleHTTPServer 8000 >>> Serving HTTP on 0.0.0.0 port 8000 2. B 서버 : wget 으로 파일 땡겨오기 wget 의 -O는 받는 파일 이름 변경 옵션 wget http://A주소:8000/target_file -O file_name

부제 : 서버 A를 서버 B에 mount 하는 방법 1. A 서버 : mount 하고 싶은 폴더 설정 /etc/exports에 내용 추가 vi /etc/exports >>> # /etc/exports: the access control list for filesystems which may be exported #to NFS clients. See exports(5). # # Example for NFSv2 and NFSv3: # /srv/homes hostname1(rw,sync,no_subtree_check) hostname2(ro,sync,no_subtree_check)## Example for NFSv4: # /srv/nfs4 gss/krb5i(rw,sync,fsid=0,crossmnt,no_su..

0. 책을 읽게 된 계기 내가 좋아하고 닮고 싶다는 생각을 많이 했던 이사님께서 추천해주셨던 책이다. 우연한 기회로 이사님과 책에 대한 얘기를 하다가 나와 타인을 잘 이해하기 위해 읽을만한 책이라고 해주셨던 것 같다. 1. 책 내용 이 책은 NVC(Nonviolent Communication) 대화법에 대한 설명을 담고 있는 책이다. NVC 대화법 : 견디기 힘든 상황에서도 인간성을 유지할 수 있는 능력을 키워주는 대화 방법 - 관찰(observation), 느낌(feelings), 욕구(needs), 부탁(requests) 의 네 가지 요소로 이루어져 있음 우리 삶에 영향을 미치는 구체적 행동을 관찰하고, 그 관찰에 대한 느낌을 표현한다. 그러한 느낌을 일으키는 욕구, 가치관, 원하는 것을 찾아낸다. ..

2022년 회고 12월부터 하고 싶었는데 이런 저런 일들 때문에 정신이 없어서 이제서야 회고를 한 번 해보고자 한다. 사실 연간 목표를 list up 하고 하나씩 이뤄가는 스타일은 아니었기 때문에 2022년은 특별한 계획이 없었다. 다만 그동안 너무 현실에 안주하지 않았나 하는 생각이 들어서 2022년은 '용기'있게 뭐든 도전하는 해로 가지고 싶었다. 그래서 이룬 것들, 1. 차를 샀다. 그동안 '운전'이라는 정말 스킬이 배우고 싶었다. 근데 렌트카(남의 차)로 운전을 배우는 건 너무 리스크가 있다고 생각이 들어서 차를 사고 싶다는 막연한 마음만 가진채 미루고 있었는데, '용기'라는 합리화로 구매를 해버렸다. 결과적으로는 아주 좋은 선택이었던 거 같다. 내가 원하는 시간대에 어디든 갈 수 있고 스스로도 ..

문제 상황 from gym.wrappers import FlattenDictWrapper gym.wrappers에서 FlattenDictwrapper 를 불러오려고 했으나, import가 안 되는 상태 [에러 메세지] ImportError: cannot import name 'FlattenDictWrapper' from 'gym.wrappers' 해결 방법 gym version을 0.14 이하로 내려줌 (원래 gym version : 0.26.0) 참고 링크 https://github.com/openai/baselines/issues/1129

문제 상황 pip install tensorflow==1.15.0 위 커맨드로 간단하게 tensorflow 1.15.5를 설치하려고 했는데, 맞는 버전이 없다며 설치가 안 됐던 상황 [에러 메세지] Looking in indexes: https://pypi.org/simple, https://pypi.ngc.nvidia.com /usr/share/python-wheels/urllib3-1.25.8-py2.py3-none-any.whl/urllib3/connectionpool.py:999: InsecureRequestWarning: Unverified HTTPS request is being made to host 'pypi.ngc.nvidia.com'. Adding certificate verificat..

Background 강화학습을 하다 보면 buffer 를 구성해야 할 일이 많다. 강화학습을 진행하면서 나온 trajectory를 buffer에 저장했다가 update 시에 꺼내서 사용해야 하기 때문에 buffer를 구성해서 사용하는데, 이때 늘 episode 길이가 동일해서 buffer내 rewards, actions, obs 등의 size 가 항상 동일하거나 rollout 으로 늘 동일한 step 수 만큼 저장해서 동일한 size 의 항목들만 다룬다면 처음부터 고정된 size 의 buffer를 사용하면 되지만 그렇지 않은 경우엔 비어있는 buf를 만들어서 append (concat 등) 을 해야 하는 경우가 있다. 아래는 buffer에서 사이즈를 고정으로 사용할 때 예시이다. 아래와 같이 torch...

0. 책을 읽게 된 계기 친한 선배께서 선물로 주신 책이다. 늘 걱정이 많고 조급한 면이 있는 나에게 하고 싶은 말이라고 하시면서 주셨다. '오늘 하지 않아도 되는 걱정은 오늘 하지 않습니다'! 심지어 최근 관심을 가지고 연구하고 있는 '로봇' 쪽 데니스 홍 교수님의 신작이라니, 흥미로운 마음을 가지고 읽게 된 거 같다. 1. 나에게 영향을 준 파트 & 책을 통해 느낀 생각 로봇이 망가지지 않는다면 우리는 배울 수 없습니다. 실패를 전혀 하지 않았다는 건 그만큼 도전하지 않았다는 의미이기도 하니까요 무모한 도전을 하라는 것은 아닙니다. 우리는 '현명한 실패'만을 허용합니다. ... 삶에서 진정한 승자가 되려면 도전을 위한 용기, 실패를 대하는 태도, 그리고 실패를 극복할 수 있는 지혜가 필요합니다. 도전..