기록하기

너무 큰 데이터 또는 많은 데이터의 경우 zip으로 압축되어 있음 만약 압축 파일 안에 있는 csv 개수가 297,444개 혹은 그 이상이라고 가정했을 때, 서버에서 압축을 풀고 사용하려면 페이지가 엄청 느려지거나 렉 먹을 가능성이 높음 그렇기 때문에 바로 zip 파일을 읽어와 압축을 풀지 않고 파일들을 불러와 데이터를 보고싶을 수도 있음 만약 형식이 같은 데이터들이라면 각각 29만개 이상으로 두는 것보다 변수 하나 만들어서 레이블을 달고 하나로 합치는 것이 더 효율적일 수 있음 예시로 Ednet 데이터를 이용함 (github.com/riiid/ednet) 아래 코드를 보면, 먼저 zip file을 가져와서 파일 리스트를 만들고 필요없는 파일을 리스트에서 제거한 후 하나의 csv를 만드는 코드임 impo..

conda env list conda create -n lynn conda activate lynn 을 하니 아래와 같은 오류 conda env list에 있는 base 경로 확인 후 참고하여 아래와 같이 입력해 해결 source /opt/conda/etc/profile.d/conda.sh conda activate lynn

Microsoft의 AutoML 툴킷인 NNI(Neural Network Intelligence)를 이용해봤다. https://nni.readthedocs.io/en/latest/Overview.html Overview — An open source AutoML toolkit for neural architecture search, model compression and hyper-parameter tuning (NNI v1.4) NNI provides a key capacity to run multiple instances in parallel to find the best combinations of parameters. This feature can be used in various domains,..

dict을 굳이 굳이 pd.DataFrame.from_dict을 이용해 DataFrame으로 바꾸려다가 난 에러 리스트에 들어있는 dict들을 (예를 들어 [{.. } , {..} ,..... ]) 하나씩 뽑아서 DataFrame으로 바꾸고 컨캣했는데 그냥 리스트 자체를 pd.DataFrame으로 씌우고 변환하니 해결

https://towardsdatascience.com/getting-rich-quick-with-machine-learning-and-stock-market-predictions-696802da94fe Getting rich quick with machine learning and stock market predictions If a human investor can be successful, why can’t a machine? towardsdatascience.com S&P 500 데이터로 위 미디엄을 따라가다가 생긴 오류 먼저, axis 누락이라길래 axis =1로 부여함 그 다음 오류는 위쪽 다른 코드들 보니까 next_day_open_values 만 차원이 큰 거 같아서 아래처럼 해결함 (이 ..

데이터 프레임을 날짜 기준으로 정렬하는 법

https://scikit-learn.org/stable/tutorial/machine_learning_map/index.html Choosing the right estimator — scikit-learn 0.22.2 documentation Choosing the right estimator Often the hardest part of solving a machine learning problem can be finding the right estimator for the job. Different estimators are better suited for different types of data and different problems. The flowchart below is desi sci..

* 본 게시글은 원작자에게 허락을 받아 번역한 글입니다. 원 게시글은 이곳에 있습니다. 심한 번역체를 이해하며 읽어주세요.... 참고한 논문은 'Connecting Generative Adversarial Networks and Actor-Critic Methods(David Pfau, Oriol Vinyals)' 이며 다운은 이곳에서 받을 수 있습니다. 처음 ‘Generative Adversarial Nets’(이하 GAN) 논문을 읽었을 때, 강화학습과 GAN 사이에 뭔가 모를 연결점이 있다고 느꼈다. 몇번의 연구 이후에, 우연히 DeepMind의 David Pfau와 Oriol Vinyals가 2017년 진행한 연구를 발견하게 됐다. 논문에서 볼 수 있듯, 먼저 두 methods가 무엇인지에 대한 ..

사실 너무 간단하고 당연한 방법이라 엄청 빨리 해결해서.. 포스팅할 가치가 있는지는 모르겠지만 고냥 초보자를 위해! boolean이 들어있는 list에서 값을 뽑아오려니 bool object는 iterable하지 않다는 에러 발생 그래서 str으로 바꿔줬다.