본문 바로가기

DATA SCIENCE

(40)
Windows10에서 WSL2 로컬 디렉토리 사용법 # 01. 사용배경 처음에는 Windows 11 환경에서 WSL2를 설치해 로컬 경로로 사용했었습니다. Windows11 환경에서는 WSL2 및 사용할 Linux 배포 등을 설치하면, 파일 탐색기의 하단에 다음과 같이 펭귄 모양의 Linux 경로가 생성되어 윈도우즈 로컬 환경에서 작업하는 것처럼 사용할 수 있습니다. 다만 Windows 11 자체가(제가 사용했던 것은 insider preview-developer 버전) 아직 많은 오류와 잦은 업데이트의 과정에서 정상적으로 작업하기가 어려워, 결국 Windows11 사용을 뒤로 미뤄두기로 했습니다. 하지만 그렇다고 기존에 누리던 편리했던 점을 포기하기에는 또 아쉬워서 이와 같이 포스팅을 진행해보도록 하겠습니다. # 02. 사용방법 우선은 Windows 1..
MLOps란 무엇인가? 01. [Why] MLOps가 왜 필요한가? MLOps는 ML + Operations가 결합된 단어라는 것은 이미 많이들 알고 있는 사실이지만, 도대체 왜! MLOps가 필요한지, MLOps를 위해선 무엇이 필요한지 아는 사람은 정작 많이 없는 것 같다. 아마 그 이유는 MLOps라는 개념이 아직 널리 퍼지지 않았을뿐더러, 대표적인 프레임워크로 제안되는 Kubeflow, Airflow, MLflow와 같은 툴이 완벽하게 MLOps를 구현했다고 보기 어렵기 때문으로 보이기도 한다. MLOps가 왜 필요한지 한 장의 이미지로 표현하면 다음과 같다. ML Project를 연구/개발하는 단계에선 실질적으로 MLOps에 대한 필요성을 크게 느끼지 못한다. 그 필요성을 느끼는 것은 해당 Project가 Servic..
Monthly Book Review 04 : 쿠브플로 운영 가이드 https://www.aladin.co.kr/shop/wproduct.aspx?ItemId=287564133 쿠브플로 운영 가이드 성공적인 쿠브플로 프로젝트의 계획과 실행을 위한 실전 가이드. 머신러닝 애플리케이션에서 ‘모델을 만드는 것’은 단지 작은 과정일 뿐이다. 전체 과정에는 개발, 오케스트레이션, 배포, 포 www.aladin.co.kr # 01. 추천하는 독자 이 책의 서장에서 제시하는 대상 독자에 관한 내용을 요약하면 다음과 같다. 쿠브플로 아키텍처를 구축해 실제 운영하고 있는 데브옵스 팀이나 MLOps 팀, 그리고 그들과 소통하고자 하는 데이터 사이언티스트 이 책을 빠르게 훑듯이 읽고, 정독하고, 하나씩 줄도 쳐가며 세 번 정도 읽어본 입장에서 어느정도 동의한다. 우선 이 책은 대부분 이론적..
WSL2 환경에서 WEBCAM 사용 결론부터 말하자면 현재 WSL2 환경에서 WEBCAM의 직접적 사용은 불가능하다. 그 이유는 WSL2는 Windows의 하부 시스템으로서 동작하기에 하드웨어적 접근이 불가능하기 때문이라고 하며, 현재 개선 중이라고 한다. 물론 방법은 있다. WSL2에서 웹캠을 사용하기 위해 현재 웹캠의 화면을 특정 IP로 스트리밍한 다음, 그것을 읽어들이는 것. 이를 위해 라즈베리파이를 이용해 와이파이 공유기에 연결해 가져오는 방식이나 다른 서비스를 사용하는 방법이 주로 쓰이는 것 같다. 이 방법에 대해 궁금하다면 아래의 영상을 고려해보면 좋을 것 같다. https://www.youtube.com/watch?v=e7wpVUgtLz0 그 외에 Microsoft에서 현재 지속적으로 개선하고 있는 사항이 있으며, 그로 인해 ..
ModuleNotFoundError: No module named 'apt_pkg' WSL2, Ubuntu-18.04 환경에서 Yolov4 Darknet에 대해 테스트를 진행 중 다음과 같은 에러가 발생했다. ModuleNotFoundError: No module named 'apt_pkg' Reading package lists... Done E: Problem executing scripts APT::Update::Post-Invoke-Success 'if /usr/bin/test -w /var/lib/command-not-found/ -a -e /usr/lib/cnf-update-db; then /usr/lib/cnf-update-db > /dev/null; fi' E: Sub-process returned an error code 사용하고 있는 GPU가 30 시리즈인 반면, 작동..
linux 환경 하, 여러 deb package 설치 방법 PYTHON의 경우, 아래의 코드를 통해 여러 패키지들을 설치 가능하다. pip install -r requirements.txt 물론 requirements.txt를 채워놔야 하며, 줄띄우기로 각 패키지를 분리&구분한다. 그 세부내용은 다음과 같다. 간단히 말해 pip install 이후에 나오는 내용을 정리해서 적어놓으면 되는 것으로 제일 아래와 같이 버전 지정 후 한 번에 설치가 가능하다. 일반적으로 가상 환경을 구성한 후, 프로젝트 진행 및 종료 이후 pip freeze를 통해 사용한 패키지와 버전을 한 번에 관리&출력해 사용하곤 한다. 이렇게 파이썬 패키지들을 한 번에 설치, 관리할 수는 있었지만 linux 환경에서는 어떻게 설치할 수 있을까? 실제로 여러 데비안 패키지들을 설치해야 하는 경우가..
Node.js 특정 버전 설치 & Node-RED 설치(WSL2, Ubuntu-20.04) Node-RED를 설치하는 와중 WSL2, Ubuntu-20.04 환경에서 제대로 설치가 되지 않는 문제가 발생했다. 정확히는 다음과 같은 코드가 출력되며 한참을 멈춰있고, --verbose 옵션을 통해 진행상황을 살펴봐도 오랜 시간이 걸리다가 결국 에러를 내며 종료된다. idealtree:lib: sill idealtree builddeps in most cases you are behind a proxy or have bad network settings 마치 네트워크 문제나 proxy 문제라 생각되어 해당 부분을 건드리거나 체크해봤고(proxy 설정), 그 외에도 다음과 같은 방법으로 registry를 설정하기도 해봤으나 정상작동하지 않았다. 다만 추후 다른 에러를 방지하기 위해 필요하니 레지스트리..
error executing command, exiting sudo curl -sL | sudo -E bash - 진행하고자 했던 작업은 nodejs의 특정 버전, 정확히는 홈페이지에서 recommended되어 있는 nodejs 14.x 버전을 설치하고자 위의 작업을 수행하던 중 아래와 같은 에러가 발생했다 the repository 'http://developer.download.nvidia.com/compute/machine-learning/repos//x86_64 release' does not have a release file. error executing command, exiting 처음에는 경로가 잘못 지정되어 있어(위의 저 주소로 가면 404 not found가 나온다) 내 문제가 아닌가 싶기도 했었지만(실제로 과거 이와 유사한 문제는 자체적으로..
docker: Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running? docker를 처음 시작하는 단계에서 발생할 수 있는 문제다. 위와 같은 에러가 발생한 이유는 docker가 실행 중이지 않은 상태이기 때문인데, 아래의 두 가지 방법 중 하나로 해결할 수 있다. $ sudo systemctl status docker $ sudo systemctl start docker $ sudo systemctl enable docker $ sudo dockerd 이후 다른 터미널을 켜서 docker 실행 나의 경우엔 첫 번째 방법으로 해결하지 못했으나, 두 번째 방법을 통해 하나의 ubuntu에서 위의 코드를 통해 docker를 켜놓고 다른 ubuntu를 통해 작동시킬 수 있었다.
Error: failed to download version index Windows11, WSL2, Ubuntu-20.04 환경에서 Node-RED를 설치하던 중 다음과 같은 에러를 만났다. Error: failed to download version index 라는 에러인데, 구글링을 통해 확인해보니 여러 Ubuntu 버전에서 발생하는 문제이고, 명확한 해결방법은 없는 것처럼 보였지...만! 생각보다 해결방법은 어렵지 않았다. wsl 자체를 껐다키기를 반복하며 캐시를 지우는 등 일련의 과정을 반복하면 조금씩 진행되는 것을 확인했다. 아직 명확한 해결책이 나오지는 않은 상태인 것 같으나, 이 방법으로 생각보다 쉽게 해결되어 공유.