[Hadoop] Apple M1 칩에 설치하기

[Hadoop] Apple M1 칩에 설치하기

최근 회사에서 데이터 쪽 작업을 시작하다 이왕 만진김에 데이터 쪽 공부를 해볼까 해서 하둡을 공부 해보기로 했다.

그리서 Udemy에서 블랙 프라이데이로 모든 강의 1.4만원으로 세일 하기에 우선 하둡 기초 강의를 구입해서 차근히 진행을 해보려고 했었으나...

이게 왠걸? 강의에서는 HDP Sandbox 환경을 사용해서 한다고 한다.

그런데 문제는 위의 환경은 M1칩을 지원 해주지 않는 환경이였다.

도커로 Sandbox 실행 해보려고 하기도 했고 VMWare를 사용해서 돌려보려고 시도 해보았지만 끝끝내 성공하지 못했다.

따라서 그냥 로컬에다가 하둡을 설치 할 수 밖에 없는 상황...

그래서 나는 로컬에다가 하둡을 설치하기로 했다.

우선 아까 말했듯이 M1칩의 arm64 아키텍쳐로서는 설치를 못하기 때문에 로제타를 활용해서 설치를 하도록 했다.

설치를 시작하기전 저는 항상 터미널은 Rosetta로 실행 하도록 하게 했으며 아래 보이는 터미널의 명령어들도 Rosetta로 실행된 터미널 입니다.

일단 나는 깔려있는 brew를 통해 아래 명령어를 사용해서 설치를 시도 해보았다.

brew install hadoop

하지만 brew 자체가 arm64로 설치 했기 때문에 아래와 같이 오류가 났다.

따라서 brew 를 x86_64로 실행 할 수 있도록 해야하는데 해당 방법은 아래의 블로그를 참조 하면 될 것 같다.

http://dalinaum.github.io/mac/2021/03/15/m1-init.html

위와 같이 설정 한 뒤 아래 명령어를 통해 다시 설치를 하게되면 최종적으로 설치가 성공하게 된다!

ibrew install hadoop

이렇게 뭔가 간단하게 해결 됐다는게 너무나 신기 할 따름...

아 참고로 그냥 M1 하둡 설치 관련글을 찾아보다 이것 이외의 에러가 발생한다면 아래의 블로그 글도 참고 해보는것도 좋을 것 같다.

https://givitallugot.github.io/articles/2021-08/Hadoop-preprocessing-install-errors

from http://seolgang.tistory.com/3 by ccl(A) rewrite - 2021-12-14 01:02:28