공부기록
스파크에 파이썬 프로젝트 서브밋하기 본문
Python Package Management — PySpark 3.4.0 documentation
Python Package Management When you want to run your PySpark application on a cluster such as YARN, Kubernetes, Mesos, etc., you need to make sure that your code and all used libraries are available on the executors. As an example, let’s say you may want
spark.apache.org
export PYSPARK_PYTHON=./environment/bin/python
위 명령어는 제출하는 잡의 환경을 사용하겠다는 말이다. 즉 저렇게 해줘야 프로젝트의 의존성 사용할 수 있음.
'일단써' 카테고리의 다른 글
| feature 브랜치 develop에 머지후 revert 한 뒤 수정사항 다시 적용하는 방법 (0) | 2023.03.02 |
|---|---|
| K8S에 MySQL 띄우기 (0) | 2022.10.22 |
| 코틀린에서 스프링 커스텀 예외는 Exception 을 상속하자 (0) | 2022.07.15 |
| logback log level 설정 (0) | 2022.06.19 |
| pandas 특수문자가 들어간 query가 있을 때 (0) | 2022.02.18 |