Airflow:如何通过docker-compose.yml安装pip包?

好吧,我可能很愚蠢,但无论如何;如何通过气流的 docker-compose 文件安装额外的 pip 包?

我假设他们应该是一个标准的功能来选择一个requirements.txt或其他东西。在检查他们的repo 时,我确实看到了一些类似的 ENV 变量ADDITIONAL_PYTHON_DEPS提示我这应该是可能的,但是在 docker-compose 文件中设置这些实际上并没有安装库的。

version: '3'
x-airflow-common:
  &airflow-common
  image: ${AIRFLOW_IMAGE_NAME:-apache/airflow:2.0.1}
  environment:
    &airflow-common-env
    AIRFLOW__CORE__EXECUTOR: CeleryExecutor
    AIRFLOW__CORE__SQL_ALCHEMY_CONN: postgresql+psycopg2://airflow:airflow@postgres/airflow
    AIRFLOW__CELERY__RESULT_BACKEND: db+postgresql://airflow:airflow@postgres/airflow
    AIRFLOW__CELERY__BROKER_URL: redis://:@redis:6379/0
    AIRFLOW__CORE__FERNET_KEY: ''
    AIRFLOW__CORE__DAGS_ARE_PAUSED_AT_CREATION: 'true'
    AIRFLOW__CORE__LOAD_EXAMPLES: 'false'
    AIRFLOW__API__AUTH_BACKEND: 'airflow.api.auth.backend.basic_auth'
    AIRFLOW__WEBSERVER__EXPOSE_CONFIG: 'true'
    ADDITIONAL_PYTHON_DEPS: python-bitvavo-api

volumes:
    - ./dags:/opt/airflow/dags
    - ./logs:/opt/airflow/logs
    - ./plugins:/opt/airflow/plugins
    - ./requirements.txt:/requirements.txt

显然我的 docker 经验非常有限,但我错过了什么?

回答

在此处的 Airflow 文档中,有一个非常详细的指南,说明如何实现您正在寻找的内容。根据您的要求,这可能就像From在创建新 Dockerfile 时使用指令扩展原始图像一样简单 ,或者您可能需要自定义图像以满足您的需要。

如果您使用扩展映像方法,您的新 Dockerfile 将是这样的:

FROM apache/airflow:2.0.1
USER root
RUN apt-get update 
  && apt-get install -y --no-install-recommends 
         build-essential my-awesome-apt-dependency-to-add 
  && apt-get autoremove -yqq --purge 
  && apt-get clean 
  && rm -rf /var/lib/apt/lists/*
USER airflow
RUN pip install --no-cache-dir --user my-awesome-pip-dependency-to-add
FROM apache/airflow:2.0.1
USER root
RUN apt-get update 
  && apt-get install -y --no-install-recommends 
         build-essential my-awesome-apt-dependency-to-add 
  && apt-get autoremove -yqq --purge 
  && apt-get clean 
  && rm -rf /var/lib/apt/lists/*
USER airflow
RUN pip install --no-cache-dir --user my-awesome-pip-dependency-to-add

然后你可以在 docker-compose 文件中添加类似的东西:

最后,构建您的图像并使用 compose 重新打开所有内容。尝试文档以获取详细信息或完整说明。希望对你有用!


以上是Airflow:如何通过docker-compose.yml安装pip包?的全部内容。
THE END
分享
二维码
< <上一篇
下一篇>>