Преглед изворни кода

feat: cache huggingface gpt2 tokenizer files (#1138)

takatost пре 1 година
родитељ
комит
877da82b06
1 измењених фајлова са 3 додато и 1 уклоњено
  1. 3 1
      api/Dockerfile

+ 3 - 1
api/Dockerfile

@@ -26,7 +26,7 @@ EXPOSE 5001
 
 WORKDIR /app/api
 
-RUN apt-get update \ 
+RUN apt-get update \
     && apt-get install -y --no-install-recommends bash curl wget vim nodejs \
     && apt-get autoremove \
     && rm -rf /var/lib/apt/lists/*
@@ -34,6 +34,8 @@ RUN apt-get update \
 COPY --from=base /pkg /usr/local
 COPY . /app/api/
 
+RUN python -c "from transformers import GPT2TokenizerFast; GPT2TokenizerFast.from_pretrained('gpt2')"
+
 COPY docker/entrypoint.sh /entrypoint.sh
 RUN chmod +x /entrypoint.sh