llama-cpp-python
fastapi
uvicorn
pydantic
tqdm
python-dotenv
numpy
cachetools