Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Some Python related errors resulting in "Host [llama-gpt-api:8000] not yet available..." and exit code of 1 #162

Open
shareef-dweikat opened this issue Jun 23, 2024 · 1 comment

Comments

@shareef-dweikat
Copy link

shareef-dweikat commented Jun 23, 2024

I am trying to run ./run.sh --model 7b, i get the following error log ending with llama-gpt-llama-gpt-api-1 exited with code 1

llama-gpt-llama-gpt-api-1 | /usr/local/lib/python3.11/site-packages/setuptools/command/develop.py:40: EasyInstallDeprecationWarning: easy_install command is deprecated. llama-gpt-llama-gpt-api-1 | !! llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | ******************************************************************************** llama-gpt-llama-gpt-api-1 | Please avoid running ``setup.py`` and ``easy_install``. llama-gpt-llama-gpt-api-1 | Instead, use pypa/build, pypa/installer or other llama-gpt-llama-gpt-api-1 | standards-based tools. llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | See https://github.com/pypa/setuptools/issues/917 for details. llama-gpt-llama-gpt-api-1 | ******************************************************************************** llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | !! llama-gpt-llama-gpt-api-1 | easy_install.initialize_options(self) llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | [0/1] Install the project... llama-gpt-llama-gpt-api-1 | -- Install configuration: "Release" llama-gpt-llama-gpt-api-1 | -- Up-to-date: /app/_skbuild/linux-aarch64-3.11/cmake-install/llama_cpp/libllama.so llama-gpt-llama-gpt-api-1 | copying _skbuild/linux-aarch64-3.11/cmake-install/llama_cpp/libllama.so -> llama_cpp/libllama.so llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | running develop llama-gpt-llama-gpt-api-1 | /usr/local/lib/python3.11/site-packages/setuptools/_distutils/cmd.py:66: SetuptoolsDeprecationWarning: setup.py install is deprecated. llama-gpt-llama-gpt-api-1 | !! llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | ******************************************************************************** llama-gpt-llama-gpt-api-1 | Please avoid running ``setup.py`` directly. llama-gpt-llama-gpt-api-1 | Instead, use pypa/build, pypa/installer or other llama-gpt-llama-gpt-api-1 | standards-based tools. llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | See https://blog.ganssle.io/articles/2021/10/setup-py-deprecated.html for details. llama-gpt-llama-gpt-api-1 | ******************************************************************************** llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | !! llama-gpt-llama-gpt-api-1 | self.initialize_options() llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | running egg_info llama-gpt-llama-gpt-api-1 | writing llama_cpp_python.egg-info/PKG-INFO llama-gpt-llama-gpt-api-1 | writing dependency_links to llama_cpp_python.egg-info/dependency_links.txt llama-gpt-llama-gpt-api-1 | writing requirements to llama_cpp_python.egg-info/requires.txt llama-gpt-llama-gpt-api-1 | writing top-level names to llama_cpp_python.egg-info/top_level.txt llama-gpt-llama-gpt-api-1 | reading manifest file 'llama_cpp_python.egg-info/SOURCES.txt' llama-gpt-llama-gpt-api-1 | adding license file 'LICENSE.md' llama-gpt-llama-gpt-api-1 | writing manifest file 'llama_cpp_python.egg-info/SOURCES.txt' llama-gpt-llama-gpt-api-1 | running build_ext llama-gpt-llama-gpt-api-1 | Creating /usr/local/lib/python3.11/site-packages/llama-cpp-python.egg-link (link to .) llama-gpt-llama-gpt-api-1 | llama-cpp-python 0.1.78 is already the active version in easy-install.pth llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | Installed /app llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | Processing dependencies for llama-cpp-python==0.1.78 llama-gpt-llama-gpt-api-1 | Searching for diskcache==5.6.1 llama-gpt-llama-gpt-api-1 | Best match: diskcache 5.6.1 llama-gpt-llama-gpt-api-1 | Processing diskcache-5.6.1-py3.11.egg llama-gpt-llama-gpt-api-1 | Adding diskcache 5.6.1 to easy-install.pth file llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | Using /usr/local/lib/python3.11/site-packages/diskcache-5.6.1-py3.11.egg llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | Searching for numpy==1.26.0b1 llama-gpt-llama-gpt-api-1 | Best match: numpy 1.26.0b1 llama-gpt-llama-gpt-api-1 | Processing numpy-1.26.0b1-py3.11-linux-aarch64.egg llama-gpt-llama-gpt-api-1 | Adding numpy 1.26.0b1 to easy-install.pth file llama-gpt-llama-gpt-api-1 | Installing f2py script to /usr/local/bin llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | Using /usr/local/lib/python3.11/site-packages/numpy-1.26.0b1-py3.11-linux-aarch64.egg llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | Searching for typing-extensions==4.7.1 llama-gpt-llama-gpt-api-1 | Best match: typing-extensions 4.7.1 llama-gpt-llama-gpt-api-1 | Adding typing-extensions 4.7.1 to easy-install.pth file llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | Using /usr/local/lib/python3.11/site-packages llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | Finished processing dependencies for llama-cpp-python==0.1.78 llama-gpt-llama-gpt-api-1 | Initializing server with: llama-gpt-llama-gpt-api-1 | Batch size: 2096 llama-gpt-llama-gpt-api-1 | Number of CPU threads: 4 llama-gpt-llama-gpt-api-1 | Number of GPU layers: 0 llama-gpt-llama-gpt-api-1 | Context window: 4096 llama-gpt-llama-gpt-api-1 | /usr/local/lib/python3.11/site-packages/pydantic/_internal/_fields.py:127: UserWarning: Field "model_alias" has conflict with protected namespace "model_". llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | You may be able to resolve this warning by setting model_config['protected_namespaces'] = ('settings_',). llama-gpt-llama-gpt-api-1 | warnings.warn( llama-gpt-llama-gpt-api-1 | llama-gpt-llama-gpt-api-1 | llama.cpp: loading model from /models/llama-2-7b-chat.bin llama-gpt-llama-gpt-api-1 | llama_model_load_internal: format = ggjt v3 (latest) llama-gpt-llama-gpt-api-1 | llama_model_load_internal: n_vocab = 32000 llama-gpt-llama-gpt-api-1 | llama_model_load_internal: n_ctx = 4096 llama-gpt-llama-gpt-api-1 | llama_model_load_internal: n_embd = 4096 llama-gpt-llama-gpt-api-1 | llama_model_load_internal: n_mult = 5504 llama-gpt-llama-gpt-api-1 | llama_model_load_internal: n_head = 32 llama-gpt-llama-gpt-api-1 | llama_model_load_internal: n_head_kv = 32 llama-gpt-llama-gpt-api-1 | llama_model_load_internal: n_layer = 32 llama-gpt-llama-gpt-api-1 | llama_model_load_internal: n_rot = 128 llama-gpt-llama-gpt-api-1 | llama_model_load_internal: n_gqa = 1 llama-gpt-llama-gpt-api-1 | llama_model_load_internal: rnorm_eps = 5.0e-06 llama-gpt-llama-gpt-api-1 | llama_model_load_internal: n_ff = 11008 llama-gpt-llama-gpt-api-1 | llama_model_load_internal: freq_base = 10000.0 llama-gpt-llama-gpt-api-1 | llama_model_load_internal: freq_scale = 1 llama-gpt-llama-gpt-api-1 | llama_model_load_internal: ftype = 2 (mostly Q4_0) llama-gpt-llama-gpt-api-1 | llama_model_load_internal: model size = 7B llama-gpt-llama-gpt-api-1 | llama_model_load_internal: ggml ctx size = 0.01 MB llama-gpt-llama-gpt-api-1 | error loading model: llama.cpp: tensor 'layers.1.ffn_norm.weight' is missing from model llama-gpt-llama-gpt-api-1 | llama_load_model_from_file: failed to load model llama-gpt-llama-gpt-api-1 | Traceback (most recent call last): llama-gpt-llama-gpt-api-1 | File "<frozen runpy>", line 198, in _run_module_as_main llama-gpt-llama-gpt-api-1 | File "<frozen runpy>", line 88, in _run_code llama-gpt-llama-gpt-api-1 | File "/app/llama_cpp/server/__main__.py", line 46, in <module> llama-gpt-llama-gpt-api-1 | app = create_app(settings=settings) llama-gpt-llama-gpt-api-1 | ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ llama-gpt-llama-gpt-api-1 | File "/app/llama_cpp/server/app.py", line 317, in create_app llama-gpt-llama-gpt-api-1 | llama = llama_cpp.Llama( llama-gpt-llama-gpt-api-1 | ^^^^^^^^^^^^^^^^ llama-gpt-llama-gpt-api-1 | File "/app/llama_cpp/llama.py", line 328, in __init__ llama-gpt-llama-gpt-api-1 | assert self.model is not None llama-gpt-llama-gpt-api-1 | ^^^^^^^^^^^^^^^^^^^^^^ llama-gpt-llama-gpt-api-1 | AssertionError llama-gpt-llama-gpt-api-1 exited with code 1 llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api:8000] not yet available... llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api:8000] not yet available...

@thgoebel
Copy link

thgoebel commented Sep 6, 2024

I had the same issue. I got it to work by removing the SHA pin: https://github.com/getumbrel/llama-gpt/blob/4b66ea3/docker-compose-gguf.yml#L6

image: ghcr.io/abetlen/llama-cpp-python:latest

This Docker Compose hasn't been updated in ~1 year, so it's likely that abetlen/llama-cpp-python image has had fixes since then...

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants