Gunakan Qiskit Code Assistant dalam mod tempatan

Ketahui cara memasang, mengkonfigurasi, dan menggunakan mana-mana model Qiskit Code Assistant pada mesin tempatan anda.

Nota

• Qiskit Code Assistant berada dalam status keluaran pratonton dan tertakluk kepada perubahan.
• Jika anda mempunyai maklum balas atau ingin menghubungi pasukan pembangun, gunakan saluran Ruang Kerja Qiskit Slack atau repositori GitHub awam yang berkaitan.

Permulaan pantas (disyorkan)

Cara termudah untuk bermula dengan Qiskit Code Assistant dalam mod tempatan adalah dengan menggunakan skrip persediaan automatik untuk sama ada sambungan VS Code atau JupyterLab. Skrip ini akan memasang Ollama secara automatik untuk menjalankan LLM, memuat turun model yang disyorkan, dan mengkonfigurasi sambungan untuk anda.

Persediaan sambungan VS Code

Jalankan arahan berikut dalam terminal anda:

bash <(curl -fsSL https://raw.githubusercontent.com/Qiskit/qiskit-code-assistant-vscode/main/setup_local.sh)

Skrip ini melakukan langkah-langkah berikut:

• Memasang Ollama (jika belum dipasang)
• Memuat turun dan mengkonfigurasi model Qiskit Code Assistant yang disyorkan
• Menyediakan sambungan VS Code untuk berfungsi dengan penggunaan tempatan anda

Persediaan sambungan JupyterLab

Jalankan arahan berikut dalam terminal anda:

bash <(curl -fsSL https://raw.githubusercontent.com/Qiskit/qiskit-code-assistant-jupyterlab/main/setup_local.sh)

Skrip ini akan:

• Memasang Ollama (jika belum dipasang)
• Memuat turun dan mengkonfigurasi model Qiskit Code Assistant yang disyorkan
• Menyediakan sambungan JupyterLab untuk berfungsi dengan penggunaan tempatan anda

Model tersedia

Model semasa

Ini adalah model terkini yang disyorkan untuk digunakan dengan Qiskit Code Assistant:

1. Qiskit/mistral-small-3.2-24b-qiskit - Dikeluarkan Oktober 2025
2. qiskit/qwen2.5-coder-14b-qiskit - Dikeluarkan Jun 2025
3. qiskit/granite-3.3-8b-qiskit - Dikeluarkan Jun 2025
4. qiskit/granite-3.2-8b-qiskit - Dikeluarkan Jun 2025

Model GGUF (disyorkan untuk persekitaran peribadi/komputer riba)

Model berformat GGUF dioptimumkan untuk kegunaan tempatan dan memerlukan sumber pengkomputeran yang lebih sedikit:

1. mistral-small-3.2-24b-qiskit-GGUF – Dikeluarkan Oktober 2025 Dilatih dengan data Qiskit sehingga versi 2.1

2. qiskit/qwen2.5-coder-14b-qiskit-GGUF – Dikeluarkan Jun 2025 Dilatih dengan data Qiskit sehingga versi 2.0

3. qiskit/granite-3.3-8b-qiskit-GGUF – Dikeluarkan Jun 2025 Dilatih dengan data Qiskit sehingga versi 2.0

4. qiskit/granite-3.2-8b-qiskit-GGUF – Dikeluarkan Jun 2025 Dilatih dengan data Qiskit sehingga versi 2.0

Model Qiskit Code Assistant Sumber Terbuka tersedia dalam format safetensors atau GGUF file format dan boleh dimuat turun dari Hugging Face seperti yang dijelaskan di bawah.

Versi Qiskit yang digunakan untuk latihan

Model						Metrik Penanda Aras					Tarikh keluaran	Dilatih pada versi Qiskit
	QiskitHumanEval-Hard	QiskitHumanEval	HumanEval	ASDiv	MathQA	SciQ	MBPP	IFEval	CrowsPairs (English)	TruthfulQA (MC1 acc)
mistral-small-3.2-24b-qiskit	32.45	47.02	77.49	3.77	49.68	97.50	64.00	48.44	67.08	39.41	January 2026	2.2
qwen2.5-coder-14b-qiskit	25.17	49.01	91.46	4.21	53.90	97.00	77.60	49.64	65.18	37.82	June 2025	2.0
granite-3.3-8b-qiskit	14.57	27.15	62.80	0.48	38.66	93.30	52.40	59.71	59.75	39.05	June 2025	2.0
granite-3.2-8b-qiskit	9.93	24.50	57.32	0.09	41.41	96.30	51.80	60.79	66.79	40.51	June 2025	2.0
granite-8b-qiskit-rc-0.10	15.89	38.41	59.76	—	—	—	—	—	—	—	February 2025	1.3
granite-8b-qiskit	17.88	44.37	53.66	—	—	—	—	—	—	—	November 2024	1.2

Nota: Semua model yang disenaraikan dalam jadual penanda aras dinilai menggunakan gesaan sistem masing-masing, yang ditakrifkan dalam model Hugging Face mereka.

Model yang tidak lagi disokong

Model-model ini tidak lagi diselenggara secara aktif tetapi masih tersedia:

1. qiskit/granite-8b-qiskit-rc-0.10 - Dikeluarkan Februari 2025 (tidak lagi disokong)
2. qiskit/granite-8b-qiskit - Dikeluarkan November 2024 (tidak lagi disokong)

Persediaan lanjutan

Jika anda lebih suka mengkonfigurasi persediaan tempatan secara manual atau memerlukan lebih kawalan ke atas proses pemasangan, luaskan bahagian di bawah.

Muat turun dari laman web Hugging Face

Ikuti langkah-langkah ini untuk memuat turun mana-mana model berkaitan Qiskit Code Assistant dari laman web Hugging Face:

1. Navigasi ke halaman model Qiskit yang dikehendaki di Hugging Face.
2. Pergi ke tab Files and Versions dan muat turun fail model safetensors atau GGUF.

Muat turun menggunakan Hugging Face CLI

Untuk memuat turun mana-mana model Qiskit Code Assistant yang tersedia menggunakan Hugging Face CLI, ikuti langkah-langkah ini:

1. Pasang Hugging Face CLI

2. Log masuk ke akaun Hugging Face anda

   huggingface-cli login

3. Muat turun model yang anda pilih dari senarai sebelumnya

   huggingface-cli download <HF REPO NAME> <MODEL PATH> --local-dir <LOCAL PATH>

Gunakan model Qiskit Code Assistant secara tempatan melalui Ollama secara manual

Terdapat beberapa cara untuk menggunakan dan berinteraksi dengan model Qiskit Code Assistant yang telah dimuat turun. Panduan ini menunjukkan penggunaan Ollama seperti berikut: sama ada dengan aplikasi Ollama menggunakan integrasi Hugging Face Hub atau model tempatan, atau dengan pakej llama-cpp-python.

Menggunakan aplikasi Ollama

Aplikasi Ollama menyediakan penyelesaian mudah untuk menjalankan LLM secara tempatan. Ia mudah digunakan, dengan CLI yang menjadikan keseluruhan proses persediaan, pengurusan model, dan interaksi agak mudah. Ia sesuai untuk eksperimen pantas dan bagi pengguna yang mahu mengendalikan lebih sedikit butiran teknikal.

Pasang Ollama

1. Muat turun aplikasi Ollama

2. Pasang fail yang dimuat turun

3. Lancarkan aplikasi Ollama yang telah dipasang

   info

   Aplikasi berjalan dengan berjaya apabila ikon Ollama muncul dalam bar menu desktop. Anda juga boleh mengesahkan perkhidmatan sedang berjalan dengan pergi ke http://localhost:11434/.

4. Cuba Ollama dalam terminal anda dan mula menjalankan model. Contohnya:

   ollama run hf.co/Qiskit/Qwen2.5-Coder-14B-Qiskit

Sediakan Ollama menggunakan integrasi Hugging Face Hub

Integrasi Ollama/Hugging Face Hub menyediakan cara untuk berinteraksi dengan model yang dihoskan di Hugging Face Hub tanpa perlu mencipta modelfile baharu atau memuat turun fail GGUF atau safetensors secara manual. Fail template dan params lalai sudah disertakan untuk model di Hugging Face Hub.

1. Pastikan aplikasi Ollama sedang berjalan.

2. Pergi ke halaman model yang dikehendaki, dan salin URL. Contohnya, https://huggingface.co/Qiskit/Qwen2.5-Coder-14B-Qiskit-GGUF.

3. Dari terminal anda, jalankan arahan:

   ollama run hf.co/Qiskit/Qwen2.5-Coder-14B-Qiskit

Anda boleh menggunakan model hf.co/Qiskit/Qwen2.5-Coder-14B-Qiskit atau mana-mana model GGUF rasmi yang disyorkan pada masa ini hf.co/Qiskit/mistral-small-3.2-24b-qiskit-GGUF atau hf.co/Qiskit/granite-3.3-8b-qiskit-GGUF.

Sediakan Ollama dengan model GGUF Qiskit Code Assistant yang dimuat turun secara manual

Jika anda telah memuat turun model GGUF secara manual seperti https://huggingface.co/Qiskit/Qwen2.5-Coder-14B-Qiskit-GGUF dan anda ingin bereksperimen dengan templat dan parameter yang berbeza, anda boleh mengikuti langkah-langkah ini untuk memuatnya ke dalam aplikasi Ollama tempatan anda.

1. Cipta Modelfile dengan memasukkan kandungan berikut dan pastikan untuk mengemas kini <PATH-TO-GGUF-FILE> kepada laluan sebenar model yang anda muat turun.

   FROM <PATH-TO-GGUF-FILE>
   TEMPLATE """{{ if .System }}
   System:
   {{ .System }}
   
   {{ end }}{{ if .Prompt }}Question:
   {{ .Prompt }}
   
   {{ end }}Answer:
   ```python{{ .Response }}
   """
   
   PARAMETER stop "Question:"
   PARAMETER stop "Answer:"
   PARAMETER stop "System:"
   PARAMETER stop "```"
   
   PARAMETER temperature 0
   PARAMETER top_k 1

2. Run the following command to create a custom model instance based on the Modelfile.

   ollama create Qwen2.5-Coder-14B-Qiskit -f ./path-to-model-file

   nota

   This process may take some time for Ollama to read the model file, initialize the model instance, and configure it according to the specifications provided.

Run the Qiskit Code Assistant model manually downloaded in Ollama

After the Qwen2.5-Coder-14B-Qiskit model has been set up in Ollama, run the following command to launch the model and interact with it in the terminal (in chat mode).

ollama run Qwen2.5-Coder-14B-Qiskit

Some useful commands:

• ollama list - List models on your computer
• ollama rm Qwen2.5-Coder-14B-Qiskit - Delete the model
• ollama show Qwen2.5-Coder-14B-Qiskit - Show model information
• ollama stop Qwen2.5-Coder-14B-Qiskit - Stop a model that is currently running
• ollama ps - List which models are currently loaded

Manually deploy the Qiskit Code Assistant models in local through the llama-cpp-python package

An alternative to the Ollama application is the llama-cpp-python package, which is a Python binding for llama.cpp. It gives you more control and flexibility to run the GGUF model locally, and is ideal for users who wish to integrate the local model in their workflows and Python applications.

1. Install llama-cpp-python
2. Interact with the model from within your application using llama_cpp. For example:

from llama_cpp import Llama

model_path = <PATH-TO-GGUF-FILE>

model = Llama(
        model_path,
        seed=17,
        n_ctx=10000,
        n_gpu_layers=37, # to offload in gpu, but put 0 if all in cpu
    )

input = 'Generate a quantum circuit with 2 qubits'
raw_pred = model(input)["choices"][0]["text"]

You can also add text generation parameters to the model to customize the inference:

generation_kwargs = {
        "max_tokens": 512,
        "echo": False, # Echo the prompt in the output
        "top_k": 1
    }

raw_pred = model(input, **generation_kwargs)["choices"][0]["text"]

Manually deploy the Qiskit Code Assistant models in local through llama.cpp

Use the llama.cpp library

Another alternative is to use llama.cpp, an open-source library for performing LLM inference on a CPU with minimal setup. It provides low-level control over the model execution and is typically run from the command line, pointing to a local GGUF model file.

There are several ways to install llama.cpp on your machine:

• Install llama.cpp using brew, nix, or winget
• Run with Docker: See out the Docker documentation by llama.cpp team
• Download pre-built binaries from the releases page
• Build from source by cloning this repository

Once installed, you can use llama.cpp to interact with GGUF models in conversation mode as follows:

# Use a local model file
llama-cli -m my_model.gguf -cnv

# Or download and run a model directly from Hugging Face
llama-cli -hf Qiskit/Qwen2.5-Coder-14B-Qiskit-GGUF -cnv

You can also launch an OpenAI-compatible API server for the model in the following way:

llama-server -hf Qiskit/Qwen2.5-Coder-14B-Qiskit-GGUF

Advanced parameters

With the llama-cli program, you can control the model generation using command-line options. For example, you can provide an initial “system” prompt using the -p/--prompt flag. In conversation mode (-cnv), this initial prompt acts as the system message. Otherwise, you can simply prepend any desired instruction to your prompt text. You can also adjust sampling parameters - for instance: temperature (--temp), top-k (--top-k), top-p (--top-p), repetition penalty (--repeat-penalty), and the seed to use (--seed). The following is an example invocation using these options:

llama-cli -hf Qiskit/Qwen2.5-Coder-14B-Qiskit-GGUF \
  -p "You are a friendly assistant." -cnv \
  --temp 0.7 \
  --top-k 50 \
  --top-p 0.95 \
  --repeat-penalty 1.1 \
  --seed 42

Untuk memastikan fungsi yang betul bagi model Qiskit kami, kami mengesyorkan menggunakan gesaan sistem yang disediakan dalam repositori HF GGUF kami: gesaan sistem untuk mistral-small-3.2-24b-qiskit-GGUF, Qwen2.5-Coder-14B-Qiskit-GGUF, granite-3.3-8b-qiskit-GGUF, dan granite-3.2-8b-qiskit-GGUF.

Sambungkan sambungan ke penggunaan tempatan secara manual

Gunakan sambungan VS Code dan sambungan JupyterLab untuk Qiskit Code Assistant untuk menggesaan model Qiskit Code Assistant yang digunakan secara tempatan. Setelah anda mempunyai aplikasi Ollama yang disediakan dengan model, anda boleh mengkonfigurasi sambungan untuk berhubung ke perkhidmatan tempatan.

Sambung dengan sambungan VS Code Qiskit Code Assistant

Dengan sambungan VS Code Qiskit Code Assistant, anda boleh berinteraksi dengan model dan melakukan penyempurnaan kod semasa menulis kod anda. Ini boleh berfungsi dengan baik untuk pengguna yang mencari bantuan menulis kod Qiskit untuk aplikasi Python mereka.

1. Pasang sambungan VS Code Qiskit Code Assistant.
2. Dalam VS Code, pergi ke User Settings dan tetapkan Qiskit Code Assistant: Url ke URL penggunaan Ollama tempatan anda (contohnya, http://localhost:11434).
3. Muat semula VS Code dengan pergi ke View > Command Palette... dan memilih Developer: Reload Window.

Model Qiskit Code Assistant yang dikonfigurasi dalam Ollama sepatutnya muncul dalam bar status dan sedia digunakan.

Sambung dengan sambungan JupyterLab Qiskit Code Assistant

Dengan sambungan JupyterLab Qiskit Code Assistant, anda boleh berinteraksi dengan model dan melakukan penyempurnaan kod terus dalam Jupyter Notebook anda. Pengguna yang kebanyakannya bekerja dengan Jupyter Notebooks boleh memanfaatkan sambungan ini untuk meningkatkan lagi pengalaman mereka menulis kod Qiskit.

1. Pasang sambungan JupyterLab Qiskit Code Assistant.
2. Dalam JupyterLab, pergi ke Settings Editor dan tetapkan Qiskit Code Assistant Service API ke URL penggunaan Ollama tempatan anda (contohnya, http://localhost:11434).

Model Qiskit Code Assistant yang dikonfigurasi dalam Ollama sepatutnya muncul dalam bar status dan sedia digunakan.