Qwen3-4B-Instruct-Thinking-TIES / mergekit_config.yml
thiflaf's picture
Upload folder using huggingface_hub
5ce4412 verified
raw
history blame contribute delete
454 Bytes
merge_method: ties
base_model: Qwen/Qwen3-4B-Instruct-2507
models:
- model: Qwen/Qwen3-4B-Instruct-2507
- model: Qwen/Qwen3-4B-Thinking-2507
parameters:
density: 0.5 # tỷ lệ phần delta được giữ lại (0.3–0.7 là phổ biến)
weight: 0.5 # trọng số giữa 2 model (50/50)
normalize: true # chuẩn hoá delta trước khi merge
rescale: true # cân bằng lại norm sau merge
dtype: bfloat16