k0ndra/Qwen3.5-35B-A3B-heretic-v2-ja-imatrix-GGUF

Qwen3.5-35B-A3B-heretic-v2 Japanese imatrix GGUF

日本語を主体としたImportance MatrixによるGGUF量子化です。

Japanese-focused imatrix GGUF quantizations of llmfan46/Qwen3.5-35B-A3B-heretic-v2.

量子化情報

• 元モデル: llmfan46/Qwen3.5-35B-A3B-heretic-v2
• ベースモデル: Qwen/Qwen3.5-35B-A3B (Apache 2.0)
• 量子化ツール: llama.cpp b8559

imatrixについて

日本語テキストを主体としたキャリブレーションデータでImportance Matrixを生成しています。

（おそらく）英語データをメインにで生成されたimatrixと比較して、低ビット量子化（IQ3/IQ4クラス）において日本語の生成品質をより良く維持することを期待していましたが、no thinkingでの選択式や抽出型などの日本語ベンチマークでは微妙な結果でした。 llmfan46/Qwen3.5-35B-A3B-heretic-v2-GGUFを使用することを推奨します。Q6_K以上ではimatrixによる差異は小さいと思うので、本リポジトリでは低ビット量子化に絞って公開しています。

imatrixデータファイル(Qwen3.5-35B-A3B-heretic-v2.imatrix)を同梱しているため、他の量子化タイプを生成したい場合にご利用いただけます。

⚠️ 注意 / Disclaimer

このモデルは検閲除去処理が施されたモデルの量子化です。安全フィルターが大幅に緩和されており、有害・不適切なコンテンツを生成する可能性があります。出力内容の利用については利用者自身の責任においてご判断ください。

This is a quantization of an abliterated model with significantly reduced safety filters. Use at your own risk and responsibility.

クレジット

• 元モデル: llmfan46
• ベースモデル: Qwen Team