Skip to content

Измерение: цена троичности в перплексии на русском и английском (40 окон) + отмена утверждения от 17.08 - #21

Open
gHashTag wants to merge 2 commits into
mainfrom
measure-ternary-ppl-2026-08-18
Open

gHashTag wants to merge 2 commits into
mainfrom
measure-ternary-ppl-2026-08-18

Conversation

@gHashTag

Copy link
Copy Markdown
Owner

Что внутри

Пакет paper3-rossiya30-troica/measurements/ternary_ppl_ru_2026-08/: заметка, машинная сводка results.json, протокол run.sh, скрипт пересборки корпусов с sha256 и четыре сырых лога llama-perplexity.

Числа [измерено]

Корпус (40 окон × 512 токенов) Ternary-Bonsai-1.7B-Q2_0 Qwen3-1.7B-Q8_0 цена троичности
Английский 21,2119 ± 0,69302 16,6104 ± 0,53106 +27,70 ± 5,84 п.п.
Русский 6,8611 ± 0,17512 5,4776 ± 0,14849 +25,26 ± 4,66 п.п.

Отмена собственного утверждения

Заявление от 17.08.2026 «на русском троичность стоит дороже, чем на английском» (10 русских окон против 16 английских) снимается: при 40 окнах порядок переворачивается, интервалы перекрываются, разницы между языками из этих данных заявлять нельзя.

Старые числа при этом воспроизвелись бит-в-бит как префиксы новых прогонов (окно 16 EN = 15,7985, окно 10 RU = 5,7293) — то есть они были недосэмплированы, а не ошибочны.

Границы

Не полный wikitext-2 ([not-evaluated]); опора Q8_0, не fp16; корпус v2 включает v1 дословно, поэтому это не две независимые выборки; всё на процессоре, на AX7203 не измерено ничего.

Слияние

Не слито и не будет слито автоматически — решение за автором.

…ndows

Retracts the 17.08.2026 claim that ternarity costs more on Russian than on English:
at 40 windows EN penalty is +27.70 +/- 5.84 pp vs RU +25.26 +/- 4.66 pp (ordering reverses,
intervals overlap). The 17.08 numbers reproduce bit-exactly as prefixes (window 16 EN = 15.7985,
window 10 RU = 5.7293), so they were undersampled rather than wrong.

Includes raw llama-perplexity logs, corpus rebuild script with sha256, and machine-readable results.json.
…indows, EN+RU)

Key finding: the +25..28% penalty measured yesterday is the price of going below ~3.5 bit/weight
in general, not a property of ternary representation - post-hoc Q2_K at 3.064 bpw pays the same
(Q3_K_M -> Q2_K: +25.1 +/- 5.5 pp EN, +16.6 +/- 4.3 pp RU).

Ternary at 1.825 bpw is statistically indistinguishable from Q2_K at 3.064 bpw (-2.50 +/- 4.42 pp EN,
+2.68 +/- 3.75 pp RU): same quality for 40% fewer bits.

Above ~4.4 bpw the curve is flat: Q4_K_M, Q6_K and Q8_0 differ by 0.3-1.4% at 3.8-4.6 pp uncertainty.

Includes raw logs, sha256 of every downloaded file, and machine-readable curve_results.json.
@gHashTag

Copy link
Copy Markdown
Owner Author

Добавлена кривая: шесть точек «бит на вес против бита на токен» [измерено]

Тот же протокол (40 окон × 512 токенов, seed 42, оба корпуса, те же sha256), файл CURVE_ru.md + curve_results.json + сырые логи.

Модель бит/вес EN PPL RU PPL
Ternary-Bonsai-1.7B-Q2_0 1,825 21,2119 ± 0,693 6,8611 ± 0,175
Qwen3-1.7B-Q2_K 3,064 21,7566 ± 0,685 6,6817 ± 0,174
Qwen3-1.7B-Q3_K_M 3,701 17,3925 ± 0,542 5,7318 ± 0,152
Qwen3-1.7B-Q4_K_M 4,362 16,5360 ± 0,520 5,5113 ± 0,148
Qwen3-1.7B-Q6_K 5,584 16,3794 ± 0,517 5,4614 ± 0,147
Qwen3-1.7B-Q8_0 7,226 16,6104 ± 0,531 5,4776 ± 0,148

Главное, и это снова правка нашей же формулировки: обрыв качества лежит между 3,7 и 3,1 бита (Q3_K_M → Q2_K: +25,1 ± 5,5 п.п. EN, +16,6 ± 4,3 п.п. RU). Это тот же порядок, что вчера был назван «ценой троичности». Значит наблюдённые +25…28 % — цена ухода ниже ≈3,5 бита вообще, а не свойство троичного представления. В материалах заменить «цена троичности» на «цена низкой битности».

Аргумент, который остаётся: троичная модель на 1,825 бита неотличима от Q2_K на 3,064 бита (−2,50 ± 4,42 п.п. EN, +2,68 ± 3,75 п.п. RU) — то же качество при на 40 % меньшем числе бит. Не «лучше», а «столько же за меньше бит», и только против агрессивной пост-квантизации.

Выше ≈4,4 бита кривая плоская: Q4_K_M / Q6_K / Q8_0 различаются на 0,3–1,4 % при погрешности 3,8–4,6 п.п.

Оговорка о провенансе: точки Q2_K…Q6_K — imatrix-квантизации unsloth, Q8_0 — официальный Qwen. Разные конвейеры, поэтому «одной кривой» их считать строго нельзя.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant