Conversation
…ndows Retracts the 17.08.2026 claim that ternarity costs more on Russian than on English: at 40 windows EN penalty is +27.70 +/- 5.84 pp vs RU +25.26 +/- 4.66 pp (ordering reverses, intervals overlap). The 17.08 numbers reproduce bit-exactly as prefixes (window 16 EN = 15.7985, window 10 RU = 5.7293), so they were undersampled rather than wrong. Includes raw llama-perplexity logs, corpus rebuild script with sha256, and machine-readable results.json.
…indows, EN+RU) Key finding: the +25..28% penalty measured yesterday is the price of going below ~3.5 bit/weight in general, not a property of ternary representation - post-hoc Q2_K at 3.064 bpw pays the same (Q3_K_M -> Q2_K: +25.1 +/- 5.5 pp EN, +16.6 +/- 4.3 pp RU). Ternary at 1.825 bpw is statistically indistinguishable from Q2_K at 3.064 bpw (-2.50 +/- 4.42 pp EN, +2.68 +/- 3.75 pp RU): same quality for 40% fewer bits. Above ~4.4 bpw the curve is flat: Q4_K_M, Q6_K and Q8_0 differ by 0.3-1.4% at 3.8-4.6 pp uncertainty. Includes raw logs, sha256 of every downloaded file, and machine-readable curve_results.json.
Добавлена кривая: шесть точек «бит на вес против бита на токен»
|
| Модель | бит/вес | EN PPL | RU PPL |
|---|---|---|---|
| Ternary-Bonsai-1.7B-Q2_0 | 1,825 | 21,2119 ± 0,693 | 6,8611 ± 0,175 |
| Qwen3-1.7B-Q2_K | 3,064 | 21,7566 ± 0,685 | 6,6817 ± 0,174 |
| Qwen3-1.7B-Q3_K_M | 3,701 | 17,3925 ± 0,542 | 5,7318 ± 0,152 |
| Qwen3-1.7B-Q4_K_M | 4,362 | 16,5360 ± 0,520 | 5,5113 ± 0,148 |
| Qwen3-1.7B-Q6_K | 5,584 | 16,3794 ± 0,517 | 5,4614 ± 0,147 |
| Qwen3-1.7B-Q8_0 | 7,226 | 16,6104 ± 0,531 | 5,4776 ± 0,148 |
Главное, и это снова правка нашей же формулировки: обрыв качества лежит между 3,7 и 3,1 бита (Q3_K_M → Q2_K: +25,1 ± 5,5 п.п. EN, +16,6 ± 4,3 п.п. RU). Это тот же порядок, что вчера был назван «ценой троичности». Значит наблюдённые +25…28 % — цена ухода ниже ≈3,5 бита вообще, а не свойство троичного представления. В материалах заменить «цена троичности» на «цена низкой битности».
Аргумент, который остаётся: троичная модель на 1,825 бита неотличима от Q2_K на 3,064 бита (−2,50 ± 4,42 п.п. EN, +2,68 ± 3,75 п.п. RU) — то же качество при на 40 % меньшем числе бит. Не «лучше», а «столько же за меньше бит», и только против агрессивной пост-квантизации.
Выше ≈4,4 бита кривая плоская: Q4_K_M / Q6_K / Q8_0 различаются на 0,3–1,4 % при погрешности 3,8–4,6 п.п.
Оговорка о провенансе: точки Q2_K…Q6_K — imatrix-квантизации unsloth, Q8_0 — официальный Qwen. Разные конвейеры, поэтому «одной кривой» их считать строго нельзя.
Что внутри
Пакет
paper3-rossiya30-troica/measurements/ternary_ppl_ru_2026-08/: заметка, машинная сводкаresults.json, протоколrun.sh, скрипт пересборки корпусов с sha256 и четыре сырых логаllama-perplexity.Числа
[измерено]Отмена собственного утверждения
Заявление от 17.08.2026 «на русском троичность стоит дороже, чем на английском» (10 русских окон против 16 английских) снимается: при 40 окнах порядок переворачивается, интервалы перекрываются, разницы между языками из этих данных заявлять нельзя.
Старые числа при этом воспроизвелись бит-в-бит как префиксы новых прогонов (окно 16 EN = 15,7985, окно 10 RU = 5,7293) — то есть они были недосэмплированы, а не ошибочны.
Границы
Не полный wikitext-2 (
[not-evaluated]); опора Q8_0, не fp16; корпус v2 включает v1 дословно, поэтому это не две независимые выборки; всё на процессоре, на AX7203 не измерено ничего.Слияние
Не слито и не будет слито автоматически — решение за автором.