Temper 1.5B

huggingface.co/temper-ai
Октябрь 2026

Temper 1.5B это Qwen2.5-Coder-1.5B-Instruct, дообученная на тех же 10 тысячах примеров на Rust, что и Temper 0.5B. Каждый пример написала DeepSeek-V4-Flash, после чего его проверили компилятор и тесты. Обучения с подкреплением на этом шаге не было, оно войдёт в Temper 2.

На стандартном бенчмарке HumanEval-Rust модель с первой попытки решает 50,5% задач. Это больше, чем у вдвое большей Qwen2.5-Coder-3B, и недалеко от моделей на 7B и 9B.

Temper 1 1.5BTemper 1 0.5BQwen2.5-Coder-0.5BQwen2.5-Coder-1.5BQwen2.5-Coder-3BStarCoder2-3BQwen2.5-Coder-7BQwen3.5-9B
0 10 20 30 40 50 60 70 0.5B 1B 1.5B 3B 7B 9B параметры Temper 1 0.5B25,2 Qwen2.5-Coder-0.5B16,0 Qwen2.5-Coder-1.5B39,3 Qwen2.5-Coder-3B44,7 StarCoder2-3B25,1 Qwen2.5-Coder-7B57,3 Qwen3.5-9B56,7 Temper 1 1.5B50,5
0 10 20 30 40 50 60 70 0.5B 1.5B 3B 7B параметры Temper 1 0.5B25,2 Coder-0.5B16,0 Coder-1.5B39,3 Coder-3B44,7 StarCoder2-3B25,1 Coder-7B57,3 Qwen3.5-9B56,7 Temper 1 1.5B50,5
Рис. 1. Процент решённых с первой попытки задач HumanEval-Rust (pass@1, %, 156 задач) в зависимости от размера модели. Шкала параметров логарифмическая. Настройки взяты из BigCode Models Leaderboard: дополнение кода без чат-шаблона, температура 0.2, top_p 0.95 и 50 ответов на задачу. Модели Qwen и StarCoder2 взяты в базовых версиях.

Другие Rust-модели

Среди открытых моделей, которые другие авторы дообучили на Rust, Temper 1.5B уступает только моделям на 7B и 14B.

0 20 40 60 80 100 Tessa-Rust-T1-7B 75,8 Strand-Rust-Coder-14B 74,6 Temper 1 1.5B 56,5 Temper 1 0.5B 35,2 Mellum-4b-sft-rust нет чат-шаблона
0 20 40 60 80 100 Tessa7B 75,8 Strand14B 74,6 Temper 11.5B 56,5 Temper 10.5B 35,2 Mellum4B нет
Рис. 2. Процент решённых с первой попытки задач HumanEval-Rust (pass@1, %) у моделей, дообученных на Rust. Задача подаётся сообщением в чат-шаблоне модели. У Mellum-4b-sft-rust чат-шаблона нет.

Ограничения

С десяти попыток Temper 1.5B решает 67,0% задач, что почти совпадает с результатом Qwen2.5-Coder-3B (67,4%). Ограничения у модели те же, что у Temper 0.5B. Её учили только на задачах по Rust с просьбами на английском и без режима fill-in-the-middle, к тому же в данных мало задач на асинхронный код и веб-фреймворки.