15.11.2026

Где языковая модель хранит порядок слов, грамматику и смысл — и зависит ли это от архитектуры? Я обучил 12 небольших моделей, которые отличаются только архитектурой, и проверил линейными пробами каждый слой каждого чекпоинта. Короткий вывод: на этом масштабе заметнее всего различается то, как хранится позиция токена, а для синтаксиса и смысла модели при равном loss выглядят похоже.

Сравнивал RWKV-7, трансформер с RoPE и трансформер без позиционного кодирования (NoPE). Размеров два (56.6M и 115M параметров), языков два (русский, английский), на модель 1–2 млрд токенов, по 21 чекпоинту на прогон, у 9 из 12 прогонов есть второй сид инициализации.

Позицию токена линейная проба считывает из NoPE почти идеально, из RoPE заметно хуже, из RWKV ещё хуже (R² от log(1+t) на лучшем слое: 0.99 / 0.38–0.51 / 0.29–0.42). Это воспроизводится на обоих языках, обоих размерах и обоих сидах.

Глубина слова в дереве зависимостей даёт тот же порядок, но с гораздо меньшим разрывом (0.02–0.06).

Всё остальное — не больше 0.02–0.03 или в пределах разброса между сидами.

У RWKV пик «синтаксических» проб приходится на слои на 1–4 ниже, чем у трансформеров, но это наводка, а не результат (подробности ниже).

Модели маленькие, корпуса скромные. «Различий нет» здесь значит «не видно на этом масштабе», а подтвердившиеся различия — не закон архитектур.

Код, результаты и чекпоинты открыты: репозиторий, чекпоинты сида 0.

Зачем это нужно

Языковой модели нужно знать, где в тексте стоит токен, какую роль он играет в предложении и что он значит. Три способа получить порядок слов:

RoPE — трансформер получает позицию, поворачивая запросы и ключи в внимании.

NoPE — у трансформера нет позиционного кодирования вообще, единственный источник порядка — причинная маска. Haviv и др. показали, что такие модели всё равно выучивают позиционную информацию (arXiv:2203.16634).

RWKV-7 — рекуррентное состояние без внимания; порядок встроен в то, как это состояние обновляется.

Я обучил согласованные модели каждого вида и спросил: в каком слое то или иное свойство читается линейно, и чем это отличается между архитектурами?

15.11.2026

Есть приложение для Mac, которое запускает Windows-игры через слой совместимости: внутри Steam для Windows, игры и всё, что они с собой тащат. Когда человек нажимает «Играть», работу делают чужие программы — клиент Steam, сама игра, её программа отчёта о сбоях. Встраиваться в них нельзя. Видно только то, что снаружи: список процессов, окна на экране и журналы, которые Steam пишет на диск.

Из этого вырастают два вопроса, на которые нужен ответ за секунды, а не за минуты:

ничего не происходит — это «медленно» или уже «никогда»;

игра упала за пару секунд, а процессы опрашиваются раз в три — как вообще узнать, что она была?

Ниже — замеры, правила, которые из них получились, и ошибки, которые нашлись по дороге.

15.11.2026

В этом дайджесте протоколы в iOS-приложении и быстродействие разных Apple Silicon, будильник, который точно звонит, и архитектура для создания мобильных приложений с использованием агентов, пишем софт на Symbian в 2026 году, что на самом деле помогает удержать подписчиков в экране отмены подписки, роботеплицы и многое другое. Заходите!

15.11.2026

Ещё недавно техническую документацию в командах часто приходилось буквально проталкивать через строгие требования, так как разработчикам не хватало времени или желания писать и поддерживать её.

С появлением AI-агентов документацию стало проще создавать — её стало больше, но пользы это не прибавило: документы часто генерируют для галочки или только ради контекста агента, забывая о людях.

Документация — прежде всего инструмент коммуникации: она передаёт знания и договорённости между людьми и отделами. И агент стал ещё одним звеном этой цепочки, которому просто тоже нужны свои рабочие материалы.

В статье показываю, как в наших командах устроена работа с документацией в этих безумных современных условиях.

15.11.2026

Проверил 3 способа обновления Docker на 43 200 запросах: blue-green убрал 502, но оставил 11 ошибок.

15.11.2026

Готовый проект панели WOPR из «Военных игр» для серверной стойки выглядел простым: напечатать корпус, вставить двенадцать светодиодных матриц 8×8 на MAX7219 и прошить скетч. Но напечатанные детали оказались коротковаты для трёх модулей: в корпусе остался зазор 12 мм. Модули бывают шириной 128 и 132 мм, в объявлениях часто указана не та ширина, а у узких модулей, которые нашёл автор, дисплеи впаяны без панелек, и плата не держится в пазах корпуса. Новая MAX7219 у дистрибьютора стоит почти 20 долларов, дороже трёх готовых модулей с Amazon или AliExpress. Глен Акинс развёл свою плату 32×32 мм, размножил её до 128 мм, снял микросхемы и дисплеи с дешёвых модулей и собрал бесшовный дисплей 8×96. Схемы, Gerber-файлы и правки скетча — в статье.

15.11.2026

В Rust есть немало способов выстрелить себе в ногу, даже когда компилятор доволен, тесты проходят, а приложение работает без ошибок. Иногда для этого достаточно одного атрибута, который делает ровно то, что написано в документации.

При разработке NetRuleRouter столкнулся с довольно странным поведением. Две настройки должны были быть включены по умолчанию, но после обмена данными между компонентами приложения оказывались выключенными. При этом JSON успешно обрабатывался, ошибок десериализации не возникало, а подозрительные значения выглядели совершенно допустимыми.

Причина оказалась не в Qt, не в IPC и даже не в ошибке библиотеки. Проблема скрывалась в том, как обычное отсутствие поля превращалось в конкретное значение.

Разобраться помог Serde — один из наиболее распространённых инструментов сериализации в экосистеме Rust. Причём позднее похожая ситуация обнаружилась уже при диагностике сетевых адаптеров, где цена неправильного значения могла быть значительно выше, чем просто сброшенная настройка.

15.11.2026

В хостинг‑провайдере Beget сообщили о масштабной DDoS-атаке на инфраструктуру. По оценке специалистов компании, целью кибератаки стала попытка нарушить планы по восстановлению после первого взлома.

15.11.2026

Сегодня – обещанная история о том, как я получил повышение благодаря книге. Ситуация, скорее, забавная – о пользе совпадения интересов с начальником. Слышали, наверное, шуточные рекомендации – увлекайся тем же, чем занимаются вышестоящие, и общность увлечений может открыть новые пути развития карьеры.

У меня получилось почти так же, но совпадение вышло случайным.

Работал я ИТ-директором (это главный над программистами и системными администраторами). Всё было хорошо, но вдруг сменился директор предприятия – мой непосредственный руководитель. С предыдущим начальником у меня всё было хорошо – я не только айтишными делами занимался, но и участвовал в изменении работы других отделов. Был, можно сказать, уважаемым человеком.

Новый директор сказал, что быть такого не может, и место ваше, господин ИТ-директор, в серверной, с мышами и пауками. Я не сразу сдался, пытался ему рассказать о прошлых проектах, которые мы с прошлым директором делали. Он послушал, покивал, но остался непреклонен.

Я немного порасстраивался, но делать нечего – надо двигаться дальше. Поступил, как советовали Оскар Хартманн и Остин Клеон – просто продолжал. В то время я как раз дочитал Scrum, и решил попробовать внедрить его в своём отделе. В каком-то смысле я был даже рад, что на мне осталась только айтишная часть – появилось время на интересные эксперименты.

Внедрение Scrum прошло хорошо, на этом долго останавливаться не буду. Работа отдела по решению задач автоматизации ускорилась примерно в 4 раза. Впоследствии я использовал этот результат для увеличения зарплаты программистов. Пару раз на совещаниях у руководства я упоминал про Scrum, когда меня спрашивали, чего нового в отделе. Но никто, разумеется, не обратил внимания на непонятное слово.

15.11.2026

Представьте: под новый год ваши родители принесли с работы подарочный набор. В нём вас ждёт один-единственный киндер-сюрприз, штук десять нормальных конфет и целая россыпь “Буревестников”, “Ромашек”, “Цитронов” и “Ласточек”.

Этот опыт внезапно роднит вас с владельцами независимых кинотеатров в США тридцатых годов.

В этом материале я расскажу о судебном процессе, который продлился 10 лет и определил современный облик киноиндустрии.

15.11.2026

Дорогой читатель!

Сегодня мы разберёмся, как устроены .deb-пакеты в Linux, и убедимся, что никакой магии в них нет. Превратим небольшой C++ - сервер в устанавливаемый пакет, добавим конфиг и systemd-юнит, разберёмся с зависимостями и обновлениями. Затем автоматизируем сборку и опубликуем пакет в своём APT-репозитории - чтобы устанавливать его одной командой.

Интерактивный учебник - Открыть учебник

Материалы статьи - Код и примеры на GitHub

15.11.2026

В моём детстве у родителей на кухне была тяжеленная чёрная сковородка (скорее всего, чугунная). У неё была съёмная ручка, и на ней отлично получалось жарить семечки. А вот яичница к ней прилипала похлеще пальцев к суперклею. Но долгое время все жили в парадигме «по-другому не бывает».

Оказалось, ещё как бывает! Примерно в 1995 году у нас появилась первая тефлоновая сковорода, и процесс готовки просто преобразился. И не только у нас. Тефлон был настоящим культурным феноменом: о нём сочиняли анекдоты, о нём ходили легенды, а людей, с которых всё как с гуся вода, на какое-то время стали называть тефлоновыми. Мол, ничего к ним не прилипает.

Со временем страсти поутихли, тефлон вошёл в нашу жизнь и занял там важное место, а на кухню даже частично вернулись чугунные сковородки. Если говорить совсем честно, то прижарить яичницу можно и к тефлоновой сковороде, просто это сложнее.