| Быстрый генератор хаоса char[512] (06.11.2026). |
|
| 2026 - Ноябрь | |||
| 06.11.2026 16:55 | |||
Разработав несколько простых генераторов, тщательно оптимизировав и оттестировав как их, так и механизмы их отладки, - обнаружилась их чудовищная скорость, больше необходимой: в 53 раза превосходящая rand() (и точно randomize()) в составе Borland C++ Builder v.6.0. Но у них были недостатки - и их решение возможно только с помощью парадигмы функций высшего порядка: создание генератора в генераторе. Пришло время обернуть исходный генератор вторым (а если потребуется - и второй обернуть третьим).
Исходный генератор имеет скорость 4ГБ/с на одном потоке 3.57ГГц, выход unsigned int 0...4294967295, равномерное распределение чисел. Но энтропия Шеннона получилась критически низкой и для всех данных, и для блока размером с физический сектор носителей информации 512Б: 3.3. Несмотря на скорость, превышающую большинство носителей, - необходимо и повысить степень хаоса до максимально возможного значения (скрытное затирание на носителях истинной информации), и увеличить скорость >24ГБ/с (превышение максимального значения алгоритма XORShift128+ 24ГБ/с). Трюк первый. Бросилось в глаза: если использовать этот генератор с перетипированием в long double с прибавлением длинного константного хвоста - скорость генерации ниже в пересчёте на вызов, но больше в пересчёте на порождение одного байта. Также было отмечено: достаточно изменить long double на константу с большим количеством чисел до и после запятой - мантисса с неизвестным алгоритмом поведения, а также целая часть с предсказуемым поведением, меняют все 10 чисел-байтов в составе long double до неузнаваемости. Значит: быстрая генерация 52 long double на этапе конструктора класса генератора - и циклические работы с прибавлением к нему какого-нибудь числа. Коэффициенты Шеннона взлетают до 7.5 и 6.29. Трюк второй. union с массивами long double[52] и char[512]. Работаешь с long double - char (результат генерации) изменяется сам - отказ от memcpy и прочих ресурсоёмких операций при такой бешеной скорости генерации. Трюк третий. Define - быстрее даже ассемблерных вставок. Функция изменения массива (прибавление константного числа) переносится в define - скорость улетает в скратосферу, но радоваться пока рано. Ещё скорость увеличивается в 2 раза: 2 define-функции, меняющих чётные и нечётные элементы массива поочерёдно, - коэффициенты Шеннона остаются практически на тех же высоких значениях (7.5 и 5.85). А дальше - странность: думал повысить хаос перекрёстной заменой чётных и нечётных коэффициентов изменяемого массива - глазами выходит хаотичнее, а коэффициенты упали до 6.9 и 5.4. Визуально - выглядит хаотичнее, поэтому так и оставил: защита именно от человеческих глаз, смотрящих на мусор. Маленький четвёртый трюк. Изначально планировалось иметь входной массив как указатель, являющийся одновременно и результатом. Полная шляпа - лучше использовать char* без привязки к фиксированному месту выделения памяти. Также это даёт возможность расширения функционала класса генератора, который будет описан ниже. А чтобы данные не ушли из ультрабыстрого стека в медленную кучу: объект класса должен создаваться в стеке - union в стеке - результат в стеке - указатель становится на данные в стеке. Возможно, даже в конструктор класса надо добавить какое-то условие проверки на ошибочное объявление через new, - 100% с номиналами адресов связано. Трюки - закончились. Проблемы - начались. Первое, что необходимо сделать: уточнение значения в наносекундах, сколько сам цикл, с переменной register unsigned int и значением 4млрд, - занимает во всём оцениваемом временном интервале (погрешность измерений, которая должна быть нивелирована на таких бешеных скоростях и удельных задержках уже давно <0.25нс/Б). Пустой цикл тестировался 1000 раз на протяжение нескольких часов, ручное измерение с секундомером единичных запусков показало правильность алгоритма - 10.8582786937716с. Это меньшее значение, чем вычиталось при оценке предыдущих генераторов (10.88755с), - значит, их результаты скорости чуть хуже измеренных, но нелинейно, да и сам там доокруглялся, - школьной математикой не пересчитаешь, оставлю как есть. Уточнение частоты, получаемой с помощью QueryPerfomanceFrequency и хотя бы примерные её девиации. Уточнение времени работы QueryPerfomanceCounter: вычитаемое при оценке запуска единичной порции данных (предполагаемый функционал класса генератора). Все эти времена - на каждом ПК и потоке свои - нужны механизмы точного расчёта их при инициализации объекта класса генератора. Кто сказал, что генерация данных должна быть именно 512Б? Назвался классом - полезай в методы. Можно создать функции генерации информации по 1024Б, 2048Б и т.д. - это приведёт только к созданию дополнительных пар функций-дефайнов (заодно и повысив коэффициенты Шеннона повысившимся набором индексов массива). Но это - не творчество, это - рутина, исполнителем - пусть будут чужие руки; и плевать, ИИ это будет или стажёр (первый - эффективнее и безопаснее, судя по последним событиям кидалова в самый острый момент). Парадигма генератора в генераторе - определена. Запрограммировал - необходимый минимум. Скорость - меньше, чем могла бы быть (вызов метода класса - медленнее вызова просто функции, очень большая плата за удобство). Номинал скорости - 5.91ГБ/с - создание класса убило первоначальную скорость 6.88ГБ/с - полный писец. Исходники пока не выкладываются: несмотря на то, что они почти чистовые, - функционала мало, и ошибка с этим классом колоссальная вышла. Да и, глядишь, получится ускорить ещё как-нибудь. В ограничение скорости двухканальной RAM DDR3-1866 60ГБ/с точно не упрусь. 2 прикола обнаружилось: - то ли дочерняя ОС, то ли виртуалка, то ли родительская ОС - решила попереключать выполнение кода между реальными потоками ЦП, а то и давая парочке поработать вместе. Для чего - непонятно, но задержки это точно порождает; - поток: может работать на частоте ядра - да ещё и разогнанного, если он забит один. Так и получилось: внутри виртуалки QueryPerformanceFrequency возвращает 3.57ГГц - полностью в соответствии с ТТХ Xeon E2696 V2 для 1 ядра с Turbo Boost. И сам Turbo Boost у Intel кастрированный: частота - от загруженных ядер зависит. 3.57ГГц - максимум, 3.3ГГц при загрузке всех 12 ядер - минимум. При этом в первом случае поток сожрёт всю частоту ядра на постоянной основе, а во втором - пара потоков будет переключаться в рамках принадлежащего им ядра - всё равно частота не половинится.(добавлено 07.11.2026) Режим дебага мешал скорости работы объекта класса генератора - включил режим релиза. В результате, ускорилось выполнение цикла 4млрд раз в 5 - нужно теперь ему 1000x4млрд измерений делать (и то, погрешность - 0.009с). И теперь уже имеются 2 константы, подставляемые с помощью изучения переменной _DEBUG самого билдера (простой способ отличить, какой режим включён): 1.65142023805665. Возможно, частное между этими числами - константа, не зависящая даже от скорости ЦП. Когда это было сделано - скорость почему-то уменьшилась у варианта вызова просто функции (6.74ГБ/с). Скорость вызова метода класса - стала сильно выше (приближена к вызову функции, 6.63ГБ/с); но всё равно меньше. Сейчас - это не очень важно. Во сне приснилось, как обернуть второй генератор третьим - и выйти на теоретическую скорость 80ГБ/с. Оставляю скорость 5.91ГБ/с - и работаю с ней при создании обёртки. О Turbo Boost. Так как он неадекватно влияет на частоту ядра - при измерении времени и родительскую ОС нагружать нельзя (или радикально отключить авторазгон в BIOS). Иначе измерит всё при QueryPerformanceFrequency 3.4ГГц, а разово её возьмёт при спаде нагрузки 3.57ГГц, - и число в секундах, и частота при измерении этого числа - будут неверны. (спустя 3ч) 118.5ГБ/с - при условии, что в цикле с классом работа идёт, а не просто с функцией. Писееец! И это - не предел! Тройная обёртка - сработала, но много чего пришлось перекроить. А за предел RAM ушёл - потому что операции выполняются в ЦП, а не в RAM. (добавлено 08.11.2026) Ну вот, собственно, и проблема Turbo Boost и всплыла. Каждый раз при запуске виртуалки - число секунд на пустой цикл 4млрд - разное. Дошло до того, что пришлось мерить неточно скорость пустого цикла - сразу до выполнения полного (это, по крайней мере, порядок числа обеспечило: ближе к 11с, ближе к 10с или ближе к 9с). Время работы цикла - составляет львиную долю времени общей работы (предполагается величина 75%). В итоге, если время вычитается неточно, - резко растёт неточность вычислений скорости работы функции внутри цикла. Так, скорость с 1ГБ/с до 4ГБ/с у самого первого генератора unsigned int 0...4294967295 без входных параметров - стала после грубого исключения времени цикла. Но уточнение порядка пустого цикла прямо до запуска полного - упорно показывает скорость 4.5-5.1ГБ/с. Измерение скорости работы таких сверхбыстрых вещей - это даже не метрологическая задача, или задача программирования, - а задача системного администрирования. Я ради измерения абсолютно точной скорости выключать Turbo Boost не стану (+ непонятно, как это делать в BIOS у Atermiter X79G). Считайте скорости генерации такими, какие указаны в этой статье; но, по факту, - они все выше. ...чуть-чуть осталось... (добавлено 17.11.2026) Да, однозначно превратится: очень сложная тема оказалась. Но проблема не в истинной скорости генератора - а в том, что за последние недели 2 писались величины ГБ/с больше, чем в действительности, до ~15% (чем быстрее экземпляр - тем больше погрешность). Никто из людей этого не заметит: искажение реальности в сверхточных измерениях идёт вообще незаметно, все принимали эти числа за чистую монету; в том числе, я сам. Что перемеривать? - только генератор "369ГБ/с" при создании следующей версии; а если хватит сил - перемерить и маленькие генераторы в его составе, и исправить числа скоростей именно в его исходниках. |
|||
| Обновлено ( 19.11.2026 10:31 ) |