" title="Написать письмо">Написать письмо
На выжить после операций проктологии
2200 4002 2461 6363

Статистика

Пользователи : 1
Статьи : 2544
Просмотры материалов : 10320265
 
Энтропия хи-квадрат (13.11.2026). Печать E-mail
2026 - Ноябрь
13.11.2026 17:57
Save & Share
Количественная оценка хаоса через расчёт энтропии хи-квадрат - и не дошло до Шеннона и Реньи. Эти математики какие-то странные все: у Альфреда Реньи фамилия не склоняется, у создателя алгоритма XORShift128+ - имя; ну а Шеннон - так вообще с ирландского "мудрая река".


У этих 3 алгоритмов энтропии есть общее начало (из-за этого, опять ставится под сомнение их эффективность и внедрение): они опираются только на количество повторений одного и того же числа в байте - в блоке данных 256Б и во всех данных в целом.

Вот с этого момента - начинается программистский треш:
- почему существует отдельная профессия: программисты-математики. Они круче программных инженеров: знают, как оптимально закодить всё это математическое непотребство в виде алгоритма. Они скажут: нужен цикл, перебрать весь файл, безо всяких разбиваний на блоки, - и посчитать всё в один массив unsigned int[256];
- почему существует отдельная профессия: программные инженеры. Они круче программистов-математиков: берут их алгоритмы - и кодят исходники по критерию максимально быстрого выполнения. Я одного такого видел, совместившего в 2008 году обе профессии, - огромная зарплата, и кодил быстрый код с первого раза - с него вся комната охреневала;
- ну а я кто такой? Ладно, до первого решения ещё догадаться можно. Но что быстрее: цикл unsigned int в цикле unsigned __int8 - или цикл unsigned long (или LARGE_INTEGER, если long=int=4Б)? Ведь файлы-то сейчас таких размеров, что unsigned int переполнится как пить дать. И никакой ИИ не убедит своими теориями, что что-то быстрее или медленнее: тестировать надо по факту. И выкинуть функцию расчёта энтропии Шеннона на хрен из своей программы: это медленное говно с форума анализирует файл максимум 200МиБ за секунд 30-40 - заколебался 1000 итераций высчитывать для точного расчёта энтропии;
- вот почему парное программирование остаётся мегаэффективным - но бизнес (даже окологосударственный) уничтожил его как класс; повесив на программиста и программирование, и тестирование, и составление документации, и сопровождение (с командировками, да). Удивляетесь, почему отечественное ПО глючит? Привет от развала СССР и пришедшего капитализма: жрите, не обляпайтесь, - а дальше, с учётом тупизны приходящего стажироваться молодняка уже лет 10, будет ещё хуже.

Имея полученный массив, нужно посчитать отклонение от нормы каждого элемента. Если в данных N блоков по 256Б, и все байты в 256Б уникальны, - во всём массиве будут числа N. Отклонение от нормы N будет нулевое - формула "отклонение2 / N" даст 0, норму. Если же каких-то чисел больше, каких-то меньше - сумму этих отклонений начнёт кидать в диапазоне ненормы [-1;1].

Вот с этого момента - начинается программистский треш:
- так какую точность использовать для расчёта дробного числа формулы, от float до long double? Ведь это напрямую влияет на скорость;
- файл грузить участками по 1МиБ, 10МиБ или 200МиБ? Ведь замечено в стеке: большой массив анализируется медленнее, чем небольшой. Указателем работать с ним или поблочно из массива данные вытаскивать? Ведь работа с указателями намного быстрее элементов массива;
- если энтропия Шеннона покажет одну ненорму по своей таблице, а энтропия хи-квадрат другую ненорму, - кому верить;
- где математические градации ненормы? 0.1 - это хорошо, а 0.2 - уже конец света? Гугл выдаёт таблицу, но стоит ли ей верить? Там вообще норма 0.5 по модулю.


В общем, ещё кодить и кодить, чтобы хоть что-то вменяемое получить; несмотря на простую математику (хотя: что Шеннона, что Реньи, что хи-квадрат - в википедии такие формулы, что глаза на лоб лезут поначалу). А хи-квадрат ещё и нецентрируемым бывает - вот где лютый писец по преобразованию математических кракозябр в простые алгоритмы.
Обновлено ( 14.11.2026 13:01 )
 
 

Последние новости


©2008-2026. All Rights Reserved. Разработчик - " title="Сергей Белов">Сергей Белов. Материалы сайта предоставляются по принципу "как есть". Автор не несет никакой ответственности и не гарантирует отсутствие неправильных сведений и ошибок. Вся ответственность за использование материалов лежит полностью на читателях. Размещение материалов данного сайта на иных сайтах запрещено без указания активной ссылки на данный сайт-первоисточник (ГК РФ: ст.1259 п.1 + ст.1274 п.1-3).

Много статей не имеет срока устаревания. Есть смысл смотреть и 2011, и даже 2008 год. Политика сайта: написать статью, а потом обновлять ее много лет.
Рекламодателям! Перестаньте спамить мне на почту с предложениями о размещении рекламы на этом сайте. Я никогда спамером/рекламщиком не был и не буду!
Top.Mail.Ru