Бенчмарки: какво е това? За какво е това история, видове и съвети

Тестовите показатели са съществена част от ежедневния ни хардуерен анализ, те ни позволяват да ви предложим научно сравнимо измерване между различни компоненти като процесори, графични карти, единици за съхранение и т.н. Днес ще посветим някои редове на нейната история, на нейните типове, как работят, какво измерват, кои са най-често срещаните мерки, а също така ще ви дадем някои съвети как да ги изпълним и на кои трябва да се доверяваме.

Това, което днес знаем в PC или мобилния свят като еталони, са техники, наследени от индустриалната среда, които позволяват от началото на тази революция да вземат решения въз основа на сравними данни в контролирана среда.

Светът на съвременните изчислителни приложения прилага тези техники в почти всеки от многото му различни домейни, а домашните потребители също са ги възприели като надежден начин да научат за производителността и възможностите на нашите системи, както и за важен момент от информация, когато да вземем важни решения, като например закупуване на нашия нов компютър, мобилен телефон, графична карта и т.н.

Днес ще поговорим за историята на бенчмарковете за PC, видовете бенчмарки, които съществуват и кои компоненти на нашата система са по-подходящи за този тип тестове, които не са само производителност.

Индекс на съдържанието

история

Сравнителната система или измервателната система прилага контролирана среда и разпознаваеми мерки, които са научно сравними и проверими и съществуват съвместно със света на компютъра откакто съществува. Базовият показател като такъв е демократизиран дотолкова, че част от неговата основна същност е загубена, а именно, че може да бъде подлежаща на проверка и проверка от трети страни. Сега го използваме повече като бързо сравнение на производителността, но проследимостта на неговата достоверност от трети страни със сигурност е загубена до голяма степен.

Най-класическите сравнителни методи винаги се отнасят до изчислителния капацитет на процесора на системата, въпреки че в последно време той варира между различни компоненти, тъй като те придобиха превес и значение в рамките на компютъра.

Двете най-класически измервателни единици, които все още се прилагат, са Dhrystones и Whetstones. И двете по някакъв начин се превърнаха в основата на всички синтетични показатели, които познаваме днес.

Най-старият е Whetstones (местност в Обединеното кралство, където се намира отделението за атомна енергия на държавната енергийна компания на Обединеното кралство) и Dhrystone дойде по-късно, играейки с името на първия (мокър и сух).

Първата е проектирана през 70-те години, а втората е от 80-те години и двете са в основата на сравнителните показатели, които имахме в следващите години. Whetstones, опростявайки, предложи представа за изчислителната мощ на процесора при операции с плаваща запетая, операции с голям брой десетични знаци.

Dhrystone е негов партньор, тъй като е посветен на основни инструкции без десетични знаци, и двете дават ясна картина на работата на процесор от два напълно различни, но допълващи се подхода. Whetstones и Dhrystone произлизат от две концепции, които използваме много по-често днес, MIPS и FLOP.

След тези измервания дойдоха и други като FLOP (Аритметика с плаваща запетая - аритметика с плаваща запетая), която в голяма степен е по-важна в компютъра, отколкото досега, защото е в основата на усъвършенстваното изчисление в много съвременни техники. като алгоритми за изкуствен интелект, медицински алгоритми, прогнозиране на времето, размита логика, криптиране и т.н.

LINPACK е разработен от инженер Джак Донгара през 80-те години на миналия век и продължава да се използва и днес за измерване на изчислителния капацитет на плаващата точка на всички видове системи. В момента има версии, оптимизирани от архитектурата, производителя на процесора и т.н.

FLOPS попълват нашите статии за графични карти (със сигурност една или двойна точност звучи познато), процесори и са основа за изчисляване на мощност и хардуерна разработка за всеки суперкомпютър, който е в експлоатация или разработка.

Днес FLOP е най-изискваната единица за измерване на производителността в бранша, но винаги е комбинирана с MIPS (Милиони инструкции в секунда), което е интересна мярка за измерване, тъй като ни дава броя на инструкциите Основна аритметика, която процесор може да изпълнява в секунда, но това зависи повече от архитектурата на процесора (ARM, RISC, x86 и т.н.) и езика на програмиране, отколкото другите измервателни единици.

С напредването на представянето мултипликаторите се случиха. Сега измерваме ефективността на домашните процесори в GIPS и GFLOPS. Основата остава същата, класическите аритметични операции. Sisoft Sandra продължава да ни предлага този тип измервания в някои от своите синтетични показатели.

MIPS също беше по-отдаден на процесора като класически елемент и FLOP се разшири до други процъфтяващи области като капацитета на процеса или общото изчисление на бивши процесори, много ориентирани към специфични задачи като графичните процесори, които всички монтираме на нашите процесори или на нашите специални карти за разширение

Към тези основни понятия времето добавя нови измервателни единици, толкова или по-важни от тези в модерен компютър или суперкомпютър. Транзитът на данни е една от тези мерки, които станаха много важни и понастоящем се измерват в IOP (операции за въвеждане и извеждане в секунда), а също и в други форми, като MB / GB / TB мерки за съхранение в сравнение с времето, необходимо за транзит от една точка до друга (MBps - Мегабайти в секунда).

AS-SSD може да измери производителността на твърд диск в MBps или IOP.

В момента ние също използваме мярката за трансфер в различните му умножители като начин за интерпретация на скоростта на транзит на информация между две точки, когато да излъчваме определена информация, всъщност трябва да сме генерирали малко повече информация. Това зависи от протокола, използван за прехвърляне на информация.

Ясен пример и това, че използваме много, е в интерфейса PCI Express. Съгласно този протокол, за всеки 8 бита информация, която искаме да преместим (0 или 1s), трябва да генерираме 10 бита информация, тъй като тази допълнителна информация е за контрол на комуникацията, която се изпраща за коригиране на грешки, целостта на данните и т.н.

Други известни протоколи, които също въвеждат тази „загуба“ на реална информация, е IP, този, който използвате, за да прочетете тази статия и който прави вашата 300MT / s връзка всъщност предлага малко по-малко от 300 Mbps скорост.

Следователно, ние използваме Gigatransfer или трансфера, когато се отнасяме до сурова информация, изпратена от интерфейса, а не към информацията, която всъщност се обработва в приемника. 8GT / s PCI Express 3.0 шина за данни всъщност изпраща 6.4GBps информация за всяка линия, свързана между точките. Трансферът стана много важен с интегрирането на PCI Express протокола във всички основни шини на домашен и професионален компютър.

В последно време ние също започнахме да комбинираме мерки като начин за свързване на процесорната мощност с други много важни фактори в съвременния компютър, като консумацията е една от тези мерки, която се въвежда като сравнителна скала между производителността на две системи. Енергийната ефективност днес е също толкова или по-важна от мощността на процеса и затова е лесно да се видят показатели, които сравняват мощността на процеса според ватовете на консумацията на елемента при измерване.

Всъщност един от страхотните списъци на суперкомпютри не се отнася толкова до брутната мощност на компютъра сред всичките му изчислителни възли, колкото до развитието на тази мощност въз основа на ватовете или енергията, консумирана от цялата система. Списъкът на Green500 (FLOPS на ват - FLOPS на ват) е ясен пример за това как потреблението вече е основно за всеки уважаващ себе си референтен показател, въпреки че без съмнение всички ние продължаваме да разглеждаме отблизо списъка на TOP500, който няма този фактор като фактор за кондиция.

Видове показатели

Въпреки че можем да говорим за много повече семейства или видове бенчмарки, ще опростя списъка в двата най-често срещани класа на тези, които са най-близки до всички нас като повече или по-малко напреднали потребители.

От една страна, ние имаме синтетичните показатели, които до голяма степен са тези, които ни предлагат мерки, за които говорихме преди. Синтетичните показатели са програми, които извършват контролирани тестове с повече или по-малко стабилен програмен код, ориентиран към конкретна платформа и архитектура. Те са програми, които извършват много специфични тестове, които могат да интегрират един или повече от нашите компоненти, но където винаги се извършва един и същ тест или тестове, без промени.

Изобразяването на изображения винаги е бил добър метод за познаване на производителността на процесора в съвременна система, тъй като това е трудна задача. Cinebench R15 също има няколко теста, един за GPU и два за процесор, където можем да знаем работата на системи с множество ядра и процесни нишки.

Те предлагат контролирана тестова среда, в която няма промени с изключение на версиите и където тези промени са надлежно документирани, така че потребителят да знае кои версии могат да се сравняват една с друга. Тези видове програми могат да тестват различни подсистеми на нашия компютър поотделно, с други части от код или конкретни показатели за извършване на определен тип тест или комбинирани, които могат да бъдат повлияни от работата на един, два или повече системни компонента. Бенчмаркът, интегриран в игра или програми като Cinebench, Sisoft Sandra, SuperPI, 3DMark,… са ясни примери за синтетични показатели.

Други синтетични показатели, които не бива да бъркаме с реалните бенчмарки, са тези, които симулират изпълнението на реални програми или изпълняват скриптове за действие в реални програми, те също са синтетични, тъй като няма случайност в теста, PC Mark е ясен пример за синтетична бенчмарк програма, която можем да объркаме с истинска база за сравнение.

Действителният показател е много различен метод за тестване, тъй като той приема случайността на използването на програма за измерване на нейната ефективност. Играчите са свикнали да изпълняват този тип показатели или тест за производителност, когато коригираме качествените параметри на играта към възможностите на нашия хардуер.

Измерването на ефективността на игра, докато играете, е истински показател.

Когато отворите FPS, който играта дава и се опитвате да постигате желаните 60FPS непрекъснато, тогава те изпълняват истински показател. Същото може да се екстраполира на всеки друг тип програма и ако сте разработчик, когато оптимизирате кода на вашата програма, тогава правите и реални бенчмарк тестове, където какви промени е вашият код или начинът на изпълнение, в платформа на стабилен или променлив хардуер.

И двата типа еталонни показатели са важни, като първите ни позволяват да сравним нашата система с други в контролирана среда, а вторите са начин за оптимизиране на нашата работа, където също се добавят два важни фактора, случайността в изпълнението и човешкия фактор. И двата фактора предлагат допълнителна гледна точка върху производителността на компонента или компонентите, които искаме да тестваме.

Съображения при сравнителен анализ

За да бъде показателят полезен и ефективен, трябва да вземем предвид някои фактори, които са наистина важни. Сравняването между различни платформи и архитектури въвежда важен фактор на несигурност, така че този тип показатели, които ви дават възможност да сравнявате iOS мобилни телефони с компютри с Windows x86, за да дадете пример, трябва да ги вземете с пинсети, тъй като не само се променя ядрото на операционната система, но архитектурите на процесорите са много различни. Разработчиците на този тип показатели (например Geekbench) въвеждат корекционни коефициенти между различните си версии, които са трудно контролируеми.

Следователно, първият ключ за сравнителен анализ между различните хардуер е, че тестовата екосистема е възможно най-близка до платформата, операционната система, драйверите и софтуерната версия. Тук със сигурност ще има елементи, които не можем да контролираме хомогенизираме, като графичния контролер, ако тестваме графиката на AMD спрямо графиката на Nvidia, но останалото трябва да се опитаме да я направим максимално стабилна. В този случай бихме включили и хардуер, тъй като за сравняване на графичните карти, вашето нещо е да използвате същата операционна система, същия процесор, същите памет и всички операционни параметри, като ги поддържате еднакви, включително параметрите за качество, разделителна способност и тест в еталонния показател. Колкото по-стабилна е нашата тестова екосистема, толкова по-надеждни и съпоставими ще бъдат нашите резултати.

Препоръчваме ви да прочетете Как да разбера дали моят процесор има затруднение?

Друго нещо, което трябва да вземем под внимание, е, че тестовете за сравнителен анализ обикновено имат стрес фактор върху хардуера, който ще тестваме и обикновено подлагаме този хардуер на ситуации, които обикновено не се появяват при нормална употреба на системата. Всеки показател, който вземаме от нашия твърд диск, графична карта или процесор, ги подлага на ситуации, които могат да бъдат опасни за хардуера, така че трябва да установим подходящи мерки, така че точката на стрес да не стане точка на счупване или също така в елемент на намаляване на производителността, тъй като много компоненти имат системи за защита, с които те намаляват работата си в случай, например, на температури извън обхвата им на използване. Адекватно охлаждане, периоди на почивка между тестовете, правилно подаване на изпитваните компоненти… всичко трябва да е в идеална ситуация, за да може тестът да протича безпроблемно.

От друга страна, ние също използваме точно този тип показатели, за да подложим системата на стрес, за да видим нейната стабилност в този тип ситуация, това е различен начин за прилагане на еталон, тъй като той не само се стреми да знае ефективността, но и дали системата е стабилна и още повече, ако системата изпълнява както трябва в тези стресови ситуации.

заключение

За тези от нас, посветени на тестването на компютърен хардуер професионално, бенчмаркът е работещ инструмент и благодарение на него потребителите имат научен и проверим начин за сравняване или познаване на ефективността на следващия ни компютър във всяка от неговите подсистеми с точност. сравними с инструменти, използвани на индустриално ниво.

Тестова таблица, като тази, която виждате на изображението, се стреми точно да стандартизира метода на теста, така че сравнителният показател да е възможно най-надежден и да е тестваем при въвеждане на вариации, които променят резултатите.

Но като всеки „лабораторен“ тест, за да бъде надежден, трябва да са налице подходящите условия за провеждането му и още повече, че той е съпоставим между различните системи.

Днес ви разказахме малко за историята на този тип програма, нейните различни видове, как работят и как да получите надеждна информация от тях. Те са полезни, но за мен са само още една информация, която трябва да имате предвид и винаги бих я поставил зад личен опит и активно тестване с реални програми, които ще използваме всеки ден.

Една референтна стойност е добре да се поставят минимални данни за ефективността в нашия процес на вземане на решения, но те не трябва да определят тези решения и като последен съвет избягвайте синтетични показатели, които твърдят, че могат да сравняват производителността между архитектури, операционни системи и т.н.