Benchmark ma sens tylko wtedy, gdy porównywane wyniki powstały w wystarczająco podobnych warunkach. Jedna liczba wygląda obiektywnie, ale łatwo zmienić ją inną wersją programu, temperaturą sprzętu, ustawieniem zasilania, danymi testowymi czy obciążeniem działającym w tle.
Najpierw ustal, co właściwie mierzysz
Test procesora może mierzyć wydajność jednego wątku, wielu rdzeni albo konkretne obliczenia. Test dysku może używać małych losowych bloków albo długiego sekwencyjnego odczytu. Dwie wartości wyrażone w tej samej jednostce nie muszą opisywać tej samej pracy.
Dobrze przygotowane pytania przed zakupem lub zleceniem usługi ograniczają późniejsze nieporozumienia.
Warunki trzeba powtarzać
Jeżeli pierwsza próba odbywa się zaraz po uruchomieniu komputera, a druga po godzinie obciążenia, różnica może wynikać z temperatury i limitów mocy. Przy testach, które mają wykryć małą zmianę, warto wykonać kilka przebiegów i patrzeć na rozrzut wyników.
Jeśli produkt lub usługa ma być używana przez kilka lat, dostępność serwisu i części powinna być oceniana razem z ceną początkową.
Późniejszy serwis i dostęp do części często mają większe znaczenie niż niewielka różnica ceny na początku.
Średnia nie pokazuje wszystkiego
W grach czy systemach czasu rzeczywistego chwilowe spadki mogą być ważniejsze niż średnia liczba klatek. W bazie danych czas najwolniejszych zapytań bywa równie istotny jak przeciętna. Dobór miary powinien wynikać z problemu użytkownika.
Wynik syntetyczny nie zawsze przewiduje pracę aplikacji
Benchmark jest powtarzalny i wygodny, ale konkretne programy wykorzystują sprzęt inaczej. Dlatego dobrym uzupełnieniem testu syntetycznego jest realne zadanie: render, kompilacja, kopiowanie danych albo obciążenie typowe dla serwera.
Porównanie dwóch wariantów ma sens wtedy, gdy obejmują podobny zakres i są oceniane według tych samych kryteriów.
Przed zakupem warto zapisać dwa lub trzy warunki, których rozwiązanie musi spełniać. To pomaga odrzucić dodatki, które zwiększają cenę, ale nie rozwiązują właściwego problemu. Dla tematu „benchmark” jest to szczególnie istotne przy porównywaniu dwóch ofert lub wariantów.
Dobre porównanie wymaga podobnego zakresu. Jeżeli jedna oferta zawiera montaż i uruchomienie, a druga sam produkt, ceny nie są bezpośrednio porównywalne.
Zmiana jednego parametru naraz daje najlepszy dowód
Jeżeli jednocześnie aktualizujemy sterownik, zmieniamy profil zasilania i podkręcamy pamięć, nie wiemy, co odpowiada za poprawę lub pogorszenie. Dobrze prowadzony benchmark przypomina eksperyment: kontrolujemy warunki i wiemy, jaka była pojedyncza zmiana.
Najpierw trzeba ustalić dokładny cel i warunki – Benchmark
Najpierw trzeba ustalić dokładny cel i warunki, w których rozwiązanie albo usługa ma być używana.
Porównanie dwóch wariantów ma sens wtedy – Benchmark
Porównanie dwóch wariantów ma sens wtedy, gdy obejmują podobny zakres i są oceniane według tych samych kryteriów.
Z tym tematem bezpośrednio łączy się Business Intelligence a zwykły raport.
Największą wartością benchmarku nie jest rekordowa liczba, lecz możliwość powtarzalnego porównania. Jeżeli test da się odtworzyć za tydzień i uzyskać podobny wynik, staje się narzędziem diagnostycznym, a nie tylko tabelką do chwalenia się.