Komputer po zmianie ustawień zdobywa więcej punktów w benchmarku, ale eksport filmu trwa tyle samo. To nie musi oznaczać błędu testu. Benchmark mógł mierzyć inne zadanie niż to, które jest dla ciebie ważne. Zanim zaczniesz porównywać liczby, zapisz pytanie, na które wynik ma odpowiedzieć.
1. Nazwij zadanie i miarę
„Szybszy dysk” może oznaczać krótsze kopiowanie dużego pliku albo sprawniejsze wykonywanie wielu małych operacji. „Szybszy procesor” może dotyczyć jednego wątku lub obciążenia wielu rdzeni. Te scenariusze trzeba rozdzielić.
Wybierz wynik powiązany z celem: czas ukończenia zadania, liczbę operacji na sekundę albo miarę opóźnień. Ustal kierunek interpretacji. Krótszy czas jest korzystny, większa przepustowość też może być korzystna, lecz procentowej zmiany nie liczy się identycznie.
Przykład rachunkowy: spadek czasu ze 100 do 80 sekund oznacza skrócenie o 20%. Przy tej samej ilości pracy odpowiada wzrostowi tempa o 25%, ponieważ 100/80 = 1,25. Te dwa opisy nie są sprzeczne; dotyczą innych wielkości.
2. Zapisz warunki, zanim zobaczysz wynik
Notatka powinna obejmować wersję testu, system, istotne sterowniki, profil zasilania, konfigurację sprzętu i dane wejściowe. Przy własnym zadaniu zapisz także opcje programu. Porównanie dwóch wersji benchmarku może nie być bezpośrednie, nawet gdy obie pokazują punkty.
Ustal, czy oceniasz start zimnego systemu, czy pracę po rozgrzaniu. Pamięć podręczna, temperatura i ograniczenia mocy mogą wpływać na zachowanie urządzenia. Nie wybieraj przypadkowo innych stanów dla każdego wariantu, a potem nie przypisuj całej różnicy jednej zmianie.
Usuń lub kontroluj nieplanowane obciążenia tła. Jeśli test ma odzwierciedlać zwykły dzień pracy, można pozostawić typowe aplikacje, ale trzeba zrobić to konsekwentnie. Celem jest opisany scenariusz, nie najbardziej efektowny rekord.
3. Zachowaj wszystkie przebiegi
Wykonaj powtórzenia według ustalonej procedury. Nie porównuj najlepszego wyniku nowej konfiguracji z przeciętnym starej. Zapisz również nieudane próby i przyczynę ich wyłączenia, jeśli taka jest znana. Wyłączenie powinno wynikać z zasad, a nie z niechcianej liczby.
Załóżmy umowne czasy 100, 101 i 103 s przed zmianą oraz 94, 95 i 96 s po zmianie. Mediany wynoszą 101 i 95 s, czyli w tym przykładzie czas skrócił się o około 5,9%. Trzy próby nie dają jednak automatycznie dowodu istotności statystycznej. Trzeba obejrzeć rozrzut i warunki.
Jeśli różnica wariantów jest podobna do wahań pomiędzy powtórzeniami, wniosek powinien pozostać ostrożny. Przy większej serii można stosować odpowiednie miary rozkładu. Nie wyciągaj wiarygodnego percentyla skrajnych opóźnień z kilku przypadkowych odczytów.
4. Zmieniaj to, co potrafisz rozdzielić
Jednoczesna wymiana sprzętu, sterownika i profilu zasilania pozwala porównać dwa całe zestawy, ale nie ustala wpływu każdego składnika. Jeśli pytasz o przyczynę, wprowadzaj kontrolowane zmiany i wracaj do konfiguracji odniesienia, gdy wynik jest niejasny.
Sformalizowane testy mają własne reguły. Przykładowo SPEC CPU 2017 publikuje zasady wykonania i raportowania. Własny test nie staje się zgodnym wynikiem SPEC tylko dlatego, że użyto podobnej metody agregacji.
5. Sprawdź realne zadanie i opisz granice wniosku
Dobry raport mówi: jaki wariant, w jakich warunkach i w jakim zadaniu uzyskał zmianę. Nie zamienia wyniku jednego testu w obietnicę przyspieszenia wszystkich aplikacji.
Po teście syntetycznym wykonaj reprezentatywne zadanie: eksport, kompilację albo przetwarzanie danych, których faktycznie używasz. Jeśli poprawa znika, masz użyteczną informację o ograniczeniach benchmarku. Powtarzalny wynik pomaga w decyzji dopiero wtedy, gdy wiadomo, czego dotyczy.
