W połowie ubiegłego miesiąca Urząd Komunikacji Elektronicznej opublikował wyniki pomiarów certyfikowanego mechanizmu monitorowania Internetu zebranych w ciągu pierwszych sześciu miesięcy działania platformy. Na jej podstawie stworzono ranking operatorów.

Zobacz pełną wersję raportu UKE

Wielu obserwatorów rynku telekomunikacyjnego, w tym również RFBENCHMARK, przygląda się z zainteresowaniem projektowi certyfikowanego mechanizmu monitorowania Internetu. Nie dziwi zatem duża popularność w mediach branżowych informacji o publikacji raportu.

Idea prowadzenia certyfikowanych pomiarów jest szczytna i w pełni wspierana od samego początku przez Portal RFBENCHMARK. Na słowa uznania zasługuje fakt stworzenia jednolitej metodyki pomiarów. Właściciel portalu i aplikacji RFNBENCHMARK uczestniczył również w tym procesie na etapie konkursu UKE. Biorąc pod uwagę nasze doświadczenie i wiedzę do opublikowanych raportów trzeba jednak podchodzić bardziej ostrożnie i świadomie.

O co chodzi z zastrzeżeniami?

Przede wszystkim warto zwrócić uwagę na zaprezentowaną małą liczbę testów. W ciągu pół roku zebrano 171 tysięcy testów z aplikacji mobilnych Android. Jedynie niewiele ponad połowa (52%) testów została wykonana w sieciach mobilnych. Ponadto, ze wspomnianych 89 tysięcy pomiarów, jedynie 41 tysięcy było wykonane w warunkach bezpośredniego połączenia do sieci mobilnej (o czym więcej za chwilę). W efekcie okazuje się, że dostajemy średnio ok. 7 tysięcy testów miesięcznie, które nadawałyby się do opracowania rankingu.

Drugim punktem, który wzbudza większe obawy w przypadku rankingu operatów mobilnych , jest wspomniany brak odfiltrowania połączeń po Wi-Fi. Stoimy na stanowisku, że rankingi sieci komórkowych powinny być generowane tylko i wyłącznie w oparciu o testy z urządzeń podłączonych bezpośrednio do sieci. W kolejnym artykule przedstawimy więcej argumentów potwierdzających ryzyko takiego podejścia które może spowodować „zaciemnienie” wyników i tym samych wprowadzać w błąd.

Wyniki pomiarów z urządzeń podłączonych pośrednio przez Wi-Fi są obarczone błędem wynikającym z dodatkowych elementów po stronie abonenta degradujących wynik pomiaru i niezależnych od operatora mobilnego

Problem braku wiarygodności takich interpretacji jest znany, co podkreśla oficjalne stanowisko:

„W przypadku aplikacji WEB oraz aplikacji mobilnych możliwy jest pomiar w warunkach, które nie gwarantują jego wiarygodności (np. w sieci bezprzewodowej lub w sieci, w której działają inne urządzenia), dlatego wyniki mają charakter wyłącznie poglądowy.”

Wierzymy, że niedociągnięcia opisywanego rankingu to przysłowiowe frycowe, które płaci na wstępie każdy innowator. Trzymamy kciuki za publikację kolejnych wyników certyfikowanego mechanizmu monitorowania Internetu i liczymy, że rankingi tego typu istotnie przyczynią się do budowy transparentnego rynku usług telekomunikacyjnych w Polsce.