Ministère de l'Économie et des Finances, profile picture
Téléchargé parMinistère de l'Économie et des Finances
1,271 vues

Rapport qualite-service-mobile-2011

L'enquête de l'ARCEP de 2011 sur la qualité des services de voix et de données des réseaux mobiles (2G et 3G) en France métropolitaine montre un bon niveau global de qualité, notamment avec un taux de communications réussies et maintenues de 97,3% et une amélioration des services de données. Des évolutions méthodologiques ont été introduites, telles que des mesures de navigation sur smartphones et des évaluations plus rigoureuses des débits sur 3G, avec des résultats montrant des disparités entre opérateurs. Les résultats détaillés reflètent une étude rigoureuse menée sur plusieurs mois, visant à garantir la conformité aux obligations réglementaires et à la satisfaction des consommateurs.

Intégrer la présentation

Téléchargé 39 fois
Novembre 2011 La qualité des services de voix et de données des réseaux mobiles (2G et 3G) en France métropolitaine Les résultats de l’enquête pour l’année 2011
ARCEP – Résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles (2G et 3G) en France métropolitaine La qualité des services de voix et de données des réseaux mobiles en France métropolitaine Sommaire Synthèse page 3 Qualité du service de voix des réseaux mobiles (2G et 3G) page 9 Qualité des services de données des réseaux mobiles (2G et 3G) page 29 2/64
ARCEP – Résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles (2G et 3G) en France métropolitaine Synthèse L’enquête de qualité de service menée annuellement par l’ARCEP a pour objectif d’une part, d’apprécier, sur une base comparative, la qualité de service des réseaux mobiles offerte aux abonnés par les opérateurs mobiles et, d’autre part, de vérifier que les obligations réglementaires en matière de qualité de service sont bien respectées1. La qualité de service est testée sur les réseaux de deuxième et de troisième générations des opérateurs Orange France, SFR et Bouygues Telecom. Les autorisations des opérateurs mobiles prévoient qu’une enquête d’évaluation de la qualité de service est menée chaque année et que les opérateurs contribuent financièrement à sa réalisation. L’ARCEP rédige, à cette fin, en concertation avec les opérateurs, un cahier des charges détaillant la méthodologie à suivre pour la réalisation de l’enquête et la publication de ses résultats. Depuis 2007, cette enquête se divise en une enquête d’évaluation de la qualité du service de voix et une enquête d’évaluation de la qualité des services de données. En 2011, l’enquête relative au service de voix a été conduite par la société AFD et celle relative aux services de données a été conduite par la société Directique. Elles se sont déroulées du 1er mars au 13 juillet 2011 pour l’enquête de qualité de service voix, et du 24 mars au 13 juillet 2011 pour l’enquête de qualité des services de données. Les deux enquêtes menées en 2011 ont évolué sur un certain nombre de points par rapport à la précédente enquête. Les principales évolutions ont portées sur les enquêtes des services de données. Cette année, les mesures de visiophonie ont été supprimées, ce service étant peu utilisé. En revanche, des mesures de navigation web sur PC avec clé 3G ont été introduites, selon un protocole similaire au protocole des mesures WAP sur mobiles. En outre, des mesures de débit et de navigation web sur smartphones ont été ajoutées sur l’ensemble des agglomérations de plus de 400 000 habitants (« TOP 12 »). Ces mesures, réalisées à titre expérimental, visaient à valider le protocole de mesures sur ce type de terminaux. Les autres évolutions ont porté sur des sujets communs aux services de voix et données. Ainsi, une nouvelle répartition des mesures entre les zones très denses (ZTD) et autres zones denses (AZD) a été introduite. Les mesures ont été réalisées pour 2/3 en ZTD et 1/3 en AZD, alors que la répartition lors de l’enquête précédente était de 50% en ZTD et 50% en AZD. 1 L’enquête menée par l’ARCEP vise, au travers de mesures techniques réalisées sur le terrain, à refléter de manière statistique la qualité des services sur les réseaux des opérateurs. Elle ne vise pas à recueillir, par exemple au travers d’un sondage, la perception que pourraient avoir les abonnés de la qualité de bout en bout de ces services, qui peut dépendre de leur usage du réseau, du terminal et des applications utilisées. 3/64
ARCEP – Résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles (2G et 3G) en France métropolitaine 1. Enquête relative à la qualité du service de voix 1.1 Méthodologie 1.1.1 Définition d’une mesure Une mesure consiste à tenter d’établir une communication téléphonique, puis à évaluer la qualité auditive de la communication, sur chacun des réseaux des opérateurs testés, en utilisant aussi bien les réseaux 2G que les réseaux 3G. Deux aspects sont mesurés lors de l’enquête :  la capacité de démarrer une communication et de la maintenir 2 ou 5 minutes ;  la qualité audio de la communication. 1.1.2 Zones géographiques et usages Les mesures sont effectuées dans les agglomérations et sur les axes de circulation suivants :  dans les 12 agglomérations les plus peuplées (TOP 12)2 à l’intérieur et à l’extérieur des bâtiments et en situation de passager à bord d’un véhicule en mouvement ;  dans 20 agglomérations entre 50 000 et 400 000 habitants à l’intérieur et à l’extérieur des bâtiments et en situation de passager à bord d’un véhicule en mouvement ;  dans 20 agglomérations entre 10 000 et 50 000 habitants à l’intérieur et à l’extérieur des bâtiments et en situation de passager à bord d’un véhicule en mouvement ;  dans les principales lignes TGV (en mouvement) ;  sur les autoroutes à fort trafic en situation de passager à bord d’un véhicule en mouvement ;  dans les trains de banlieue et tramways (en mouvement). 1.1.3 Terminaux utilisés Pour chaque opérateur, les mesures sont réalisées avec un terminal de deuxième génération et un terminal de troisième génération, sélectionnés parmi les trois terminaux les plus vendus de chaque opérateur au cours des 6 mois précédant le démarrage de l’enquête. 1.2 Les enseignements de l’enquête de voix L’enquête 2011 confirme le bon niveau global de la qualité du service de téléphonie vocale observée depuis plusieurs années. Ce service a été testé dans 52 agglomérations de plus de 10 000 habitants, à l’intérieur et à l’extérieur des bâtiments, ainsi que dans un véhicule en mouvement. Il ressort des tests que le 2 Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice-Antibes-Cannes, Toulouse, Bordeaux, Nantes, Toulon, Douai-Lens, Strasbourg et Grenoble 4/64
ARCEP – Résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles (2G et 3G) en France métropolitaine taux de communications réussies et maintenues 2 minutes et 5 minutes reste très élevé, de respectivement 97,3% et 96,2%, dans la continuité des années précédentes. Les communications réussies et maintenues sont presque toujours de qualité auditive parfaite. La qualité du service de téléphonie a également été mesurée, en mouvement, sur les principales lignes TGV, dans les trains de banlieue des 4 plus grandes villes et sur les autoroutes à fort trafic. Dans le TGV, le taux de communications réussies et maintenues pendant 2 minutes est en baisse de 3% par rapport à l’enquête précédente. Les résultats font par ailleurs état d’écarts significatifs entre opérateurs. Sur les autoroutes, le taux de communications réussies et maintenues est en baisse d’environ 2% par rapport à l’enquête précédente, mais le taux de communications de qualité parfaite est en augmentation de 2%. Enfin, dans les trains de banlieues et les tramways, les taux de communications de qualité correcte et parfaite sont en hausse respectivement de 2% et 4% par rapport à la précédente enquête. 2. Enquête relative à la qualité des services de données 2.1 Méthodologie 2.1.1 Services audités L’enquête d’évaluation de la qualité de service permet de vérifier, à la fois pour les réseaux 2G et 3G :  la qualité du service de messages courts (SMS) ;  la qualité du service de transmission de photo par MMS ;  la qualité du service d’accès WAP ;  la qualité du service de transfert de fichiers ;  la qualité de navigation web sur PC. 5/64
ARCEP – Résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles (2G et 3G) en France métropolitaine 2.1.2 Répartition géographique Les mesures sont effectuées dans les agglomérations suivantes :  dans les 12 agglomérations les plus peuplées3, en situation statique, à l’extérieur des bâtiments ;  dans 20 agglomérations entre 50 000 et 400 000 habitants, en situation statique, à l’extérieur des bâtiments. 2.1.3 Terminaux utilisés et offres testées SMS, MMS, WAP Pour chaque opérateur, les mesures sont réalisées avec un terminal de deuxième génération et un terminal de troisième génération sélectionnés parmi les trois terminaux les plus vendus de chaque opérateur au cours des 6 mois précédant le démarrage de l’enquête. La répartition entre les deux types de terminaux est réglée pour chaque opérateur de manière à être représentative de la clientèle de l’opérateur. Téléchargement de fichiers et navigation web Les mesures sont réalisées sur un ordinateur portable avec une clé 3G. L’offre testée correspond, pour chaque opérateur, à l’offre 3G+ grand public la plus performante disponible au lancement de l’enquête. 2.2 Les enseignements de l’enquête sur les services de données 2.2.1 Le service de transfert de fichiers en mode FTP Sur chaque point de mesure, la mesure est faite sur le meilleur réseau disponible (EDGE, UMTS, HSPA) de chaque opérateur. Les résultats présentent des éléments d’appréciation des performances des réseaux des opérateurs au moment de l’enquête achevée mi-juillet 2011. Ils ne préjugent pas des évolutions relatives aux déploiements par les opérateurs des différentes technologies employées et celles relatives à la charge des réseaux des opérateurs. Il est important de préciser que le transit des fichiers transférés se fait en partie via internet : ce transit peut parfois engendrer des difficultés d’accès au serveur et un allongement du délai de réception des messages, indépendamment de la qualité de transmission propre au réseau mobile. 3 Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice-Antibes-Cannes, Toulouse, Bordeaux, Nantes, Toulon, Douai-Lens, Strasbourg et Grenoble 6/64
ARCEP – Résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles (2G et 3G) en France métropolitaine Ces tests ont montré que les débits observés pour le téléchargement de fichiers sur les réseaux 3G atteignaient plus de 9,2 Mbit/s pour les plus rapides, et que l’envoi de fichiers a fait apparaître des débits supérieurs à 3 Mbit/s pour les plus rapides. Le débit moyen atteint pour le téléchargement est de 3 Mbit/s, de 40% supérieur au débit moyen atteint lors de l’enquête précédente. Pour l’envoi de fichier, le débit moyen atteint 1,3 Mbit/s, débit légèrement supérieur à celui atteint dans l’enquête précédente (1,2 Mbit/s). Par ailleurs, on constate une plus forte disparité de débits observés entre opérateurs, que ce soit pour le téléchargement ou l’envoi de fichiers. Ainsi, les débits médians sont de 4,8 Mbit/s pour Orange France, 2,8 Mbit/s pour SFR et 1,2 Mbit/s pour Bouygues Telecom. 2.2.2 Les autres services de données Les résultats des tests effectués pour le service de message court (SMS) confirment, avec un taux de réussite supérieur à 99%, le très bon niveau de qualité global de ce service observé depuis plusieurs années. Le service d’envoi de photo par messagerie multimédia (MMS), ainsi que le service de navigation WAP, présentent globalement cette année une amélioration des résultats. Ainsi, le taux de messages reçus en moins de 3 minutes augmente de 2,4% dans les agglomérations de plus de 50 000 habitants. Les résultats du service de navigation WAP connaissent une augmentation de 7% du taux de navigation réussie et maintenue pendant 5 minutes dans les agglomérations de plus de 50 000 habitants par rapport à l’enquête précédente, et de 6% dans les 12 agglomérations les plus peuplées ; ce taux est cette année proche de 100%. Pour la première année, le service d’accès au web à partir de clés 3G a été mesuré. Les deux indicateurs testés sont le taux de réussite d’accès au web dans un délai inférieur à 50 secondes, qui atteint en moyenne 97,5 %, et le taux de navigation réussie et maintenue pendant une durée de 5 minutes, de 96% environ. 2.3 Les mesures expérimentales sur smartphones Des mesures expérimentales sur smartphones ont également été introduites pour la première fois cette année dans les 12 plus grandes agglomérations métropolitaines. En nombre réduit, ces mesures ont permis de vérifier que les protocoles de mesures qui avaient été définis pour le transfert de fichiers et la navigation web sur ce type de terminaux peuvent pleinement être mis en œuvre, mais ne permettent pas, à l’instar des autres indicateurs, de publication individuelle par opérateur. Elles apportent néanmoins plusieurs enseignements. Le taux d’accessibilité au réseau est identique au taux de connexion au réseau atteint par les 3 opérateurs sur des mesures à partir de clés 3G sur PC. Le débit moyen atteint pour le téléchargement est de 2,4 Mbit/s, ce qui est un peu inférieur au débit moyen atteint avec la clé 3G dans les 12 plus grandes agglomérations. Pour l’envoi de fichier, le débit moyen atteint 1,4 Mbit/s, débit légèrement supérieur au débit atteint dans les 12 plus grandes agglomérations. 7/64
ARCEP – Résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles (2G et 3G) en France métropolitaine Les différences observées avec les clés 3G sur les débits en téléchargement pourraient notamment être liées aux performances maximales des smartphones, inférieures à celles des clés 3G et ne semblent pas résulter des réseaux des opérateurs. 3. Format de restitution des résultats Les résultats complets sont disponibles à la fin de chaque rapport, après une description détaillée des protocoles de mesures. La signalétique utilisée dans les tableaux de résultats est la suivante :  la qualification du résultat individuel de chaque opérateur autour de la moyenne agrégée des trois opérateurs est symbolisée par les signes suivants : Symbole Signification –– Très inférieur à la valeur de référence – Inférieur à la valeur de référence = Voisin de la valeur de référence + Supérieur à la valeur de référence ++ Très supérieur à la valeur de référence  les flèches apparaissant dans les tableaux indiquent le sens de l’évolution des résultats par rapport à l’enquête précédente, lorsque la comparaison est possible et que l’évolution est significative. 8/64
La qualité des services de voix des réseaux mobiles (2G et 3G) en France métropolitaine Les résultats de l’enquête pour l’année 2011
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles AVERTISSEMENT Remarques générales L’objet de cette enquête, menée sur une base annuelle, est d’apprécier la qualité de service des réseaux de téléphonie mobile de deuxième (2G) et de troisième générations (3G) en France. L’ARCEP définit en concertation avec les opérateurs concernés par l’étude, à savoir Orange France, SFR et Bouygues Telecom, un cahier des charges détaillant la méthodologie à suivre pour la réalisation de l’enquête et la publication de ses résultats. Limites de l’exercice L'évaluation porte sur la qualité du service de voix des réseaux mobiles perçue par les clients dans les conditions d’utilisation quotidienne. Cette évaluation a été menée sur une durée totale de 4 mois. Afin, notamment, de rendre l’étude plus représentative de l’usage du service vocal de téléphonie mobile, chacun des réseaux a été testé avec les mobiles 2G et 3G correspondant aux meilleures ventes récentes de packs de chaque opérateur. Précision statistique et arrondis Comme dans tout sondage, les résultats de la présente enquête comportent une marge d’imprécision. La précision statistique indiquée en dessous de chaque résultat est l’intervalle contenant le résultat selon une probabilité de 95%. Toute comparaison entre les différents indicateurs doit donc tenir compte de cet intervalle de confiance. Par ailleurs, pour être en cohérence avec cette imprécision statistique, les résultats de la présente enquête ont été arrondis au dixième près. Il convient de rappeler que :  la somme de deux résultats arrondis peut être différente de l’arrondi de leur somme ;  le produit de deux résultats arrondis peut être différent de l’arrondi de leur produit. 10/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles SOMMAIRE 1. CARACTERISTIQUES TECHNIQUES DE L’ENQUETE ............................................................................ 12 1.1 CONFIGURATION GENERALE ........................................................................................................................... .... 12 1.2 CONSTRUCTION DE L’ECHANTILLON ............................................................................................................... .... 13 1.3 CONDITIONS DE MESURE................................................................................................................................. .... 16 1.4 NOTATION DE LA QUALITE AUDITIVE .............................................................................................................. .... 19 1.5 EQUIPES ET DEROULEMENT DE L’ENQUETE ..................................................................................................... .... 20 2. INDICATEURS DE PUBLICATION DE L’ENQUETE ................................................................................. 23 2.1 DEFINITIONS DES INDICATEURS PUBLIES ........................................................................................................ .... 23 2.2 PRINCIPES GENERAUX DE LA PUBLICATION..................................................................................................... .... 23 3 RESULTATS DE L’ENQUETE D’EVALUATION DE LA QUALITE DU SERVICE DE VOIX DES RESEAUX DE DEUXIEME ET TROISIEME GENERATIONS EN FRANCE METROPOLITAINE ............... 25 3.1 USAGES EN AGGLOMERATION......................................................................................................................... .... 25 3.2 USAGES SUR LES AXES DE TRANSPORT ........................................................................................................... .... 27 11/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles 1. CARACTERISTIQUES TECHNIQUES DE L’ENQUETE 1.1. Configuration générale 1.1.1. Définition de la mesure Les enquêteurs munis de téléphones mobiles et les enquêteurs munis de téléphones fixes s’appellent entre eux sur les différents réseaux de téléphonie mobile à tester. Ils vérifient l’obtention de l’appel (absence d’échec), le maintien de la communication pendant la durée de l’appel, qui peut être de 2 minutes ou 5 minutes (absence de coupure), et évaluent la qualité auditive de la communication. Une partie des mesures a été réalisée avec des mobiles 3G, dans une proportion cohérente avec le trafic voix sur les réseaux 3G de chaque opérateur : 20% pour Bouygues Telecom, 30% pour SFR et 40% pour Orange France. Les mesures 3G sont intercalées entre les mesures 2G afin d’être réparties uniformément sur les zones testées. Les appels ont été passés dans 1/3 des cas du fixe vers le mobile et pour le reste, du mobile vers le fixe. Plusieurs situations d’utilisation sont testées :  en voiture, en situation passager (sans antenne de toit) sur autoroutes et dans les agglomérations,  en piéton à l’extérieur,  en piéton à l’intérieur de bâtiments,  à bord des trains de banlieue et tramways,  à bord des TGV. Quelle que soit la situation, les mesures ont été effectuées simultanément sur les trois réseaux au même endroit géographique. Chaque réseau est testé par un binôme d’enquêteurs, l’un mobile et l’autre fixe. L’utilisation d’un kit oreillette est systématique. Les mesures en situation de piéton à l’intérieur (bureaux, habitations et lieux publics) ont été réalisées en 1er jour (pièce avec fenêtre). Elles sont réparties entre le rez-de-chaussée et les étages en excluant les sous-sols. 1.1.2. Calendrier, planning et horaires L’enquête 2011 s’est déroulée entre le 1er mars 2011 et le 13 juillet 2011. Durant l’enquête, les opérateurs Bouygues Telecom, Orange France et SFR ne connaissaient ni les dates ni les lieux où étaient effectuées les mesures. Ils ignoraient aussi la liste des villes tirées au sort parmi les agglomérations de moins de 400 000 habitants ainsi que les abonnements utilisés dans le cadre de l’enquête. Les mesures ont été réalisées du lundi au vendredi, jours fériés exclus, et réparties de façon homogène entre 9h et 21h. Toutefois, dans les agglomérations (hors trains de banlieue et tramways), les heures pleines (12h-13h et 18h-21h) ont été privilégiées à hauteur de 40%. Les mesures ont été réparties sur la durée de l’enquête pour chaque usage, dans les agglomérations, les axes et les lignes TGV. De plus, afin d’obtenir une répartition temporellement homogène de 12/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles l’enquête, plusieurs passages ont été effectués dans chacune des agglomérations de plus de 400 000 habitants. 1.1.3. Terminaux utilisés Les terminaux ont été choisis parmi les meilleures ventes des packs de chaque opérateur. Une vérification fonctionnelle a permis de garantir que les téléphones sélectionnés possédaient des performances comparables et qu’ils n’induisaient pas eux-mêmes de biais dans la mesure. Les terminaux retenus sont les suivants : Opérateur GSM (2G) UMTS (3G) Bouygues Telecom Black Berry 8520 CURVE iPhone 4 Orange France Samsung C3050 Sony Ericsson J 20 Quick Silver SFR NOKIA 2720 FOLD NOKIA E71 1.2. Construction de l’échantillon 1.2.1. Sélection des agglomérations Les agglomérations de plus de 400 000 habitants sont au nombre de 12. Toutes ont été retenues et testées, en distinguant les “zones très denses” et les “autres zones denses” selon les critères suivants :  Zones très denses : centre-ville de la ou des communes principales, zones de transit (gares, aéroports), centres d’activités (commerciaux, affaires), axes urbains à très fort trafic et autoroutes dans les limites de l’agglomération ;  Autres zones denses : continuum bâti autour des zones très denses, autres centres villes de plus de 5 000 habitants, autres axes urbains au sein de l’agglomération. Les agglomérations de moins de 400 000 habitants sont séparées en deux groupes au sein desquels ont été sélectionnées, par tirage au sort, 20 agglomérations : un groupe avec les agglomérations de 50 000 à 400 000 habitants et un autre avec celles de 10 000 à 50 000 habitants. Cette méthode de sélection des agglomérations renforce volontairement la représentation des agglomérations de faible population. Pour chacun des deux groupes d’agglomérations, le tirage au sort a été effectué avec une probabilité fonction logarithmique de la population, qui a été rectifiée pour équilibrer les diverses régions du territoire. Pour chaque agglomération, deux zones ont été distinguées : la “ ville ” qui correspond à la commune principale et le reste de l’agglomération. 13/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles Le tableau suivant regroupe les agglomérations sélectionnées classées par groupe : TOP 12 10 000 à 50 000 habitants 50 000 à 40 000 habitants (supérieur à 400 000 habitants) Ville dépt Ville dépt Ville dépt Lons le saunier 39 Orléans 45 Bordeaux 33 Coulommiers 77 Besançon 25 Douai-Lens 62 Lure 70 Chalon sur Saône 71 Grenoble 38 Gray 70 Saint Quentin 02 Lille 59 Cambrai 59 Valenciennes 59 Lyon 69 Remiremont 88 Metz 57 Marseille-Aix-en-Provence 13 Sarrebourg 67 Arras 62 Nantes 44 Gérardmer 88 Chalons en champagne 51 Nice-Cannes-Antibes 6 Saint-Malo 35 Rouen 76 Paris 75 Trouville 14 Rennes 35 Strasbourg 67 Yvetot 76 Elbeuf 76 Toulon 83 Pont Audemer 27 Laval 53 Toulouse 31 Albertville 73 Saint Etienne 42 L'Isle sur la Sorgue 84 Avignon 84 Le Grau du Roi 30 Fréjus 83 Saint Rémy de Provence 13 Thonon les Bains 74 Royan 17 Périgueux 24 Mazamet 81 Montauban 82 Langon 33 Limoges 87 Figeac 46 La Rochelle 17 La représentativité des agglomérations est récapitulée dans le tableau suivant : Total France Echantillon Agglomérations Population Nombre Population Nombre Représentativité (millions) sélectionné (millions) de plus de 400 000 12 19,18 12 19,18 100 % habitants de 50 000 à 400 000 104 12,74 20 2,45 19,23 % habitants de 10 000 à 50 000 361 7,11 20 0,39 5,54 % habitants 14/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles 1.2.2. Carte des agglomérations et des axes testés Représentation cartographique et régionale de l’ensemble de l’enquête 15/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles 1.2.3. Volumétrie et répartition par type de lieu et par type d’usage L’échantillon a été construit de manière à respecter les critères suivants :  distinguer les différentes catégories de situations (voiture, piéton intérieur, piéton extérieur, zones géographiques,…) ;  disposer d’un nombre suffisant de mesures dans chaque catégorie en vue d’obtenir une précision statistique satisfaisante ;  répartir les mesures, au sein de chaque catégorie, selon des conditions représentatives des utilisations les plus courantes. Le nombre de mesures réalisées pour l’ensemble des opérateurs est réparti de la manière suivante : Communications de 2 minutes Piéton En agglomérations Voiture Total En intérieur En extérieur de plus de 400 000 habitants 603 1923 1251 3777 de 50 000 à 400 000 habitants 408 1293 834 2535 de 10 000 à 50 000 habitants 231 738 480 1449 Communications de 5 minutes Piéton En agglomérations Voiture Total En intérieur En extérieur de plus de 400 000 habitants 624 1878 1257 3759 de 50 000 à 400 000 habitants 414 1272 825 2511 de 10 000 à 50 000 habitants 249 702 474 1425 Sur les axes de circulation : communications de 2 minutes Trains de TGV Autoroutes Total banlieue 4720 3189 2961 10870 Au total, l’étude a produit et exploité 26 326 appels téléphoniques. 1.3. Conditions de mesure 1.3.1. Conditions de mesure dans les agglomérations Après avoir ainsi déterminé la localisation et le nombre des mesures, un certain nombre de conditions supplémentaires ont été prises en compte :  Localisation des mesures D’une façon générale, l’extension de chaque agglomération testée correspond à la définition de l’INSEE de 2007 donnant la liste des communes appartenant à l’agglomération. 16/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles Les agglomérations de plus de 400 000 habitants ont été subdivisées en “ zones très denses ” et “ autres zones denses ” comme expliqué précédemment. Dans les autres agglomérations, ont été distingués la “ ville ” (ZTD = Zone Très Dense), qui est la commune principale, et le reste de l’agglomération (AZD = Autre Zone Dense).  Mesures en voiture Dans les agglomérations de plus de 400 000 habitants, le territoire à tester a été divisé en zones de surfaces équivalentes, avec un certain nombre d’appels à effectuer. Les enquêteurs ajustent leurs parcours en fonction du terrain (circulation et sens interdits), l’objectif étant de couvrir équitablement la zone. Dans les autres agglomérations, les mesures ont été réparties pour 2/3 en ville (ZTD) et 1/3 dans le reste de l’agglomération (AZD). Elles ont été effectuées sur des parcours incluant les axes principaux et dans les zones bâties (centre-ville, aéroport, gare, lieux touristiques, zones d’activités).  Mesures piétons Dispositions communes aux mesures à l’extérieur ou à l’intérieur des bâtiments Dans chaque agglomération, les mesures ont été dispersées le plus possible sur le territoire à tester et il a été évité de réaliser des mesures aux mêmes endroits que celles effectuées en voiture. Dans les agglomérations de plus de 400 000 habitants, les mesures ont été réparties selon le même principe de division en zones de surfaces équivalentes que pour les mesures en voiture. Dans les autres agglomérations, les mesures ont été effectuées dans les zones bâties, avec une répartition 2/3 en ville et 1/3 dans le reste de l’agglomération. Mesures piétons en extérieur Les mesures ont été réalisées pour 2/3 en déplacement et 1/3 à l’arrêt. En chaque point mesuré, une seule mesure a été effectuée de façon à obtenir la meilleure dispersion géographique. Les emplacements ont été choisis parmi les zones fréquentées par les piétons (zones bâties, parcs et jardins, plages, ...). Mesures piétons en intérieur Tous les appels ont été passés en 1er jour (pièce avec fenêtre), sans se déplacer, aux rez-de-chaussée et dans les étages en excluant les sous-sols. Les mesures ont été réparties, selon le type de bâtiment :  dans les lieux publics de grande superficie : 2 mesures indoor premier jour ;  dans les lieux privés (bureaux ou habitations) : 2 mesures indoor premier jour. 17/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles 1.3.2. Conditions de mesure dans les trains de banlieue et tramways Ces mesures concernent les agglomérations de Paris, Lyon, Lille et Marseille-Aix-en-Provence dotées de réseaux de trains de banlieue et de tramways. La répartition des mesures est basée sur les données de trafic et de fréquence des rames compilées à partir des sources www.ter-sncf.com; www.paris.fr/portail/deplacements; www.rtm.fr – année 2010). Proportion de mesures Agglomérations testées en réalisées par trains de banlieue agglomération Paris 64,28% Lyon 14,33% Lille 11,90% Marseille 9,49% Total 100,00% Les différentes positions des enquêteurs dans les rames ont été testées : fenêtre ou couloir, bas ou haut dans les rames, un côté de la voie à l’aller puis l’autre au retour. Les trois enquêteurs sont groupés afin d’évaluer les trois réseaux dans les mêmes conditions. 1.3.3. Conditions de mesure sur les autoroutes La répartition des mesures sur les axes autoroutiers à fort trafic est présentée ci-dessous. Celle-ci est basée sur les données fournies par le SETRA. Proportion de mesures Axes autoroutiers réalisées sur chaque axe A1 Paris - Lille 9,2% A4 Paris - Strasbourg 7,7% A6 Paris - Lyon 18,1% A7 Lyon - Marseille 12,4% A8 Marseille - Menton 4,8% A9 Orange - Perpignan 11,7% A10 Paris - Bordeaux 12,5% A11 Paris - Nantes 7,7% A13 Paris - Caen 7,3% A61 Toulouse - Narbonne 3,5% A62 Bordeaux - Toulouse 5,1% Total 100,0% Les tests sont réalisés en variant régulièrement les positions des enquêteurs dans le véhicule afin d’évaluer les trois réseaux dans les mêmes conditions. 18/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles 1.3.4. Conditions de mesure dans les TGV La répartition des mesures sur les lignes de TGV testées est présentée ci-dessous. Celle-ci est basée sur les informations des horaires des trains sur le site http://www.voyages-sncf.com/ Proportion de mesures Lignes TGV réalisées sur chaque ligne Lille - Lyon 4,6% Paris - Bordeaux 8,8% Paris - Calais 10,8% Paris - Lille 13,3% Paris - Lyon 20,8% Paris - Marseille 9,1% Paris - Nantes 10,4% Paris - Rennes 10,3% Paris - Strasbourg 8,2% Avignon - Montpellier 3,7% Total 100,0% Les tests sont réalisés près des fenêtres et en haut dans les rames en duplex. Les trois enquêteurs sont les uns derrière les autres côté fenêtre en variant les positions pour évaluer les trois réseaux dans les mêmes conditions. 1.3.5. Récapitulatif des mesures réalisées par strate et par situation d’utilisations A l’intérieur A l’extérieur Total des Strate En voiture En train des bâtiments des bâtiments mesures 10-50 000 hab 480 1440 954 2874 50-400 000 hab 822 2565 1659 5046 AUTOROUTE 3189 3189 TDB 2961 2961 TGV 4720 4720 TOP12 1227 3801 2508 7536 Total 5718 7806 7681 5121 26326 1.4. Notation de la qualité auditive La qualité auditive est notée par les enquêteurs mobile et fixe, selon une échelle à 4 niveaux :  Parfaite : aucune perturbation, qualité équivalente à celle du réseau fixe commuté ;  Acceptable : légère gêne dans l’écoute par quelques perturbations qui ne troublent toutefois pas la conversation ; 19/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles  Médiocre : fréquemment gêné dans l’écoute par de nombreuses perturbations, mais il est encore possible de se comprendre ;  Mauvais : il est très difficile de s’entendre, la conversation est impossible. Chaque enquêteur mobile et fixe, porte une appréciation sur les communications maintenues 2 ou 5 minutes. Les communications sont qualifiées indépendamment par l’appelant et par l’appelé. La note de l’appel découle de l’appréciation la plus sévère des deux notes. Des dispositions ont été prises pour garantir une appréciation objective de la qualité de la part des enquêteurs ainsi que pour éviter les divergences d’évaluation et leurs conséquences sur les résultats. Les enquêteurs ont été formés spécifiquement afin de qualifier les communications de façon rigoureuse. Les dispositions prises afin de garantir un étalonnage objectif et homogène de la qualité auditive ont été les suivantes :  formation des enquêteurs afin d’identifier les perturbations typiques pouvant survenir sur les réseaux mobiles numériques (écho, bruit métallique, grésillements,…) ;  entraînement (début et fin de chaque phase de mesures) à l'étalonnage de la qualité auditive d'après des enregistrements sonores, et contrôle de la dispersion des résultats ;  avant le début de l’enquête, tous les matériels utilisés ont été vérifiés par le consultant. Leur bon fonctionnement a été contrôlé comme le ferait un usager classique en vérifiant notamment le bon accrochage du réseau, le contrôle de la batterie et les premières communications ;  campagne de mesures probatoires en situation réelle et analyse : application de procédures, enregistrement des données pour tous les enquêteurs mobile et fixe, et analyse des résultats ;  contrôle par des superviseurs au cours des mesures réelles : écoute discrète aléatoire et contrôle des données enregistrées tout au long de l’enquête ;  analyse quotidienne de la cohérence des résultats obtenus : divers états de sortie statistiques permettent de détecter d’éventuelles divergences de notation de la qualité auditive, selon les enquêteurs, les terminaux, etc., et d’intervenir en cas d’anomalie ;  permutation des binômes d’enquêteurs fixe et mobile sur chaque réseau et entre eux afin d’éliminer tout biais résiduel d’appréciation de la qualité auditive dans un même groupe et dans des groupes différents. Au cours de l'enquête, l'apparition d'éventuels problèmes de fonctionnement est surveillée en temps réel. S'ils proviennent du matériel utilisé, les mesures sont marquées de manière spécifique dans la base pour ne pas être prises en compte dans les résultats. Ces mesures sont alors refaites après correction du problème. 1.5. Equipes et déroulement de l’enquête 1.5.1. Réalisation de l’enquête Une équipe constituée d’un directeur de projet, de deux chefs de projet (1 chef de projet AFD et 1 chef de projet GENETEL) et d’un coordinateur a organisé le déroulement de l’enquête :  La formation des enquêteurs au protocole ARCEP ;  L’organisation des plannings ;  La vérification journalière des quotas et la répartition des mesures ;  Le respect des modes opératoires ; 20/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles  La communication hebdomadaire des résultats vers l’ARCEP. Les mesures en voiture ont été réalisées par une équipe de 7 personnes (3 enquêteurs mobiles accompagnés d’un chauffeur, 3 enquêteurs fixes). Les mesures piétons ont été réalisées par des équipes de 7 personnes (3 enquêteurs mobiles accompagnés d’un chauffeur, 3 enquêteurs fixes). Les mesures dans les trains (TGV et trains de banlieue) ont été réalisées par des équipes de 6 personnes (3 enquêteurs mobiles et 3 enquêteurs fixes). En cas de gêne pour les autres passagers ou de remarques des contrôleurs, les enquêteurs continuaient les mesures dans le wagon bar toujours côté fenêtres et toujours du même côté. Chaque enquêteur teste un seul réseau. Les appels sont passés simultanément sur l’ensemble des trois réseaux et une permutation des enquêteurs fixes et mobiles est réalisée à chaque demi-journée. Les enquêteurs fixes sont situés à l’AFD SOLUTION CENTER à Clichy (92110, France). 1.5.2. Contrôle de cohérence des mesures réalisées Des contrôles de cohérence des résultats ont été réalisés au fil de l’eau par AFD tout au long de l’enquête terrain, conformément au cahier des charges. Ils visaient notamment à prévenir en temps réel l’apparition de biais liés à un matériel défectueux, à une différence d’appréciation de la qualité entre les enquêteurs, et plus généralement, à des imprécisions dans l’application sur le terrain du protocole de mesure. L’ensemble des données de géo-localisation ont été transmises en temps réel via les smartphones des enquêteurs mobiles sur un serveur de données, avec un accès sécurisé. Une vigilance particulière a été portée au matériel de tests utilisés pour la réalisation de l’enquête. 1.5.3. Maîtrise des quotas Pour la construction de l’échantillon de l’enquête, un certain nombre de quotas ont été établis sur la base de valeurs de référence ou de moyennes représentatives du marché actuel des mobiles en France. Ces quotas ont fait l’objet d’un suivi portant sur le respect de la répartition horaire des mesures, la proportion du trafic « fixe vers le mobile » et « mobile vers le fixe », la répartition des mesures entre les terminaux 2G et 3G ainsi que sur la précision statistique maximale admise portant sur les résultats à publier. De plus, la méthodologie appliquée visait à respecter des quotas de répartition de mesures en agglomérations : • de plus de 400 000 habitants : entre les « zones très denses » et les « autres zones denses » ; • de 10 000 à 400 000 habitants : entre « la ville » qui est la commune principale, et le « reste de l’agglomération ». 21/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles Pour toutes les agglomérations, les mesures piétons ont été réparties selon le type de bâtiment : lieux publics, immeubles de bureaux privés, locaux d’habitations privés. Les mesures à l’extérieur de bâtiment ont été réalisées en déplacement (dynamique) ou à l’arrêt (statique). Le tableau ci-dessous définit les quotas et présente leur respect lors de l’enquête. Périmètre d’application Définition des quotas (mesures retenues) Cible Réalisé Fixe vers mobile 33% 33,05% Sens d'appel Mobile vers fixe 67% 66,95% Bouygues 20% 19,42% Telecom Agglomérations de plus de 10 000 Appels avec le terminal 3G habitants et sur les axes de circulation Orange France 40% 37,85% SFR 30% 27,63% Précision statistique maximale Sur les résultats 2,50% < 2,5 % admise à publier Tranches horaires Heures pleines 40% 36,25% Agglomérations de plus de 10 000 Durée des appels Appels de 5 min 50% 49,79% habitants, hors trains de banlieue Statique 33% 31,00% Mesures à l’extérieur de bâtiment Dynamique 67% 69,00% Agglomérations de plus de 10 000 ZTD 70% 68,50% Répartition de mesures par zone habitants AZD 30% 31,50% 22/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles 2. INDICATEURS DE PUBLICATION DE L’ENQUETE 2.1. Définitions des indicateurs publiés Une mesure consiste à tenter d’établir une communication vocale puis à évaluer la qualité auditive de la conversation sur chacun des réseaux testés. Une mesure sur trois réseaux porte ainsi sur trois communications, qu’elles aient abouti ou non. Les définitions des indicateurs sont résumées dans le tableau ci-dessous : Indicateurs Définition Une communication est considérée comme réussie si l’appel lancé par l’un Taux de des enquêteurs aboutit dès le premier essai et si la communication est communications maintenue sans coupure. Le taux est calculé sur la base du nombre total de réussies et maintenues : mesures. Le complément à 100% est donc constitué du taux d’échecs après CR une tentative, plus le taux de coupures. Taux de Une communication est considérée comme parfaite si elle est réussie au communications sens du premier indicateur et si la qualité auditive perçue par les deux réussies, maintenues interlocuteurs est parfaite (comparable à la qualité des communications sur et de qualité auditive le réseau fixe). parfaite : TQP Une communication est considérée comme réussie et de qualité correcte si Taux de elle est réussie au sens du premier indicateur et si la qualité auditive perçue communications par les deux interlocuteurs est soit parfaite soit acceptable. réussies, maintenues Une communication est considérée comme acceptable si la qualité auditive et de qualité auditive perçue par les deux interlocuteurs est perturbée légèrement sans toutefois correcte : CRC gêner la conversation. Les taux de communications correctes, parfaites ou acceptables sont calculés sur la base du nombre total de tentatives de communications. 2.2. Principes généraux de la publication 2.2.1. Présentation des tableaux Pour chaque indicateur, le résultat est publié sur la base de deux valeurs. D’une part, une valeur de référence choisie comme étant la moyenne agrégée pour les trois opérateurs. D’autre part, la qualification de la performance de chaque opérateur autour de cette valeur selon les cinq niveaux : très inférieur, inférieur, voisin, supérieur et très supérieur à la valeur de référence. De plus, une comparaison avec les résultats de l’enquête précédente, tenant compte de la précision statistique de ces mesures, est présente lorsqu’elle est pertinente sous forme d’un signe () ou (). Ce signe accolé au résultat indique le cas échéant une amélioration ou une dégradation par rapport à l’année précédente, pour la valeur moyenne comme pour les performances individuelles des opérateurs. 2.2.2. Qualification de l’opérateur en fonction de la valeur de l’écart par rapport aux seuils Chaque opérateur est qualifié en fonction de la valeur de l’écart (e) entre son résultat (t) et la valeur de référence (m). La valeur de référence correspond à la moyenne des résultats des trois opérateurs sur l’indicateur considéré échelonné sur 5 niveaux : très inférieur, inférieur, voisin, supérieur, très supérieur à la valeur de référence. Les seuils qui déterminent ces niveaux prennent en compte la 23/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles précision statistique des résultats. En effet, les écarts ne sont significatifs que s’ils sont supérieurs à l’incertitude. Les seuils s1 et s2 sont calculés selon les formules suivantes : t  1  t  • s1 = Max ( 1% ; 1,645  ) n • s2 = 4% où t est la valeur de l’indicateur considéré et n correspond au nombre de mesures réalisées pour cet indicateur. La qualification de la performance de l’opérateur est définie en fonction de la valeur de l’écart par rapport à ces seuils : Seuil Performance Définition e  -s2 –– Très inférieur à la valeur de référence -s2 < e  -s1 – Inférieur à la valeur de référence -s1 < e  s1 = Voisin de la valeur de référence s1 < e  s2 + Supérieur à la valeur de référence e  s2 ++ Très supérieur à la valeur de référence 2.2.3. Comparaison des résultats avec ceux de l’enquête précédente Une comparaison avec l’enquête précédente est possible lorsque le périmètre et la méthode de mesure sont identiques. Si tel est le cas, l’évolution par rapport à l’enquête précédente, pour chaque opérateur et pour chaque indicateur, est indiquée par un signe accolé au nom de l’opérateur ou de la moyenne mesurée. Ce signe est déterminé en fonction de l’écart entre la valeur (t2) de l'indicateur de cette année par rapport à l'année précédente (t1), selon un seuil ∆ qui prend en compte la précision statistique des résultats : 1 1  • ∆ = Max (1% ; 1,645  p  1  p      )  n1 n2  n1 t1  n2  t 2 •p= n1  n2 où p est le résultat moyen des mesures réalisées durant cette enquête et l’enquête précédente, et n1 et n2 correspondent aux nombres de mesures de chacune des deux années. • signe () : amélioration supérieure à ∆ • absence de signe : indétermination (écart inférieur à ∆) • signe () : dégradation supérieure à ∆ 24/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles 3. RESULTATS DE L’ENQUETE D’EVALUATION DE LA QUALITE DU SERVICE DE VOIX DES RESEAUX DE DEUXIEME ET TROISIEME GENERATIONS EN FRANCE METROPOLITAINE 3.1. Usages en agglomération 3.1.1. Communications d’une durée de 2 minutes Ensemble des agglomérations de plus de 10 000 habitants Moyenne Orange Bouygues mesurée SFR 7761 mesures France Telecom Taux de communications réussies et 97,3% maintenues 2 minutes (CR) = = = Précision statistique ± 0,36% Taux de communications réussies, maintenues 2 95,9% minutes et de qualité Parfaite (TQP) = = = Précision statistique ± 0,44% Taux de communications réussies, maintenues 2 97,0% minutes et de qualité Correcte (CRC) = = = Précision statistique ± 0,38%  Ecart heure pleine / heure creuse (taux de 0,45% communications réussies et maintenues) = = = Précision statistique ± 0,15% Les 12 plus grandes agglomérations Moyenne Orange Bouygues mesurée SFR 3777 mesures France Telecom Taux de communications réussies et 97,0% maintenues 2 minutes (CR) = = = Précision statistique ± 0,54%  Taux de communications réussies, maintenues 2 95,9% minutes et de qualité Parfaite (TQP) = = = Précision statistique ± 0,63%  Taux de communications réussies, maintenues 2 96,8% minutes et de qualité Correcte (CRC) = = = Précision statistique ± 0,56%  Ecart heure pleine / heure creuse (taux de 0,12% communications réussies et maintenues) = = = Précision statistique ± 0,11% 25/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles 3.1.2. Communications d’une durée de 5 minutes Ensemble des agglomérations de plus de 10 000 habitants Moyenne Orange Bouygues mesurée SFR 7695 mesures France Telecom Taux de communications réussies et 96,2% maintenues 5 minutes (CR) = = = Précision statistique ± 0,43%   Taux de communications réussies, maintenues 5 94,2% minutes et de qualité Parfaite (TQP) = = = Précision statistique ± 0,52%   Taux de communications réussies, maintenues 5 96,0% minutes et de qualité Correcte (CRC) = = = Précision statistique ± 0,44%  Ecart heure pleine / heure creuse (taux de 0,73% communications réussies et maintenues) = = = Précision statistique ± 0,27%  Les 12 plus grandes agglomérations Moyenne Orange Bouygues mesurée SFR 3759 mesures France Telecom Taux de communications réussies et 96,3% maintenues 5 minutes (CR) = = = Précision statistique ± 0,60%   Taux de communications réussies, maintenues 5 94,6% minutes et de qualité Parfaite (TQP) = = = Précision statistique ± 0,72%   Taux de communications réussies, maintenues 5 96,0% minutes et de qualité Correcte (CRC) = = = Précision statistique ± 0,63%  Ecart heure pleine / heure creuse (taux de 0,96% communications réussies et maintenues) = = + Précision statistique ± 0,31%  26/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles 3.2. Usages sur les axes de transport TGV Moyenne Orange Bouygues mesurée SFR 4707 mesures France Telecom Taux de communications réussies et 74,2% maintenues 2 minutes (CR)  + + −− Précision statistique ± 1,25%  Taux de communications réussies, maintenues 2 69,5% minutes et de qualité Parfaite (TQP) + = −− Précision statistique ± 1,32%   Taux de communications réussies, maintenues 2 73,3% minutes et de qualité Correcte (CRC) + + −− Précision statistique ± 1,26%   Autoroutes Moyenne Orange Bouygues mesurée SFR 3189 mesures France Telecom Taux de communications réussies et 92,9% maintenues 2 minutes (CR)  = = = Précision statistique ± 0,89%  Taux de communications réussies, maintenues 2 91,1% minutes et de qualité Parfaite (TQP)  = = = Précision statistique ± 0,99%  Taux de communications réussies, maintenues 2 92,5% minutes et de qualité Correcte (CRC) = = = Précision statistique ± 0,91% 27/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles Trains de banlieue Moyenne Orange Bouygues mesurée SFR 2961 mesures France Telecom Taux de communications réussies et 85,4% maintenues 2 minutes (CR) = = = Précision statistique ± 1,27% Taux de communications réussies, maintenues 2 82,8% minutes et de qualité Parfaite (TQP)  = = = Précision statistique ± 1,36%   Taux de communications réussies, maintenues 2 84,7% minutes et de qualité Correcte (CRC)  = = = Précision statistique ± 1,30%  28/64
La qualité des services de données des réseaux mobiles (2G et 3G) en France métropolitaine Les résultats de l’enquête pour l’année 2011
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles AVERTISSEMENT Remarques générales L’objet de cette enquête, menée sur une base annuelle, est d’apprécier la qualité de service des réseaux de téléphonie mobile de seconde (2G) et de troisième génération (3G) en France. L’ARCEP définit en concertation avec les opérateurs concernés par l’étude, à savoir Orange France, SFR et Bouygues Telecom, un cahier des charges détaillant la méthodologie à suivre pour la réalisation de l’enquête et la publication de ses résultats. Limites de l’exercice L'évaluation porte sur la qualité des services de données des réseaux mobiles perçue par les clients, dans les conditions où ceux-ci les utilisent au quotidien. Cette évaluation est menée sur une durée totale de 4 mois. Afin notamment de rendre l’étude plus représentative de l’usage des services de données, chacun des réseaux a été testé avec les mobiles 2G et 3G, en prenant en compte le volume de données et de communications 3G de l’opérateur selon les derniers chiffres trimestriels dont dispose l’ARCEP. Pour les tests de transfert de données une offre de service d’accès à internet, incluant matériel de raccordement au PC (clé 3G) est sélectionnée pour chaque opérateur sur le critère de la meilleure offre « grand public » du haut débit. Précisions statistiques et arrondis Enfin, il convient de rappeler que, comme dans tout sondage, les résultats de la présente enquête comportent une marge d’imprécision. La précision statistique indiquée en dessous de chaque résultat est l’intervalle qui contient le résultat selon une probabilité de 95%. Toute comparaison entre les différents indicateurs doit donc tenir compte de cet intervalle de confiance. Par ailleurs, pour être en cohérence avec cette imprécision statistique, les résultats de la présente enquête ont été arrondis au dixième près. Il convient de rappeler que :  la somme de deux résultats arrondis peut être différente de l’arrondi de leur somme ;  le produit de deux résultats arrondis peut être différent de l’arrondi de leur produit. 30/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles SOMMAIRE 1 CARACTERISTIQUES TECHNIQUES DE L’ENQUETE ............................................................................ 32 1.1 CONFIGURATION GENERALE ........................................................................................................................... .... 32 1.2 CALENDRIER ET PLANNING ............................................................................................................................. .... 32 1.3 REPARTITION GEOGRAPHIQUE DE MESURES.................................................................................................... .... 33 1.4 VOLUMETRIE DE MESURES ............................................................................................................................. .... 35 1.5 TERMINAUX ET ABONNEMENTS UTILISES........................................................................................................ .... 35 2 MISE EN ŒUVRE DES MESURES ................................................................................................................. 36 2.1 DISPOSITIONS GENERALES .............................................................................................................................. .... 36 2.2 MESURES SMS ............................................................................................................................................... .... 36 2.3 MESURES MMS .............................................................................................................................................. .... 37 2.4 NAVIGATION WAP ......................................................................................................................................... .... 38 2.5 TRANSFERT DE DONNEES EN MODE PAQUETS.................................................................................................. .... 40 2.6 ACCES WEB .................................................................................................................................................... .... 41 2.7 MAITRISE DES MESURES ................................................................................................................................. .... 43 3 INDICATEURS DE PUBLICATION DE L’ENQUETE ................................................................................. 45 3.1 DEFINITIONS DES INDICATEURS PUBLIES ........................................................................................................ .... 45 3.2 PRINCIPES GENERAUX DE LA PUBLICATION..................................................................................................... .... 47 4 RESULTATS DE L’ENQUETE D’EVALUATION DE LA QUALITE DES SERVICES DE DONNEES DES RESEAUX DE DEUXIEME ET DE TROISIEME GENERATIONS EN FRANCE METROPOLITAINE. .................................................................................................................................................... 50 4.1 LES SERVICES INTERPERSONNELS ET DE NAVIGATION .................................................................................... .... 50 4.2 TRANSFERT DE DONNEES EN MODE PAQUETS..................................................................................................... .... 53 5 ANNEXE : MESURES EXPERIMENTALES SUR SMARTPHONES ......................................................... 60 5.1 CONFIGURATION GENERALE ........................................................................................................................... .... 60 5.2 VOLUMETRIE .................................................................................................................................................. .... 61 5.3 TERMINAUX UTILISES ..................................................................................................................................... .... 61 5.4 OUTIL ET PROTOCOLES ................................................................................................................................... .... 61 5.5 RESULTATS DES MESURES REALISEES SUR SMARTPHONE SUR LE TOP 12 ....................................................... .... 63 31/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles 1. CARACTERISTIQUES TECHNIQUES DE L’ENQUETE 1.1. Configuration générale L’enquête porte sur l’évaluation de la qualité des services de données suivants : - le service de messages courts SMS : envoi d’un message constitué d’un texte ; - le service de messagerie multimédia MMS : envoi d’un message constitué d’un texte et d’une photo ; - le service d’accès WAP : navigation sur un site d’information, exclusivement gratuit, de l’opérateur ; - le transfert de données en mode paquets et l’accès web sur PC : envoi d’un fichier de 1 Mo, téléchargement d’un fichier de 5 Mo et navigation web sur plusieurs sites « grand public ». Le transfert de données et l’accès web sont réalisés avec une clé data 3G+ et les mesures de service SMS, MMS et WAP sont réalisées avec des terminaux mobiles 2G et 3G, dont la répartition entre les terminaux est la suivante : Proportion des mesures avec le terminal 3G Type de mesure Orange France SFR Bouygues Telecom SMS 40% 30% 15% MMS, WAP 90% 90% 85% Cette répartition entre les mesures en 2G et 3G est définie sur la base :  pour les SMS : du volume de communications vocales en 2G et en 3G de l’opérateur selon les derniers chiffres trimestriels dont dispose l’ARCEP ;  pour les MMS et WAP : du volume de données en 2G et en 3G de l’opérateur selon les derniers chiffres trimestriels dont dispose l’ARCEP. 1.2. Calendrier et planning L’enquête s’est déroulée du 24 mars au 13 juillet 2011. Pendant le déroulement de l’enquête, les opérateurs, Orange France, SFR et Bouygues Telecom, ne connaissaient, mis à part les 12 agglomérations de plus de 400 000 habitants (TOP 12), ni les jours, ni les lieux où s’effectuaient les mesures, ni les numéros de cartes SIM des abonnements utilisés dans le cadre de l’enquête. Les mesures ont été réalisées entre 9h et 21h en semaine, du lundi au vendredi et sont répartis de manière homogène entre les 4 créneaux horaires : 9h-12h ; 12h-15h ; 15h-18h et 18h-21h. En pratique, pour respecter les quotas horaires, a été appliquée la répartition de mesures présentée dans le tableau ci-dessous : Tranches horaires Proportion de mesures 9h – 12h 25% 12h – 15h 25% 15h – 18h 25% 18h – 21h 25% 32/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles 1.3. Répartition géographique de mesures 652 lieux de mesures ont été audités sur les 20 agglomérations de 50 000 à 400 000 habitants (strate 50-400) tirées au sort ainsi que sur l’ensemble des agglomérations de plus de 400 000 habitants (TOP12) : Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice-Cannes-Antibes, Toulouse, Bordeaux, Nantes, Toulon, Douai-Lens, Strasbourg et Grenoble. La répartition des lieux par agglomération est illustrée sur la carte ci-dessous. Au sein de chaque agglomération on distingue les “zones très denses” et “autres zones denses” selon les critères suivants :  Zones très denses (ZTD) : centre-ville de la ou des communes principales, zones de transit (gares, aéroports), centres d’activités (commerciaux, affaires), axes urbains à très fort trafic et autoroutes dans les limites de l’agglomération ; 33/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles  Autres zones denses (AZD) : continuum bâti autour des zones très denses, autres centres villes de plus de 5 000 habitants, autres axes urbains au sein de l’agglomération. Les lieux de mesures sont choisis aléatoirement et répartis de manière homogène au sein de chaque agglomération auditée. La répartition des lieux entre les zones ZTD et AZD au sein de chaque agglomération est de 2/3 – 1/3. Cette répartition des lieux de mesures entre les ZTD et les AZD au sein de chaque agglomération se traduit par le nombre de mesures suivantes : Agglomérations ZTD AZD Total PARIS 77 39 116 MARSEILLE 21 11 32 LYON 23 11 34 LILLE 20 10 30 NICE 17 8 25 TOP 12 TOULOUSE 15 8 23 BORDEAUX 17 8 25 NANTES 13 6 19 TOULON 14 7 21 DOUAI-LENS 14 7 21 STRASBOURG 13 6 19 GRENOBLE 13 6 19 Total 257 127 384 SAINT-ETIENNE 12 6 18 NANCY 12 6 18 ANGERS 11 6 17 Agglomérations de 50 000 à 400 000 habitants REIMS 11 6 17 NIMES 11 5 16 AMIENS 11 5 16 ANGOULEME 10 5 15 CHAMBERY 10 5 15 BOURGES 9 5 14 FORBACH 9 5 14 QUIMPER 9 4 13 TARBES 9 4 13 MEAUX 8 4 12 SAINT-QUENTIN 8 4 12 LAVAL 7 4 11 ARCACHON 7 3 10 ARMENTIERES 7 3 10 BERGERAC 7 3 10 ROMANS-SUR-ISERE 6 3 9 SALON-DE-PROVENCE 5 3 8 Total 179 89 268 Nombre total des lieux audités 436 216 652 34/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles 1.4. Volumétrie de mesures Sur chaque lieu, ont été réalisés en moyenne 1 SMS, 1 MMS, 2 WAP, 2 envois d’un fichier de 1 Mo (uplink), 2 téléchargements d’un fichier de 5 Mo (downlink) et 2 accès web sur PC. Ce qui conduit à une volumétrie de 6 480 mesures réalisées en moyenne par opérateur : Mobiles 2G/3G Clés data 3G+ Echantillon Uplink Downlink SMS MMS WAP Web 1Mo 5Mo TOP12 384 384 768 759 759 748 50-400 268 268 536 527 529 529 TOTAL 652 652 1304 1286 1288 1277 Au total, sur 652 lieux audités, l’étude a produit et exploité 19 454 mesures soit : 1956 SMS, 1956 MMS, 3912 navigations WAP, 7799 téléchargements de fichiers et 3831 accès web. 1.5. Terminaux et abonnements utilisés L’étude a été réalisée avec les terminaux et les abonnements spécifiques en offre grand public suivants : Opérateur Mobiles 2G Mobiles 3G Abonnements Orange Samsung C3050 Nokia 6700 Slide Origami star 1h SFR Nokia 2720 Fold Nokia E71-1 Illymitics 5 connect Bouygues Telecom Nokia 2220 Slide Nokia 6700 Slide NEO 4 smartph Les terminaux ont été choisis sur la base des meilleures ventes des packs de chaque opérateur et après vérification que les téléphones sélectionnés ont des performances comparables et qu’ils n’introduisent pas eux-mêmes de biais dans la mesure. Pour les tests de transfert de données et la navigation web, une offre de service d’accès à internet, incluant matériel de raccordement au PC (clé data 3G+) est sélectionné pour chaque opérateur. Les abonnements ont été choisis par les opérateurs sur le critère de la meilleure offre « grand public » du haut débit. Les clés et les abonnements suivants ont été sélectionnés : Offre accès Internet Opérateur Clé data 3G+ Abonnements Orange Huawei E367V2 F.IEW 2H ajustable 6 et 12 h SFR Vodafone K4505 Huawei Internet pro Bouygues Telecom Alcatel One Touch X220L Internet 3Go 24/24 35/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles 2. MISE EN ŒUVRE DES MESURES 2.1. Dispositions générales Les mesures ont été réalisées par deux équipes, constituées de trois techniciens de mesures spécialisés dans ce type de mesures. Ces techniciens ont été formés au protocole de l’ARCEP 2011 et sensibilisés aux contraintes de confidentialité absolue de l'étude. Toutes les mesures sont réalisées à bord d’un véhicule en stationnement. Sur chaque lieu, le technicien relève les données de positionnement géographique (adresse et GPS), puis réalise les tests prévus sur ce lieu. Un planning préétabli et automatisé indique précisément les terminaux à utiliser (2G ou 3G) et les mesures à réaliser sur le lieu. En pratique, les tests sont effectués en même temps sur les 3 réseaux par 3 techniciens. Le tableau ci-dessous schématise une séquence de tests pour chaque opérateur : Séquence de mesures sur un lieu SMS MMS WAP_1 WAP_2 DL 5Mo_1 / UL 1Mo_1 / WEB_1 DL 5Mo_2 / UL 1Mo_2 / WEB_2 2.2. Mesures SMS Une mesure consiste à tenter d’envoyer un message SMS, à mesurer son délai de réception et vérifier son intégrité, sur chacun des réseaux testés. Le message SMS envoyé est identique pour tous les opérateurs et ce durant tout l’audit. Il est constitué de 26 caractères remplis par les lettres majuscules de l’alphabet (« ABCD … XYZ ») et d’un identifiant numérique unique. Les messages SMS sont envoyés depuis le terminal de chaque opérateur vers un autre terminal du même opérateur, du même modèle, allumé en état de veille et paramétré en réception automatique. Les mobiles d’émission et de réception sont situés dans la même zone géographique et restent statiques. La durée entre l’émission et la réception du message est mesurée, et est vérifié que le contenu du message est sans erreur lors de sa réception. Au-delà d’une durée de 2 minutes, le message est considéré comme non reçu. Tout message non envoyé par refus du réseau est compté comme non reçu. Après chaque mesure SMS, les messages sont supprimés des mobiles à l’exception du modèle du message. La synoptique de la mesure SMS est illustrée ci-dessous. 36/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles EMISSION RECEPTION ATTENTE Préparation du SMS : 26 lettres Temps inter- majuscules de Envoi du SMS Réception du Consultation mesure l’alphabet + numéro SMS du SMS de la mesure Clic sur « Message Notification de la « Envoyer » envoyé » réception  Délai d’émission Délai de réception du SMS du SMS Délai de réception Hors délai : 2 minutes 2.3. Mesures MMS Une mesure consiste à tenter d’envoyer un message MMS et à mesurer son délai de réception et son intégrité, sur chacun des réseaux testés. Le message MMS envoyé est identique pour tous les opérateurs et ce durant tout l’audit Il est constitué de 26 caractères remplis par les lettres majuscules de l’alphabet (« ABCD … XYZ »), d’un identifiant unique et d’une pièce jointe de 50Ko au format JPEG (photo) ci- dessous : Les messages MMS sont envoyés depuis le terminal de chaque opérateur vers un autre terminal du même opérateur, allumé en état de veille et paramétré en réception automatique (configuration d’origine). Les deux terminaux sont situés sur la même localisation et restent statiques. La durée entre l’émission et la réception du message est mesurée et on vérifie que le contenu du message est sans erreur lors de sa réception. Au-delà d’une durée de 5 minutes, le message est considéré comme non reçu. Tout message non envoyé par refus du réseau est compté comme non reçu. 37/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles Après chaque mesure MMS, les messages sont supprimés des mobiles à l’exception du modèle du message. La synoptique de la mesure MMS est illustrée ci-dessous. EMISSION RECEPTION ATTENTE Message : 26 Réception de lettres majuscules Téléchargement Temps inter- Envoi du la Consultation + numéro de la du message mesure MMS notification du message mesure + photo du message JPG de 50ko Clic sur « Message Notification du « Message « Envoyer » envoyé » message et reçu » début du téléchargement Délai de Délai de Délai d’émission notification téléchargement Délai de réception Hors délai : 5 minutes 2.4. Navigation WAP Une mesure consiste à accéder au portail WAP de l’opérateur, puis à naviguer successivement, pendant 5 minutes, sur des sites d’information, parmi les dix les plus fréquentés (exclusivement gratuits) de chaque réseau, en restant environ 20 secondes sur chaque page. En comptant le temps de chargement, on consulte donc d’environ 10-12 pages par site testé. Si une page est en cours de chargement au bout des 5 minutes de navigation, on attend qu’elle finisse de se charger pour qualifier la session. Ainsi, chaque test WAP est composé des étapes suivantes : 38/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles AVANT TEST CONNEXION NAVIGATION SUR LES PAGES WEB DECONNEXION Accès à Vérification Déconnexion du l’accueil Navigation sur intégrité de la Temps de Temps inter- réseau depuis 1 WAP : le site : page : visualisation : mesure : 1 minute minimum Page 1 Page 2 contenu, mise 20 secondes minute en page Navigation durant 5 minutes Connexion Connecté Demande Page WAP page affichée Délai Délai de de connexion chargement WAP page Hors délai : Hors délai : 30 secondes 30 secondes Les 10 sites testés sont les suivants : SFR Orange Bouygues Telecom Annuaire Actu People Chat&CO Humour EuroSport Logos TV Météo Sport Sport Télépoche People Jeux Boursier Info Bourse Info Skyrock Météo L'Equipe Musique Chat Cinéma Allociné Itinéraires Restos&Bars Ciné/BD Foot Horoscope Métro France Pour chaque réseau, ont été constitués 10 scénarios différents, chacun comprenant au moins la page d’accueil WAP et un des 10 sites testés : Lieu 1 Lieu 2 Lieu 3 Lieu 4 Lieu 5 WAP 1 Accueil, site 1 Accueil, site 3 Accueil, site 5 Accueil, site 7 Accueil, site 9 WAP 2 Accueil, site 2 Accueil, site 4 Accueil, site 6 Accueil, site 8 Accueil, site 10 39/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles Lors de navigation WAP, 2 types d’échec sont possibles : Echecs bloquants Echecs non bloquants Time Out ou Echec d'accès Accès portail WAP au portail de l'opérateur Blocage, Time Out de téléchargement, retour arrière impossible retour arrière possible Mauvais routage, Echec service, Navigation sur les sites retour arrière impossible retour arrière possible Echec service, Non intégrité de la page, retour arrière impossible retour arrière possible Coupure En cas d’échec bloquant, la navigation s’arrête, est considérée comme « échec » et on passe à la mesure suivante. En cas d’échec non bloquant sur une page, la navigation se poursuit sur une page suivante. 2.5. Transfert de données en mode paquets 2.5.1. Protocole de mesure Une mesure consiste, sur chacun des réseaux testés, à : - Se connecter, via un modem (clef) de l’opérateur, à un serveur relié à l’internet, et mesurer le délai d’établissement de la liaison ou noter l’échec éventuel ; - Télécharger ou envoyer, selon le protocole FTP, un fichier et mesurer le délai de transfert ou noter l’échec éventuel (en distinguant les échecs de connexion au serveur FTP, de coupure en cours de communication, et les abandons hors délai) ; - Vérifier que les fichiers sont intégralement téléchargés. Les fichiers utilisés pour les transferts de données sont identiques pour les 3 opérateurs :  un fichier de 5 Mo pour le téléchargement en sens descendant (download) ;  un fichier de 1 Mo pour l’envoi en sens montant (upload). Pour chaque téléchargement, une connexion/déconnexion réseau est effectuée. Le time out de connexion est de 1 minute. Les time out de téléchargement après connexion sont respectivement de 2 minutes en upload et de 5 minutes en download. Au-delà de ces temps, les téléchargements sont abandonnés et considérés comme échoués. La synoptique de transfert de données est présentée ci-dessous : 40/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles AVANT TEST CONNEXION TRANSFERT DECONNEXION Déconnexion du réseau Connexion Télécharge Vérificatio Déconnexion Déconnexion Connexion depuis au serveur ment ou n du fichier du serveur du réseau au réseau minimum 1 FTP émission du reçu FTP minute fichier Demande de PC connecté Demande de Fichier connexion indication téléchargement reçu au réseau du débit ou d’envoi du dans la fichier barre de tâche Délai de Délai de Connexion Téléchargement Hors délai : 1 Hors délai : minute 300s pour download 120s pour upload 2.5.2. Serveur FTP Le serveur Ikoula a été sélectionné à la suite de tests probatoires sur deux serveurs de deux fournisseurs différents (Ikoula et OVH). Fournisseur OS IP Bande Passante Ikoula Debian 5.0.8 213.246.38.46 100 Mbps garanti 2.5.3. Plateforme de mesures Les mesures FTP ont été réalisées à l’aide d’un outil d’acquisition automatique de mesures de services de données (MQC). Une plateforme de test comprend un PC HP Probook 4520s (OS windows XP pour Bouygues Telecom et SFR, OS Windows 7 pour Orange), la clé data testée pour chaque opérateur avec l’abonnement recommandé, ainsi qu’un dispositif de géolocalisation. Aucune application en dehors de celles nécessaires aux mesures n’est utilisée sur ces machines. 2.6. Accès web Une mesure consiste à accéder à internet, puis à réaliser une succession de connexions sur différentes pages pendant une durée de 5 minutes, en restant 20 secondes sur chaque page téléchargée. Le principe de construction et d’exécution des scénarios est le même que pour les mesures WAP : 41/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles AVANT TEST CONNEXION NAVIGATION SUR LES PAGES WEB DECONNEXION Vérification Déconnexion du intégrité de la Temps inter- Temps inter- Connexion Accès à une réseau depuis 1 page : page : 20 mesure : 1 au réseau page Internet minute minimum contenu, mise secondes minute en page Navigation durant 5 minutes Connexion Connecté Demande Page RAS page web affichée Délai Délai de de connexion au chargement réseau page Hors délai : Hors délai : 1 minute 50 secondes Les pages retenues pour ce test, identiques pour les 3 opérateurs, correspondent aux 13 sites internet les plus fréquentés nationalement par les internautes (hors sites opérateurs ou constructeurs) : Pages WEB http://www.google.fr http://www.facebook.fr http://www.youtube.fr http://www.wikipedia.fr http://www.pagesjaunes.fr http://www.yahoo.fr http://www.amazon.fr http://www.leboncoin.fr http://www.ebay.fr http://www.commentcamarche.net http://www.fnac.com http://www.blogspot.com http://www.francetelevisions.fr La navigation est considérée comme réussie si aucune erreur parmi celles listées ci-dessous ne s’est produite pendant la navigation de 5 minutes :  non affichage de la page au bout de 50 secondes ;  blocage de la navigation ou rupture de la connexion ;  messages d’erreur affichés par le terminal. Si une page est en cours de chargement au bout des 5 minutes de navigation, on attend qu’elle finisse de se charger pour qualifier la session. 42/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles 2.7. Maitrise des mesures 2.7.1. Equipes et déroulement de l’enquête Un chef de projet assure la formation des équipes au protocole ARCEP, l’organisation des itinéraires, le respect des modes opératoires et le bon déroulement de l’enquête. Le travail de chaque équipe est guidé et sécurisé par une application informatique qui indique les tests à effectuer et le mobile à utiliser (2G ou 3G). Les enquêteurs effectuent la saisie des résultats des mesures et des repères topographiques de chaque lieu de test. Les positions des mesures sont repérées par un système de localisation GPS, ce qui permet de vérifier le respect des consignes concernant les lieux, de repérer les mesures, et d’aider au diagnostic en cas de problème. Au cours de l’enquête, l’apparition d’éventuels problèmes de fonctionnement affectant anormalement la qualité sur un ou plusieurs réseaux est surveillée en permanence. S’ils proviennent du réseau d’un opérateur et sont non-récurrents, ils sont considérés comme des inconvénients subis par les clients, et les mesures sont prises en compte. S’ils sont récurrents (panne totale d’un réseau dans une zone par exemple), ils sont immédiatement signalés à l’ARCEP, qui définit la conduite à tenir. Le matériel utilisé pour les tests (mobiles, clés et PC) fait l’objet d’une attention particulière des enquêteurs pour éviter que des défaillances puissent influencer les résultats des mesures. 2.7.2. Gestion des quotas Pour la construction de l’échantillon de l’enquête, un certain nombre de quotas, établis sur la base de valeurs de référence ou de moyennes représentatives du marché actuel des mobiles en France, ont été définis. Ces quotas ont fait l’objet d’un suivi rigoureux portant sur le respect de la répartition horaire des mesures, la répartition des mesures entre les terminaux 2G et 3G pour chaque service et le nombre des lieux audités. De plus, au sein de chaque agglomération, la méthodologie appliquée consiste à respecter les quotas de répartitions de mesures entre les « ZTD » - zones très denses et les « AZD » - autres zones denses. Le tableau ci-dessous définit les quotas et montre leur respect lors de l’enquête : Définition des quotas Cible Réalisé Orange France 40% 40.3% SMS SFR 30% 30.1% Bouygues Telecom 15% 14.7% Orange France 90% 89.6% Mesures avec le terminal 3G MMS SFR 90% 90.3% Bouygues Telecom 85% 84.8% Orange France 90% 90.2% WAP SFR 90% 90.0% Bouygues Telecom 85% 85.0% 43/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles 9h – 12h 25% 25.1% 12h – 15h 25% 25.0% Tranches horaires 15h – 18h 25% 25.0% 18h – 21h 25% 24.9% TOP 12 33.3% 33.1% Proportion des lieux en AZD 50 – 400 33.3% 33.2% Sur l’ensemble des agglomérations 33.3% 33.1% Nombre des lieux audités Sur l’ensemble des agglomérations 650 652 44/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles 3. INDICATEURS DE PUBLICATION DE L’ENQUETE 3.1. Définitions des indicateurs publiés 3.1.1. Service de messagerie courts (SMS) Une mesure consiste à tenter d’émettre un message, puis à mesurer le délai de réception et à vérifier son contenu, sur chacun des réseaux testés. Une mesure sur trois réseaux porte ainsi sur trois messages, qu’ils aient abouti ou non. Indicateurs SMS Définition Taux de messages reçus Un message est considéré comme reçu si le message émis n’est pas refusé par le réseau, s’il est reçu dans un délai de 2 minutes, et si son contenu est correct. Le complément à 100% est donc constitué du taux de messages refusés par le réseau ou reçus après 2 minutes, ou dont le contenu est incorrect. Taux de messages reçus dans Un message est considéré reçu dans un délai inférieur à 30 un délai inférieur à 30 secondes si le message est reçu au sens du premier indicateur et si secondes le délai de réception du message reçu ne dépasse pas 30 secondes. Les deux indicateurs sont calculés sur la base du nombre total de tentatives d’envoi de message. 3.1.2. Service de messages multimédia (MMS) Une mesure consiste à tenter d’émettre un message avec une pièce jointe de 50 ko, puis à mesurer le délai de réception et à vérifier son contenu, sur chacun des réseaux testés. Une mesure sur trois réseaux porte ainsi sur trois messages, qu’ils aient abouti ou non. Indicateurs MMS Définition Taux de messages reçus Un message est considéré comme reçu si le message envoyé n’est pas refusé par le réseau, s’il est reçu dans un délai de 5 minutes, et si son contenu est correct. Le complément à 100% est donc constitué du taux de messages refusés par le réseau ou reçus après 5 minutes ou dont le contenu est incorrect. Taux de messages reçus dans Un message est considéré comme reçu dans un délai de 3 minutes un délai inférieur à 3 minutes si le message est reçu au sens du premier indicateur et si le délai de réception du message reçu ne dépasse pas 3 minutes. Les deux indicateurs sont calculés sur la base du nombre total de tentatives d’envoi de message. 45/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles 3.1.3. Service de navigation WAP Une mesure consiste à accéder au portail de l’opérateur, puis à réaliser une succession de connexions sur des sites « Internet Mobile » à partir du portail de l’opérateur pendant une durée de 5 minutes. Indicateurs WAP Définition Taux de réussite de l’accès au L’accès au portail de l’opérateur est considéré comme réussi portail de l’opérateur lorsque la page d’accueil de l’opérateur est chargée intégralement dans un délai inférieur à 30 secondes, sans coupure de la connexion, et dès la première tentative. Ce taux est calculé sur la base du nombre total de mesures. Taux de navigations réussies La navigation est considérée comme réussie si elle est maintenue et maintenues pendant une et active pendant une durée de 5 minutes sans coupure de durée de 5 minutes connexion au réseau de données. Ce taux est calculé sur la base du nombre total de mesures dont l’accès au portail a réussi. 3.1.4. Service de transmission de données en mode FTP Une mesure consiste à établir une connexion au serveur relié à internet par des liens correctement dimensionnés et à tenter de télécharger ou à envoyer des fichiers en utilisant le protocole de transfert de données FTP. Indicateurs FTP Définition Une connexion est réussie si elle est établie dans un délai Taux de connexions réussies inférieur à 1 minute. Le taux est calculé sur la base de l’ensemble des mesures réalisées. Le taux de connexions réussies dans un délai inférieur à 10 Taux de connexions réussies dans secondes est calculé sur la base de l’ensemble des mesures un délai inférieur à 10 secondes réalisées. Un fichier est considéré comme reçu s’il est reçu intégralement, sans coupure de la connexion, dans un délai de Taux de fichiers de 1 Mo envoyés* 2 minutes et si son contenu est correct. Le taux est calculé sur la base du nombre total de fichiers envoyés. Débit de données atteint pour 90% Cet indicateur correspond au percentile de 90% des fichiers des fichiers de 1 Mo envoyés * reçus au sens de l’indicateur 3 Débit de données atteint pour 50% Cet indicateur correspond au percentile de 50% des fichiers des fichiers de 1 Mo envoyés * reçus au sens de l’indicateur 3 Débit de données atteint pour 10% Cet indicateur correspond au percentile de 10% des fichiers des fichiers de 1 Mo envoyés * reçus au sens de l’indicateur 3 Un fichier est considéré comme reçu si le fichier est reçu intégralement dans un délai de 5 minutes et si son contenu est Taux de fichiers de 5 Mo reçus* correct. Le taux est calculé sur la base du nombre total de fichiers téléchargés. Débit de données atteint pour 90% Cet indicateur correspond au percentile de 90% des fichiers des fichiers de 5 Mo reçus* reçus au sens de l’indicateur 3 Débit de données atteint pour 50% Cet indicateur correspond au percentile de 50% des fichiers 46/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles des fichiers de 5 Mo reçus* reçus au sens de l’indicateur 3 Débit de données atteint pour 10% Cet indicateur correspond au percentile de 10% des fichiers des fichiers de 5 Mo reçus* reçus au sens de l’indicateur 3 * les indicateurs correspondants sont publiés sur un mode individuel. 3.1.5. Service d’accès WEB sur PC Une mesure consiste à accéder à internet, puis à réaliser une succession de connexions sur différentes pages pendant une durée de 5 minutes. Les pages retenues pour ce test correspondent aux 13 sites internet les plus fréquentés nationalement par les internautes. Indicateurs WEB Définition Taux de réussite de l’accès à L’accès à un site internet est considéré comme réussi lorsque la un site internet page d’accueil du site est chargée intégralement dans un délai inférieur à 50 secondes dès la première tentative. Ce taux est calculé sur la base du nombre total de mesures. Taux de navigations réussies La navigation est considérée comme réussie si elle est maintenue et maintenues pendant une et active pendant une durée de 5 minutes sans coupure de durée de 5 minutes connexion au réseau de données. Ce taux est calculé sur la base du nombre total de mesures dont l’accès au portail a réussi. 3.2. Principes généraux de la publication 3.2.1. Présentation des tableaux A l’exception des indicateurs relatifs au téléchargement de fichiers en mode FTP, les résultats de l’enquête sont publiés sur la base, d’une part, d’une valeur de référence choisie comme étant la moyenne agrégée pour les trois opérateurs et de sa précision statistique4, et, d’autre part, de la qualification de la performance individuelle de chaque opérateur autour de cette valeur selon les cinq niveaux : très inférieur, inférieur, voisin, supérieur, très supérieur à la valeur de référence. De plus, une comparaison avec les résultats de l’enquête précédente tenant compte de la précision statistique de ces mesures est présente, lorsqu’elle est pertinente, sous forme d’un signe () ou () accolé au résultat indiquant le cas échéant une amélioration ou une dégradation par rapport à l’année précédente, et ce pour la valeur moyenne comme pour les performances individuelles des opérateurs. 4   La précision statistique ( p ) définit autour de la valeur mesurée ( x ) un intervalle de confiance x  p; x  p , tel qu’il contienne la valeur théorique (X) avec une probabilité de 95 %. Elle est calculée en utilisant l’approximation normale de la distribution binomiale, par la formule p  1,96 x  (1  x ) n (où n est le nombre de mesures réalisées pour l’indicateur considéré). 47/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles 3.2.2. Choix de la valeur de référence Chaque opérateur est qualifié en fonction de la valeur de l’écart entre son résultat (t i) et la valeur de référence (v), qui est la moyenne des résultats des trois opérateurs sur l’indicateur considéré. 3 v  t   ti / 3 i 1 3.2.3. Choix des seuils On réalise le test d’inégalité suivant : t i  v  s mi n i, où smin,i est défini pour chaque opérateur de telle façon que l’intervalle [ t i -smin,i ,100 %] contienne la valeur (Ti) du résultat théorique de l’opérateur avec une probabilité de 95 %. smin,i est calculé par la formule suivante (n étant le nombre de mesures réalisées pour l’indicateur considéré): t (1  t i ) s min,i  1,645  i n Pour chaque opérateur, les seuils S1 et S2 sont définis de la façon suivante :  S1 = Max (1 % ; smin,i)  S2 = 4% 3.2.4. Qualification de l’opérateur en fonction de la valeur de l’écart par rapport aux seuils La qualification de la performance de l’opérateur se fait en fonction de la valeur de l’écart (e) du taux ( t i ) ou du délai ( d i ) mesuré par rapport à la valeur de référence ( v ) : Seuil Performance Définition e <= -S2 –– Très inférieur à la valeur de référence - S2 < e <= - S1 – Inférieur à la valeur de référence - S1 < e <= S1 = Voisin de la valeur de référence S1 < e <= S2 + Supérieur à la valeur de référence e >= S2 ++ Très supérieur à la valeur de référence 3.2.5. Comparaison des résultats avec ceux de la précédente enquête Pour chaque opérateur et pour chaque indicateur, si une comparaison avec l’enquête précédente est possible (c’est-à-dire quand le périmètre et la méthode de mesure sont identiques), l’évolution par rapport à l’enquête précédente est indiquée par un signe accolé au nom de l’opérateur ou de la moyenne mesurée. Ce signe est déterminé en fonction de l’écart entre la valeur (t2) de l'indicateur de cette année par rapport à l'année précédente (t1), selon un seuil ∆ qui prend en compte la précision statistique des résultats :    Max 1%;1.645 p(1  p)(1 / n1  1 / n2 )  n t  n2 t 2 p 11 n1  n2 48/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles où p est le résultat moyen de mesures réalisées durant cette enquête et l’enquête précédente, et n1 et n2 les nombres de mesures de chacune des deux années. • signe () = amélioration supérieure à ∆ ; • pas de signe = indétermination (écart inférieur à ∆) ; • signe () = dégradation supérieure à ∆. 49/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles 4. RESULTATS DE L’ENQUETE D’EVALUATION DE LA QUALITE DES SERVICES DE DONNEES DES RESEAUX DE DEUXIEME ET DE TROISIEME GENERATIONS EN FRANCE METROPOLITAINE. 4.1. Les services interpersonnels et de navigation 4.1.1. Ensemble des agglomérations de plus de 50 000 habitants ENSEMBLE DES AGGLOMERATIONS DE PLUS DE 50 000 HABITANTS Moyenne Orange Bouygues SMS SFR mesurée France Telecom 1 956 mes Taux de messages reçus 99.7% = = = Précision statistique ± 0.2% Taux de messages reçus en moins de 30 secondes 99.2% = = = Précision statistique ± 0.4%  Moyenne Orange Bouygues MMS SFR mesurée France Telecom 1 956 mes Taux de messages reçus 97.1% - + =  Précision statistique ± 0.7%   Taux de messages reçus en moins de 3 minutes 96.8% - + =  Précision statistique ± 0.8%   Moyenne Orange Bouygues WAP SFR mesurée France Telecom 3 912 mes Taux de réussite de connexion au portail 95.0% + = -  Précision statistique ± 0.7%  Taux de navigation réussie et maintenue pendant une 99.8% = = = durée de 5 minutes  Précision statistique ± 0.1%    50/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles Moyenne Orange Bouygues WEB SFR mesurée France Telecom 3 820 mes Accès à un site internet dans un délai inférieur à 50s 97.5% + = = Précision statistique ± 0.5% Taux de navigation réussie et maintenue pendant une durée de 5 minutes 95.9% = = - Précision statistique ± 0.6% Comparaison avec l’étude précédente effectuée pour tous les indicateurs, sauf les indicateurs liés à l’accès web 51/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles 4.1.2. Agglomérations du TOP 12 AGGLOMERATIONS DU TOP12 Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice-Cannes-Antibes, Toulouse, Bordeaux, Nantes, Toulon, Douai-Lens, Strasbourg et Grenoble Moyenne Orange Bouygues SMS SFR mesurée France Telecom 1 152 mes Taux de messages reçus 99.9% = = = Précision statistique ± 0.2% Taux de messages reçus en moins de 30 secondes 99.4% = = = Précision statistique ± 0.4% Moyenne Orange Bouygues MMS SFR mesurée France Telecom 1 152 mes Taux de messages reçus 96.9% - + =  Précision statistique ± 1.0%  Taux de messages reçus en moins de 3 minutes 96.5% - + =  Précision statistique ± 1.1%   Moyenne Orange Bouygues WAP SFR mesurée France Telecom 2 304 mes Taux de réussite de connexion au portail 95.0% + = - Précision statistique ± 0.9%  Taux de navigation réussie et maintenue pendant une 99.7% = = = durée de 5 minutes  Précision statistique ± 0.2%    Moyenne Orange Bouygues WEB SFR mesurée France Telecom 2 235 mes Accès à un site internet dans un délai inférieur à 50s 97.5% = = = Précision statistique ± 0.6% Taux de navigation réussie et maintenue pendant une durée de 5 minutes 96.0% = = = Précision statistique ± 0.8% Comparaison avec l’étude précédente effectuée pour tous les indicateurs, sauf les indicateurs liés à l’accès web 52/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles 4.2. Transfert de données en mode paquets 4.2.1. Ensemble des agglomérations de plus de 50 000 habitants ENSEMBLE DES AGGLOMERATIONS DE PLUS DE 50 000 HABITANTS Moyenne Orange Bouygues Connexion au réseau SFR mesurée France Telecom 7 623 mes Taux de connexions réussies au réseau 99.0% = = = Précision statistique ± 0.2%  98.4% Taux de connexions réussies en moins de 10 secondes  = = = Précision statistique ± 0.3%   L’offre grand public testée pour Orange France est F.IEW 2H ajustable 6-12 h L’offre grand public testée pour SFR est Internet pro L’offre grand public testée pour Bouygues Télécom est Internet 3Go 24/24 Orange Bouygues Téléchargement de fichiers de 5Mo SFR France Telecom Taux de fichiers reçus de 5 Mo 96.5% 95.3% 87.3%  Précision statistique ± 1.0% ± 1.2% ± 1.8% Débit moyen de transfert atteint par 90% des fichiers reçus 2230 kbit/s 927 kbit/s 385 kbit/s Débit moyen de transfert atteint par 50% des fichiers reçus 4812 kbit/s 2606 kbit/s 1237 kbit/s Débit moyen de transfert atteint par 10% des fichiers reçus 7006 kbit/s 4710 kbit/s 2364 kbit/s Comparaison avec l’étude précédente effectuée pour tous les indicateurs 53/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles 4.2.2. Agglomérations du TOP 12 AGGLOMERATIONS DU TOP 12 Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice-Cannes-Antibes, Toulouse, Bordeaux, Nantes, Toulon, Douai-Lens, Strasbourg et Grenoble Moyenne Orange Bouygues Connexion au réseau SFR mesurée France Telecom 4 425 mes Taux de connexions réussies au réseau 99.1% = = = Précision statistique ± 0.3%  98.6% Taux de connexions réussies en moins de 10 secondes  = = = Précision statistique ± 0.4%   Orange Bouygues Envoi de fichiers de 1Mo SFR France Telecom Taux de fichiers envoyés de 1 Mo 97.3% 95.2% 89.0%   Précision statistique ± 1.2% ± 1.5% ± 2.2% Débit moyen de transfert atteint par 90% des fichiers envoyés 864 kbit/s 287 kbit/s 265 kbit/s Débit moyen de transfert atteint par 50% des fichiers envoyés 1970 kbit/s 1447 kbit/s 848 kbit/s Débit moyen de transfert atteint par 10% des fichiers envoyés 2592 kbit/s 2456 kbit/s 1046 kbit/s Orange Bouygues Téléchargement de fichiers de 5Mo SFR France Telecom Taux de fichiers reçus de 5 Mo 97.5% 95.1% 88.1%  Précision statistique ± 1.2% ± 1.5% ± 2.3% Débit moyen de transfert atteint par 90% des fichiers reçus 2583 kbit/s 974 kbit/s 348 kbit/s Débit moyen de transfert atteint par 50% des fichiers reçus 4812 kbit/s 2816 kbit/s 1164 kbit/s Débit moyen de transfert atteint par 10% des fichiers reçus 7006 kbit/s 5211 kbit/s 2367 kbit/s L’offre grand public testée pour Orange France F.IEW 2H ajustable 6-12 h L’offre grand public testée pour SFR est Internet pro L’offre grand public testée pour Bouygues Télécom est Internet 3Go 24/24 Comparaison avec l’étude précédente effectuée pour tous les indicateurs 54/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles COURBES DE REPARTITION DES ECHANTILLONS ENSEMBLE DES AGGLOMERATIONS DE PLUS DE 50 000 HABITANTS Aide à la lecture du graphique : - 226 mesures dont la connexion réseau a réussi ont dépassé 2 Mbit/s pour Bouygues Telecom - 852 mesures dont la connexion réseau a réussi ont dépassé 2 Mbit/s pour SFR - 1077 mesures dont la connexion réseau a réussi ont dépassé 2 Mbits/s pour Orange France 55/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles Aide à la lecture du graphique : Il y a eu 50 mesures pour SFR dont les débits ont été enregistrés entre 1 Mbit/s et 1,2 Mbit/s. ENSEMBLE DES AGGLOMERATIONS DE PLUS DE 50 000 HABITANTS Echantillon atteignant un débit minimum en Upload 1400 1200 Orange France SFR Cumul des échantillons 1000 Bouygues Telecom 800 600 400 200 0 0 500 1000 1500 2000 2500 3000 Débit (kbps) 56/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles Répartition des débits Upload 250 Orange France 200 SFR Nombre de mesures Bouygues Telecom 150 100 50 0 0 500 1000 1500 2000 2500 3000 Débit (kbps) 57/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles AGGLOMERATIONS DU TOP 12 Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice-Cannes-Antibes, Toulouse, Bordeaux, Nantes, Toulon, Douai-Lens, Strasbourg et Grenoble 58/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles AGGLOMERATIONS DU TOP 12 Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice-Cannes-Antibes, Toulouse, Bordeaux, Nantes, Toulon, Douai-Lens, Strasbourg et Grenoble Echantillon atteignant un débit minimum en Upload 800 700 Orange France SFR Cumul des échantillons 600 Bouygues Telecom 500 400 300 200 100 0 0 500 1000 1500 2000 2500 3000 Débit (kbps) Répartition des débits Upload 200 Orange France SFR 150 Nombre de mesures Bouygues Telecom 100 50 0 0 500 1000 1500 2000 2500 3000 Débit (kbps) 59/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles 5. ANNEXE : MESURES EXPERIMENTALES SUR SMARTPHONES En complément des mesures décrites précédemment, des mesures de débit et de navigation web ont également été réalisées, à titre expérimental, depuis des smartphones, afin de tester des protocoles de mesure adaptés à ces terminaux. Les protocoles de mesures ayant pu être pleinement mis en œuvre, des résultats issus de ces mesures expérimentales sont reproduits dans ce rapport à titre indicatif. En raison de la faible volumétrie des mesures, la précision statistique est inférieure à celle des autres mesures et seules des valeurs agrégées entre opérateurs sont présentées. 5.1. Configuration générale Des mesures expérimentales de débit et de navigation web sur smartphones ont été réalisées sur l’ensemble des agglomérations de plus de 400 000 habitants (TOP 12) : Paris, Marseille- Aix-en-Provence, Lyon, Lille, Nice-Cannes-Antibes, Toulouse, Bordeaux, Nantes, Toulon, Douai-Lens, Strasbourg et Grenoble, sur les mêmes lieux que les mesures de qualité pour les services de données qui figurent dans le rapport. La répartition des lieux par agglomération est illustrée sur la carte ci-dessous: 60/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles Au total, 261 lieux ont été audités : Agglomérations Total PARIS 77 MARSEILLE 21 LYON 23 LILLE 20 NICE 19 TOP 12 TOULOUSE 16 BORDEAUX 16 NANTES 12 TOULON 15 DOUAI-LENS 14 STRASBOURG 14 GRENOBLE 14 Nombre total des lieux audités 261 5.2. Volumétrie Sur chaque lieu, ont été réalisés un téléchargement d’un fichier de 5 Mo (downlink), un envoi d’un fichier de 1 Mo (uplink) et deux navigations web. Ce qui conduit à une volumétrie de 1044 mesures réalisées par opérateur : Echantillon Downlik 5 Mo Uplink 1 Mo Navigation web TOP12 261 261 522 5.3. Terminaux utilisés L’étude a été réalisée avec 2 types de smartphones : un terminal équipé du système d’exploitation Android (53% de mesures) et un iPhone (47% des mesures). Les smartphones et les abonnements suivants, en offre grand public, ont été utilisés: Opérateur Android iPhone Abonnements Orange France Samsung Galaxy SI9000 iPhone 4 Origami star 1h SFR HTC Desire HD iPhone 4 Illymithics 5 webphone Bouygues Telecom Samsung Galaxy SI9000 iPhone 4 NEO 4 smartph 5.4. Outil et protocoles Les mesures de débit et de navigation web sur smartphones ont été réalisées à l’aide d’un outil d’acquisition automatique de mesures MobiSpeed installé sur chaque smartphone. 5.4.1. Transfert de données en mode paquets Le protocole de mesures de débit est identique à celui des mesures FTP sur PC avec les clés 3G+ (voir partie 2.5). Une mesure consiste à établir une connexion avec un serveur et à télécharger ou à envoyer des fichiers en utilisant le protocole de transfert de données avec le protocole http. Les fichiers utilisés pour les transferts de données sont identiques pour les 3 opérateurs :  un fichier de 5 Mo pour le téléchargement en sens descendant (download) 61/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles  un fichier de 1 Mo pour l’envoi en sens montant (upload) Les time out de téléchargement de fichiers sont respectivement de 2 minutes en upload et de 5 minutes en download. Au-delà, les téléchargements sont abandonnés et considérés comme ayant échoué. 5.4.2. Navigation WEB Le protocole de navigation web est identique à celui des mesures web sur PC avec les clés 3G+ (voir partie 2.6). Une mesure consiste à accéder à internet, puis à réaliser une succession de téléchargements de différentes pages pendant une durée de 5 minutes avec 20 secondes sur chaque page téléchargée. Les pages retenues pour ce test, identiques pour les 3 opérateurs, correspondent aux 12 sites internet les plus fréquentés par les internautes mobiles nationalement (hors sites opérateurs ou constructeurs) : Pages web http://touch.facebook.fr http://www.google.fr http://m.youtube.fr http://www.wikipedia.fr http://twitter.com http://smartphone.pagesjaunes.fr http://android ou iphone.mappy.com/ http://fr.m.yahoo.com http://iphone.dailymotion.com http://mobile.allocine.fr http://www.leboncoin.fr http://m.linternaute.com La navigation est considérée comme ayant réussi si aucune erreur parmi celles listées ci- dessous ne s’est produite pendant la navigation de 5 minutes :  non affichage de deux pages successivement, après un time out de 50 secondes pour chacune ;  blocage de la navigation ou rupture de la connexion ;  messages d’erreur remontés par le terminal. Au terme de la session de 5 minutes de navigation, si une page est encore en cours de téléchargement, on attend qu’elle finisse de se charger pour qualifier la session. 62/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles 5.5. Résultats des mesures expérimentales réalisées sur smartphone sur le TOP 12 Les mesures présentées ci-dessous sont des valeurs agrégées entre opérateurs. 5.5.1. Transfert de données en mode paquets AGGLOMERATIONS DU TOP 12 Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice-Cannes-Antibes, Toulouse, Bordeaux, Nantes, Toulon, Douai-Lens, Strasbourg et Grenoble L’offre grand public testée pour Orange France est origami star 1h L’offre grand public testée pour SFR est illymitics 5 web phone L’offre grand public testée pour Bouygues Télécom est NEO 4 smartph 63/64
ARCEP- résultats pour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles 5.5.2. Navigation web AGGLOMERATIONS DU TOP12 Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice-Cannes-Antibes, Toulouse, Bordeaux, Nantes, Toulon, Douai-Lens, Strasbourg et Grenoble 64/64

Contenu connexe

PDF
Qualite service-reseaux-internet
parFrançois Avril
 
PDF
Neutralité du net - ARCEP - Septembre 2012
parFrançois Avril
 
PDF
Qualité de service des réseaux mobiles ARCEP Juin 2014
parFrançois Avril
 
PDF
Qualité de services des FAI - ARCEP - Novembre 2014
parFrançois Avril
 
PDF
2013 12-01 observatoire-2_g-3g-4g_1er_decembre_2013
parFrançois Avril
 
PDF
Étude des tarifs des services de télécommunications au Luxembourg - 2018 (ILR)
parPaperjam_redaction
 
PDF
Guide comment investir le monde croissance plus
parMinistère de l'Économie et des Finances
 
PDF
RSLN #2 - Bienvenue à l'école du futur !
parRSLN mag
 
Qualite service-reseaux-internet
parFrançois Avril
 
Neutralité du net - ARCEP - Septembre 2012
parFrançois Avril
 
Qualité de service des réseaux mobiles ARCEP Juin 2014
parFrançois Avril
 
Qualité de services des FAI - ARCEP - Novembre 2014
parFrançois Avril
 
2013 12-01 observatoire-2_g-3g-4g_1er_decembre_2013
parFrançois Avril
 
Étude des tarifs des services de télécommunications au Luxembourg - 2018 (ILR)
parPaperjam_redaction
 
Guide comment investir le monde croissance plus
parMinistère de l'Économie et des Finances
 
RSLN #2 - Bienvenue à l'école du futur !
parRSLN mag
 

En vedette

PDF
Mise en application réforme des retraites rapport information3629
parMinistère de l'Économie et des Finances
 
PDF
Rapport activite ministere budget 2010
parMinistère de l'Économie et des Finances
 
PDF
Cícrulo cultural andaluz la plata 78 aniversario
parcosasdeandalucia
 
PDF
répertoire des adresses de saisine des médiateurs
parMinistère de l'Économie et des Finances
 
PDF
Hosteltur 210 - Nuevo Gobierno ¿nuevo turismo?
parHosteltur
 
PPT
Programa De Experto Elearning
parguestd9dc36
 
PDF
Chiffre commerce exterieur 052011
parMinistère de l'Économie et des Finances
 
PDF
ASPECTS DE LA CRISE_economie et statistique 438-440-juin2011_insee
parMinistère de l'Économie et des Finances
 
PDF
Transformer / Connaître / Activer / Conquérir sur Facebook
parWNP 909
 
PDF
Tendencias Digitales en Perú - Noviembre 2011
parNeo Consulting
 
PDF
Bulletin officiel des impots 19 07-2011
parMinistère de l'Économie et des Finances
 
PPT
Menú de la Calidad
parJuan Carlos Fernandez
 
PDF
Inflacion 2011
parMauricio Quiroz Terán
 
PDF
A todos los_andaluces_1936
parcosasdeandalucia
 
PDF
Un voyage au paris littéraire
parBiblioteca IES La Orden
 
PDF
Hosteltur 209. Adults Only, el producto de moda que ya es tendencia
parHosteltur
 
PDF
RSLN #5 - La santé du futur
parRSLN mag
 
PPTX
Mythologie et les signes du zodiaque
parviolina1103
 
PPTX
Starters Day Bruxelles - Salon Entreprendre (mars 2015) | Securex
parSecurex
 
PPS
Présentation Université de Montréal
par'Youssef 'Shoufan
 
Mise en application réforme des retraites rapport information3629
parMinistère de l'Économie et des Finances
 
Rapport activite ministere budget 2010
parMinistère de l'Économie et des Finances
 
Cícrulo cultural andaluz la plata 78 aniversario
parcosasdeandalucia
 
répertoire des adresses de saisine des médiateurs
parMinistère de l'Économie et des Finances
 
Hosteltur 210 - Nuevo Gobierno ¿nuevo turismo?
parHosteltur
 
Programa De Experto Elearning
parguestd9dc36
 
Chiffre commerce exterieur 052011
parMinistère de l'Économie et des Finances
 
ASPECTS DE LA CRISE_economie et statistique 438-440-juin2011_insee
parMinistère de l'Économie et des Finances
 
Transformer / Connaître / Activer / Conquérir sur Facebook
parWNP 909
 
Tendencias Digitales en Perú - Noviembre 2011
parNeo Consulting
 
Bulletin officiel des impots 19 07-2011
parMinistère de l'Économie et des Finances
 
Menú de la Calidad
parJuan Carlos Fernandez
 
Inflacion 2011
parMauricio Quiroz Terán
 
A todos los_andaluces_1936
parcosasdeandalucia
 
Un voyage au paris littéraire
parBiblioteca IES La Orden
 
Hosteltur 209. Adults Only, el producto de moda que ya es tendencia
parHosteltur
 
RSLN #5 - La santé du futur
parRSLN mag
 
Mythologie et les signes du zodiaque
parviolina1103
 
Starters Day Bruxelles - Salon Entreprendre (mars 2015) | Securex
parSecurex
 
Présentation Université de Montréal
par'Youssef 'Shoufan
 

Plus de Ministère de l'Économie et des Finances

PDF
Au-delà du PIB, un tableau de bord pour la France - France Stratégie
parMinistère de l'Économie et des Finances
 
PDF
Public intangible assets : Issues of attractiveness
parMinistère de l'Économie et des Finances
 
PDF
Le gouvernement soutient les communes rurales
parMinistère de l'Économie et des Finances
 
PDF
focus sur les mesures prises par le gouvernement pour les ruralités
parMinistère de l'Économie et des Finances
 
PDF
Le Gouvernement (re)valorise les fonctionnaires
parMinistère de l'Économie et des Finances
 
PPT
Présentation de Jérôme Accardo, INSEE, sur les inégalités, la pauvreté et la ...
parMinistère de l'Économie et des Finances
 
PDF
Présentation de Michael Forster, OCDE, sur la pauvreté, les inégalités et la ...
parMinistère de l'Économie et des Finances
 
PDF
Elections departementales : Que fait le département ?
parMinistère de l'Économie et des Finances
 
PDF
Désintox redevance mouillage
parMinistère de l'Économie et des Finances
 
PDF
Projet de loi NOTRe
parMinistère de l'Économie et des Finances
 
PDF
Projet de-loi-nouvelle-organisation-territoriale-république
parMinistère de l'Économie et des Finances
 
PDF
Un train de réformes
parMinistère de l'Économie et des Finances
 
PDF
La réforme territoriale en 4 C
parMinistère de l'Économie et des Finances
 
PDF
Le projet de loi #NOTRe, c'est...
parMinistère de l'Économie et des Finances
 
PDF
Infographie le "fait maison" dans la restauration
parMinistère de l'Économie et des Finances
 
PPT
Mesurer la qualité de vie (Insee)
parMinistère de l'Économie et des Finances
 
PPT
L'ESS en Rhône-Alpes (INSEE)
parMinistère de l'Économie et des Finances
 
PDF
Livre blanc BercyCamp 2013 sur les RSP
parMinistère de l'Économie et des Finances
 
PDF
Calendrier campagne ir 2012
parMinistère de l'Économie et des Finances
 
PDF
Dossier dinformation dgfip
parMinistère de l'Économie et des Finances
 
Au-delà du PIB, un tableau de bord pour la France - France Stratégie
parMinistère de l'Économie et des Finances
 
Public intangible assets : Issues of attractiveness
parMinistère de l'Économie et des Finances
 
Le gouvernement soutient les communes rurales
parMinistère de l'Économie et des Finances
 
focus sur les mesures prises par le gouvernement pour les ruralités
parMinistère de l'Économie et des Finances
 
Le Gouvernement (re)valorise les fonctionnaires
parMinistère de l'Économie et des Finances
 
Présentation de Jérôme Accardo, INSEE, sur les inégalités, la pauvreté et la ...
parMinistère de l'Économie et des Finances
 
Présentation de Michael Forster, OCDE, sur la pauvreté, les inégalités et la ...
parMinistère de l'Économie et des Finances
 
Elections departementales : Que fait le département ?
parMinistère de l'Économie et des Finances
 
Désintox redevance mouillage
parMinistère de l'Économie et des Finances
 
Projet de loi NOTRe
parMinistère de l'Économie et des Finances
 
Projet de-loi-nouvelle-organisation-territoriale-république
parMinistère de l'Économie et des Finances
 
Un train de réformes
parMinistère de l'Économie et des Finances
 
La réforme territoriale en 4 C
parMinistère de l'Économie et des Finances
 
Le projet de loi #NOTRe, c'est...
parMinistère de l'Économie et des Finances
 
Infographie le "fait maison" dans la restauration
parMinistère de l'Économie et des Finances
 
Mesurer la qualité de vie (Insee)
parMinistère de l'Économie et des Finances
 
L'ESS en Rhône-Alpes (INSEE)
parMinistère de l'Économie et des Finances
 
Livre blanc BercyCamp 2013 sur les RSP
parMinistère de l'Économie et des Finances
 
Calendrier campagne ir 2012
parMinistère de l'Économie et des Finances
 
Dossier dinformation dgfip
parMinistère de l'Économie et des Finances
 

Dernier

PDF
SCÉNARIOS FUTURS PLAUSIBLES POUR LE CONFLIT ACTUEL ENTRE LES ÉTATS-UNIS ET LE...
parFaga1939
 
PDF
LEGENDS OF LEGENDS - ABRAHAM LINCOLN YC2023
parYSR Chaouti
 
PDF
Baromètre Reloop : les Français et la consigne des emballages - Edition 2025
parIpsos bva
 
PDF
Les Franciliens et les transports en commun
parIpsos bva
 
PDF
Ipsos bva CESI pour RTL - Baropol 27 novembre 2025
parIpsos bva
 
PDF
STRATEGIES MILITAIRES, ECONOMIQUES ET DIPLOMATIQUES DU VENEZUELA POUR SE DEFE...
parFaga1939
 
SCÉNARIOS FUTURS PLAUSIBLES POUR LE CONFLIT ACTUEL ENTRE LES ÉTATS-UNIS ET LE...
parFaga1939
 
LEGENDS OF LEGENDS - ABRAHAM LINCOLN YC2023
parYSR Chaouti
 
Baromètre Reloop : les Français et la consigne des emballages - Edition 2025
parIpsos bva
 
Les Franciliens et les transports en commun
parIpsos bva
 
Ipsos bva CESI pour RTL - Baropol 27 novembre 2025
parIpsos bva
 
STRATEGIES MILITAIRES, ECONOMIQUES ET DIPLOMATIQUES DU VENEZUELA POUR SE DEFE...
parFaga1939
 

Rapport qualite-service-mobile-2011

  • 1.
    Novembre 2011 La qualitédes services de voix et de données des réseaux mobiles (2G et 3G) en France métropolitaine Les résultats de l’enquête pour l’année 2011
  • 2.
    ARCEP – Résultatspour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles (2G et 3G) en France métropolitaine La qualité des services de voix et de données des réseaux mobiles en France métropolitaine Sommaire Synthèse page 3 Qualité du service de voix des réseaux mobiles (2G et 3G) page 9 Qualité des services de données des réseaux mobiles (2G et 3G) page 29 2/64
  • 3.
    ARCEP – Résultatspour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles (2G et 3G) en France métropolitaine Synthèse L’enquête de qualité de service menée annuellement par l’ARCEP a pour objectif d’une part, d’apprécier, sur une base comparative, la qualité de service des réseaux mobiles offerte aux abonnés par les opérateurs mobiles et, d’autre part, de vérifier que les obligations réglementaires en matière de qualité de service sont bien respectées1. La qualité de service est testée sur les réseaux de deuxième et de troisième générations des opérateurs Orange France, SFR et Bouygues Telecom. Les autorisations des opérateurs mobiles prévoient qu’une enquête d’évaluation de la qualité de service est menée chaque année et que les opérateurs contribuent financièrement à sa réalisation. L’ARCEP rédige, à cette fin, en concertation avec les opérateurs, un cahier des charges détaillant la méthodologie à suivre pour la réalisation de l’enquête et la publication de ses résultats. Depuis 2007, cette enquête se divise en une enquête d’évaluation de la qualité du service de voix et une enquête d’évaluation de la qualité des services de données. En 2011, l’enquête relative au service de voix a été conduite par la société AFD et celle relative aux services de données a été conduite par la société Directique. Elles se sont déroulées du 1er mars au 13 juillet 2011 pour l’enquête de qualité de service voix, et du 24 mars au 13 juillet 2011 pour l’enquête de qualité des services de données. Les deux enquêtes menées en 2011 ont évolué sur un certain nombre de points par rapport à la précédente enquête. Les principales évolutions ont portées sur les enquêtes des services de données. Cette année, les mesures de visiophonie ont été supprimées, ce service étant peu utilisé. En revanche, des mesures de navigation web sur PC avec clé 3G ont été introduites, selon un protocole similaire au protocole des mesures WAP sur mobiles. En outre, des mesures de débit et de navigation web sur smartphones ont été ajoutées sur l’ensemble des agglomérations de plus de 400 000 habitants (« TOP 12 »). Ces mesures, réalisées à titre expérimental, visaient à valider le protocole de mesures sur ce type de terminaux. Les autres évolutions ont porté sur des sujets communs aux services de voix et données. Ainsi, une nouvelle répartition des mesures entre les zones très denses (ZTD) et autres zones denses (AZD) a été introduite. Les mesures ont été réalisées pour 2/3 en ZTD et 1/3 en AZD, alors que la répartition lors de l’enquête précédente était de 50% en ZTD et 50% en AZD. 1 L’enquête menée par l’ARCEP vise, au travers de mesures techniques réalisées sur le terrain, à refléter de manière statistique la qualité des services sur les réseaux des opérateurs. Elle ne vise pas à recueillir, par exemple au travers d’un sondage, la perception que pourraient avoir les abonnés de la qualité de bout en bout de ces services, qui peut dépendre de leur usage du réseau, du terminal et des applications utilisées. 3/64
  • 4.
    ARCEP – Résultatspour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles (2G et 3G) en France métropolitaine 1. Enquête relative à la qualité du service de voix 1.1 Méthodologie 1.1.1 Définition d’une mesure Une mesure consiste à tenter d’établir une communication téléphonique, puis à évaluer la qualité auditive de la communication, sur chacun des réseaux des opérateurs testés, en utilisant aussi bien les réseaux 2G que les réseaux 3G. Deux aspects sont mesurés lors de l’enquête :  la capacité de démarrer une communication et de la maintenir 2 ou 5 minutes ;  la qualité audio de la communication. 1.1.2 Zones géographiques et usages Les mesures sont effectuées dans les agglomérations et sur les axes de circulation suivants :  dans les 12 agglomérations les plus peuplées (TOP 12)2 à l’intérieur et à l’extérieur des bâtiments et en situation de passager à bord d’un véhicule en mouvement ;  dans 20 agglomérations entre 50 000 et 400 000 habitants à l’intérieur et à l’extérieur des bâtiments et en situation de passager à bord d’un véhicule en mouvement ;  dans 20 agglomérations entre 10 000 et 50 000 habitants à l’intérieur et à l’extérieur des bâtiments et en situation de passager à bord d’un véhicule en mouvement ;  dans les principales lignes TGV (en mouvement) ;  sur les autoroutes à fort trafic en situation de passager à bord d’un véhicule en mouvement ;  dans les trains de banlieue et tramways (en mouvement). 1.1.3 Terminaux utilisés Pour chaque opérateur, les mesures sont réalisées avec un terminal de deuxième génération et un terminal de troisième génération, sélectionnés parmi les trois terminaux les plus vendus de chaque opérateur au cours des 6 mois précédant le démarrage de l’enquête. 1.2 Les enseignements de l’enquête de voix L’enquête 2011 confirme le bon niveau global de la qualité du service de téléphonie vocale observée depuis plusieurs années. Ce service a été testé dans 52 agglomérations de plus de 10 000 habitants, à l’intérieur et à l’extérieur des bâtiments, ainsi que dans un véhicule en mouvement. Il ressort des tests que le 2 Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice-Antibes-Cannes, Toulouse, Bordeaux, Nantes, Toulon, Douai-Lens, Strasbourg et Grenoble 4/64
  • 5.
    ARCEP – Résultatspour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles (2G et 3G) en France métropolitaine taux de communications réussies et maintenues 2 minutes et 5 minutes reste très élevé, de respectivement 97,3% et 96,2%, dans la continuité des années précédentes. Les communications réussies et maintenues sont presque toujours de qualité auditive parfaite. La qualité du service de téléphonie a également été mesurée, en mouvement, sur les principales lignes TGV, dans les trains de banlieue des 4 plus grandes villes et sur les autoroutes à fort trafic. Dans le TGV, le taux de communications réussies et maintenues pendant 2 minutes est en baisse de 3% par rapport à l’enquête précédente. Les résultats font par ailleurs état d’écarts significatifs entre opérateurs. Sur les autoroutes, le taux de communications réussies et maintenues est en baisse d’environ 2% par rapport à l’enquête précédente, mais le taux de communications de qualité parfaite est en augmentation de 2%. Enfin, dans les trains de banlieues et les tramways, les taux de communications de qualité correcte et parfaite sont en hausse respectivement de 2% et 4% par rapport à la précédente enquête. 2. Enquête relative à la qualité des services de données 2.1 Méthodologie 2.1.1 Services audités L’enquête d’évaluation de la qualité de service permet de vérifier, à la fois pour les réseaux 2G et 3G :  la qualité du service de messages courts (SMS) ;  la qualité du service de transmission de photo par MMS ;  la qualité du service d’accès WAP ;  la qualité du service de transfert de fichiers ;  la qualité de navigation web sur PC. 5/64
  • 6.
    ARCEP – Résultatspour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles (2G et 3G) en France métropolitaine 2.1.2 Répartition géographique Les mesures sont effectuées dans les agglomérations suivantes :  dans les 12 agglomérations les plus peuplées3, en situation statique, à l’extérieur des bâtiments ;  dans 20 agglomérations entre 50 000 et 400 000 habitants, en situation statique, à l’extérieur des bâtiments. 2.1.3 Terminaux utilisés et offres testées SMS, MMS, WAP Pour chaque opérateur, les mesures sont réalisées avec un terminal de deuxième génération et un terminal de troisième génération sélectionnés parmi les trois terminaux les plus vendus de chaque opérateur au cours des 6 mois précédant le démarrage de l’enquête. La répartition entre les deux types de terminaux est réglée pour chaque opérateur de manière à être représentative de la clientèle de l’opérateur. Téléchargement de fichiers et navigation web Les mesures sont réalisées sur un ordinateur portable avec une clé 3G. L’offre testée correspond, pour chaque opérateur, à l’offre 3G+ grand public la plus performante disponible au lancement de l’enquête. 2.2 Les enseignements de l’enquête sur les services de données 2.2.1 Le service de transfert de fichiers en mode FTP Sur chaque point de mesure, la mesure est faite sur le meilleur réseau disponible (EDGE, UMTS, HSPA) de chaque opérateur. Les résultats présentent des éléments d’appréciation des performances des réseaux des opérateurs au moment de l’enquête achevée mi-juillet 2011. Ils ne préjugent pas des évolutions relatives aux déploiements par les opérateurs des différentes technologies employées et celles relatives à la charge des réseaux des opérateurs. Il est important de préciser que le transit des fichiers transférés se fait en partie via internet : ce transit peut parfois engendrer des difficultés d’accès au serveur et un allongement du délai de réception des messages, indépendamment de la qualité de transmission propre au réseau mobile. 3 Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice-Antibes-Cannes, Toulouse, Bordeaux, Nantes, Toulon, Douai-Lens, Strasbourg et Grenoble 6/64
  • 7.
    ARCEP – Résultatspour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles (2G et 3G) en France métropolitaine Ces tests ont montré que les débits observés pour le téléchargement de fichiers sur les réseaux 3G atteignaient plus de 9,2 Mbit/s pour les plus rapides, et que l’envoi de fichiers a fait apparaître des débits supérieurs à 3 Mbit/s pour les plus rapides. Le débit moyen atteint pour le téléchargement est de 3 Mbit/s, de 40% supérieur au débit moyen atteint lors de l’enquête précédente. Pour l’envoi de fichier, le débit moyen atteint 1,3 Mbit/s, débit légèrement supérieur à celui atteint dans l’enquête précédente (1,2 Mbit/s). Par ailleurs, on constate une plus forte disparité de débits observés entre opérateurs, que ce soit pour le téléchargement ou l’envoi de fichiers. Ainsi, les débits médians sont de 4,8 Mbit/s pour Orange France, 2,8 Mbit/s pour SFR et 1,2 Mbit/s pour Bouygues Telecom. 2.2.2 Les autres services de données Les résultats des tests effectués pour le service de message court (SMS) confirment, avec un taux de réussite supérieur à 99%, le très bon niveau de qualité global de ce service observé depuis plusieurs années. Le service d’envoi de photo par messagerie multimédia (MMS), ainsi que le service de navigation WAP, présentent globalement cette année une amélioration des résultats. Ainsi, le taux de messages reçus en moins de 3 minutes augmente de 2,4% dans les agglomérations de plus de 50 000 habitants. Les résultats du service de navigation WAP connaissent une augmentation de 7% du taux de navigation réussie et maintenue pendant 5 minutes dans les agglomérations de plus de 50 000 habitants par rapport à l’enquête précédente, et de 6% dans les 12 agglomérations les plus peuplées ; ce taux est cette année proche de 100%. Pour la première année, le service d’accès au web à partir de clés 3G a été mesuré. Les deux indicateurs testés sont le taux de réussite d’accès au web dans un délai inférieur à 50 secondes, qui atteint en moyenne 97,5 %, et le taux de navigation réussie et maintenue pendant une durée de 5 minutes, de 96% environ. 2.3 Les mesures expérimentales sur smartphones Des mesures expérimentales sur smartphones ont également été introduites pour la première fois cette année dans les 12 plus grandes agglomérations métropolitaines. En nombre réduit, ces mesures ont permis de vérifier que les protocoles de mesures qui avaient été définis pour le transfert de fichiers et la navigation web sur ce type de terminaux peuvent pleinement être mis en œuvre, mais ne permettent pas, à l’instar des autres indicateurs, de publication individuelle par opérateur. Elles apportent néanmoins plusieurs enseignements. Le taux d’accessibilité au réseau est identique au taux de connexion au réseau atteint par les 3 opérateurs sur des mesures à partir de clés 3G sur PC. Le débit moyen atteint pour le téléchargement est de 2,4 Mbit/s, ce qui est un peu inférieur au débit moyen atteint avec la clé 3G dans les 12 plus grandes agglomérations. Pour l’envoi de fichier, le débit moyen atteint 1,4 Mbit/s, débit légèrement supérieur au débit atteint dans les 12 plus grandes agglomérations. 7/64
  • 8.
    ARCEP – Résultatspour l’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles (2G et 3G) en France métropolitaine Les différences observées avec les clés 3G sur les débits en téléchargement pourraient notamment être liées aux performances maximales des smartphones, inférieures à celles des clés 3G et ne semblent pas résulter des réseaux des opérateurs. 3. Format de restitution des résultats Les résultats complets sont disponibles à la fin de chaque rapport, après une description détaillée des protocoles de mesures. La signalétique utilisée dans les tableaux de résultats est la suivante :  la qualification du résultat individuel de chaque opérateur autour de la moyenne agrégée des trois opérateurs est symbolisée par les signes suivants : Symbole Signification –– Très inférieur à la valeur de référence – Inférieur à la valeur de référence = Voisin de la valeur de référence + Supérieur à la valeur de référence ++ Très supérieur à la valeur de référence  les flèches apparaissant dans les tableaux indiquent le sens de l’évolution des résultats par rapport à l’enquête précédente, lorsque la comparaison est possible et que l’évolution est significative. 8/64
  • 9.
    La qualité desservices de voix des réseaux mobiles (2G et 3G) en France métropolitaine Les résultats de l’enquête pour l’année 2011
  • 10.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles AVERTISSEMENT Remarques générales L’objet de cette enquête, menée sur une base annuelle, est d’apprécier la qualité de service des réseaux de téléphonie mobile de deuxième (2G) et de troisième générations (3G) en France. L’ARCEP définit en concertation avec les opérateurs concernés par l’étude, à savoir Orange France, SFR et Bouygues Telecom, un cahier des charges détaillant la méthodologie à suivre pour la réalisation de l’enquête et la publication de ses résultats. Limites de l’exercice L'évaluation porte sur la qualité du service de voix des réseaux mobiles perçue par les clients dans les conditions d’utilisation quotidienne. Cette évaluation a été menée sur une durée totale de 4 mois. Afin, notamment, de rendre l’étude plus représentative de l’usage du service vocal de téléphonie mobile, chacun des réseaux a été testé avec les mobiles 2G et 3G correspondant aux meilleures ventes récentes de packs de chaque opérateur. Précision statistique et arrondis Comme dans tout sondage, les résultats de la présente enquête comportent une marge d’imprécision. La précision statistique indiquée en dessous de chaque résultat est l’intervalle contenant le résultat selon une probabilité de 95%. Toute comparaison entre les différents indicateurs doit donc tenir compte de cet intervalle de confiance. Par ailleurs, pour être en cohérence avec cette imprécision statistique, les résultats de la présente enquête ont été arrondis au dixième près. Il convient de rappeler que :  la somme de deux résultats arrondis peut être différente de l’arrondi de leur somme ;  le produit de deux résultats arrondis peut être différent de l’arrondi de leur produit. 10/64
  • 11.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles SOMMAIRE 1. CARACTERISTIQUES TECHNIQUES DE L’ENQUETE ............................................................................ 12 1.1 CONFIGURATION GENERALE ........................................................................................................................... .... 12 1.2 CONSTRUCTION DE L’ECHANTILLON ............................................................................................................... .... 13 1.3 CONDITIONS DE MESURE................................................................................................................................. .... 16 1.4 NOTATION DE LA QUALITE AUDITIVE .............................................................................................................. .... 19 1.5 EQUIPES ET DEROULEMENT DE L’ENQUETE ..................................................................................................... .... 20 2. INDICATEURS DE PUBLICATION DE L’ENQUETE ................................................................................. 23 2.1 DEFINITIONS DES INDICATEURS PUBLIES ........................................................................................................ .... 23 2.2 PRINCIPES GENERAUX DE LA PUBLICATION..................................................................................................... .... 23 3 RESULTATS DE L’ENQUETE D’EVALUATION DE LA QUALITE DU SERVICE DE VOIX DES RESEAUX DE DEUXIEME ET TROISIEME GENERATIONS EN FRANCE METROPOLITAINE ............... 25 3.1 USAGES EN AGGLOMERATION......................................................................................................................... .... 25 3.2 USAGES SUR LES AXES DE TRANSPORT ........................................................................................................... .... 27 11/64
  • 12.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles 1. CARACTERISTIQUES TECHNIQUES DE L’ENQUETE 1.1. Configuration générale 1.1.1. Définition de la mesure Les enquêteurs munis de téléphones mobiles et les enquêteurs munis de téléphones fixes s’appellent entre eux sur les différents réseaux de téléphonie mobile à tester. Ils vérifient l’obtention de l’appel (absence d’échec), le maintien de la communication pendant la durée de l’appel, qui peut être de 2 minutes ou 5 minutes (absence de coupure), et évaluent la qualité auditive de la communication. Une partie des mesures a été réalisée avec des mobiles 3G, dans une proportion cohérente avec le trafic voix sur les réseaux 3G de chaque opérateur : 20% pour Bouygues Telecom, 30% pour SFR et 40% pour Orange France. Les mesures 3G sont intercalées entre les mesures 2G afin d’être réparties uniformément sur les zones testées. Les appels ont été passés dans 1/3 des cas du fixe vers le mobile et pour le reste, du mobile vers le fixe. Plusieurs situations d’utilisation sont testées :  en voiture, en situation passager (sans antenne de toit) sur autoroutes et dans les agglomérations,  en piéton à l’extérieur,  en piéton à l’intérieur de bâtiments,  à bord des trains de banlieue et tramways,  à bord des TGV. Quelle que soit la situation, les mesures ont été effectuées simultanément sur les trois réseaux au même endroit géographique. Chaque réseau est testé par un binôme d’enquêteurs, l’un mobile et l’autre fixe. L’utilisation d’un kit oreillette est systématique. Les mesures en situation de piéton à l’intérieur (bureaux, habitations et lieux publics) ont été réalisées en 1er jour (pièce avec fenêtre). Elles sont réparties entre le rez-de-chaussée et les étages en excluant les sous-sols. 1.1.2. Calendrier, planning et horaires L’enquête 2011 s’est déroulée entre le 1er mars 2011 et le 13 juillet 2011. Durant l’enquête, les opérateurs Bouygues Telecom, Orange France et SFR ne connaissaient ni les dates ni les lieux où étaient effectuées les mesures. Ils ignoraient aussi la liste des villes tirées au sort parmi les agglomérations de moins de 400 000 habitants ainsi que les abonnements utilisés dans le cadre de l’enquête. Les mesures ont été réalisées du lundi au vendredi, jours fériés exclus, et réparties de façon homogène entre 9h et 21h. Toutefois, dans les agglomérations (hors trains de banlieue et tramways), les heures pleines (12h-13h et 18h-21h) ont été privilégiées à hauteur de 40%. Les mesures ont été réparties sur la durée de l’enquête pour chaque usage, dans les agglomérations, les axes et les lignes TGV. De plus, afin d’obtenir une répartition temporellement homogène de 12/64
  • 13.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles l’enquête, plusieurs passages ont été effectués dans chacune des agglomérations de plus de 400 000 habitants. 1.1.3. Terminaux utilisés Les terminaux ont été choisis parmi les meilleures ventes des packs de chaque opérateur. Une vérification fonctionnelle a permis de garantir que les téléphones sélectionnés possédaient des performances comparables et qu’ils n’induisaient pas eux-mêmes de biais dans la mesure. Les terminaux retenus sont les suivants : Opérateur GSM (2G) UMTS (3G) Bouygues Telecom Black Berry 8520 CURVE iPhone 4 Orange France Samsung C3050 Sony Ericsson J 20 Quick Silver SFR NOKIA 2720 FOLD NOKIA E71 1.2. Construction de l’échantillon 1.2.1. Sélection des agglomérations Les agglomérations de plus de 400 000 habitants sont au nombre de 12. Toutes ont été retenues et testées, en distinguant les “zones très denses” et les “autres zones denses” selon les critères suivants :  Zones très denses : centre-ville de la ou des communes principales, zones de transit (gares, aéroports), centres d’activités (commerciaux, affaires), axes urbains à très fort trafic et autoroutes dans les limites de l’agglomération ;  Autres zones denses : continuum bâti autour des zones très denses, autres centres villes de plus de 5 000 habitants, autres axes urbains au sein de l’agglomération. Les agglomérations de moins de 400 000 habitants sont séparées en deux groupes au sein desquels ont été sélectionnées, par tirage au sort, 20 agglomérations : un groupe avec les agglomérations de 50 000 à 400 000 habitants et un autre avec celles de 10 000 à 50 000 habitants. Cette méthode de sélection des agglomérations renforce volontairement la représentation des agglomérations de faible population. Pour chacun des deux groupes d’agglomérations, le tirage au sort a été effectué avec une probabilité fonction logarithmique de la population, qui a été rectifiée pour équilibrer les diverses régions du territoire. Pour chaque agglomération, deux zones ont été distinguées : la “ ville ” qui correspond à la commune principale et le reste de l’agglomération. 13/64
  • 14.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles Le tableau suivant regroupe les agglomérations sélectionnées classées par groupe : TOP 12 10 000 à 50 000 habitants 50 000 à 40 000 habitants (supérieur à 400 000 habitants) Ville dépt Ville dépt Ville dépt Lons le saunier 39 Orléans 45 Bordeaux 33 Coulommiers 77 Besançon 25 Douai-Lens 62 Lure 70 Chalon sur Saône 71 Grenoble 38 Gray 70 Saint Quentin 02 Lille 59 Cambrai 59 Valenciennes 59 Lyon 69 Remiremont 88 Metz 57 Marseille-Aix-en-Provence 13 Sarrebourg 67 Arras 62 Nantes 44 Gérardmer 88 Chalons en champagne 51 Nice-Cannes-Antibes 6 Saint-Malo 35 Rouen 76 Paris 75 Trouville 14 Rennes 35 Strasbourg 67 Yvetot 76 Elbeuf 76 Toulon 83 Pont Audemer 27 Laval 53 Toulouse 31 Albertville 73 Saint Etienne 42 L'Isle sur la Sorgue 84 Avignon 84 Le Grau du Roi 30 Fréjus 83 Saint Rémy de Provence 13 Thonon les Bains 74 Royan 17 Périgueux 24 Mazamet 81 Montauban 82 Langon 33 Limoges 87 Figeac 46 La Rochelle 17 La représentativité des agglomérations est récapitulée dans le tableau suivant : Total France Echantillon Agglomérations Population Nombre Population Nombre Représentativité (millions) sélectionné (millions) de plus de 400 000 12 19,18 12 19,18 100 % habitants de 50 000 à 400 000 104 12,74 20 2,45 19,23 % habitants de 10 000 à 50 000 361 7,11 20 0,39 5,54 % habitants 14/64
  • 15.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles 1.2.2. Carte des agglomérations et des axes testés Représentation cartographique et régionale de l’ensemble de l’enquête 15/64
  • 16.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles 1.2.3. Volumétrie et répartition par type de lieu et par type d’usage L’échantillon a été construit de manière à respecter les critères suivants :  distinguer les différentes catégories de situations (voiture, piéton intérieur, piéton extérieur, zones géographiques,…) ;  disposer d’un nombre suffisant de mesures dans chaque catégorie en vue d’obtenir une précision statistique satisfaisante ;  répartir les mesures, au sein de chaque catégorie, selon des conditions représentatives des utilisations les plus courantes. Le nombre de mesures réalisées pour l’ensemble des opérateurs est réparti de la manière suivante : Communications de 2 minutes Piéton En agglomérations Voiture Total En intérieur En extérieur de plus de 400 000 habitants 603 1923 1251 3777 de 50 000 à 400 000 habitants 408 1293 834 2535 de 10 000 à 50 000 habitants 231 738 480 1449 Communications de 5 minutes Piéton En agglomérations Voiture Total En intérieur En extérieur de plus de 400 000 habitants 624 1878 1257 3759 de 50 000 à 400 000 habitants 414 1272 825 2511 de 10 000 à 50 000 habitants 249 702 474 1425 Sur les axes de circulation : communications de 2 minutes Trains de TGV Autoroutes Total banlieue 4720 3189 2961 10870 Au total, l’étude a produit et exploité 26 326 appels téléphoniques. 1.3. Conditions de mesure 1.3.1. Conditions de mesure dans les agglomérations Après avoir ainsi déterminé la localisation et le nombre des mesures, un certain nombre de conditions supplémentaires ont été prises en compte :  Localisation des mesures D’une façon générale, l’extension de chaque agglomération testée correspond à la définition de l’INSEE de 2007 donnant la liste des communes appartenant à l’agglomération. 16/64
  • 17.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles Les agglomérations de plus de 400 000 habitants ont été subdivisées en “ zones très denses ” et “ autres zones denses ” comme expliqué précédemment. Dans les autres agglomérations, ont été distingués la “ ville ” (ZTD = Zone Très Dense), qui est la commune principale, et le reste de l’agglomération (AZD = Autre Zone Dense).  Mesures en voiture Dans les agglomérations de plus de 400 000 habitants, le territoire à tester a été divisé en zones de surfaces équivalentes, avec un certain nombre d’appels à effectuer. Les enquêteurs ajustent leurs parcours en fonction du terrain (circulation et sens interdits), l’objectif étant de couvrir équitablement la zone. Dans les autres agglomérations, les mesures ont été réparties pour 2/3 en ville (ZTD) et 1/3 dans le reste de l’agglomération (AZD). Elles ont été effectuées sur des parcours incluant les axes principaux et dans les zones bâties (centre-ville, aéroport, gare, lieux touristiques, zones d’activités).  Mesures piétons Dispositions communes aux mesures à l’extérieur ou à l’intérieur des bâtiments Dans chaque agglomération, les mesures ont été dispersées le plus possible sur le territoire à tester et il a été évité de réaliser des mesures aux mêmes endroits que celles effectuées en voiture. Dans les agglomérations de plus de 400 000 habitants, les mesures ont été réparties selon le même principe de division en zones de surfaces équivalentes que pour les mesures en voiture. Dans les autres agglomérations, les mesures ont été effectuées dans les zones bâties, avec une répartition 2/3 en ville et 1/3 dans le reste de l’agglomération. Mesures piétons en extérieur Les mesures ont été réalisées pour 2/3 en déplacement et 1/3 à l’arrêt. En chaque point mesuré, une seule mesure a été effectuée de façon à obtenir la meilleure dispersion géographique. Les emplacements ont été choisis parmi les zones fréquentées par les piétons (zones bâties, parcs et jardins, plages, ...). Mesures piétons en intérieur Tous les appels ont été passés en 1er jour (pièce avec fenêtre), sans se déplacer, aux rez-de-chaussée et dans les étages en excluant les sous-sols. Les mesures ont été réparties, selon le type de bâtiment :  dans les lieux publics de grande superficie : 2 mesures indoor premier jour ;  dans les lieux privés (bureaux ou habitations) : 2 mesures indoor premier jour. 17/64
  • 18.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles 1.3.2. Conditions de mesure dans les trains de banlieue et tramways Ces mesures concernent les agglomérations de Paris, Lyon, Lille et Marseille-Aix-en-Provence dotées de réseaux de trains de banlieue et de tramways. La répartition des mesures est basée sur les données de trafic et de fréquence des rames compilées à partir des sources www.ter-sncf.com; www.paris.fr/portail/deplacements; www.rtm.fr – année 2010). Proportion de mesures Agglomérations testées en réalisées par trains de banlieue agglomération Paris 64,28% Lyon 14,33% Lille 11,90% Marseille 9,49% Total 100,00% Les différentes positions des enquêteurs dans les rames ont été testées : fenêtre ou couloir, bas ou haut dans les rames, un côté de la voie à l’aller puis l’autre au retour. Les trois enquêteurs sont groupés afin d’évaluer les trois réseaux dans les mêmes conditions. 1.3.3. Conditions de mesure sur les autoroutes La répartition des mesures sur les axes autoroutiers à fort trafic est présentée ci-dessous. Celle-ci est basée sur les données fournies par le SETRA. Proportion de mesures Axes autoroutiers réalisées sur chaque axe A1 Paris - Lille 9,2% A4 Paris - Strasbourg 7,7% A6 Paris - Lyon 18,1% A7 Lyon - Marseille 12,4% A8 Marseille - Menton 4,8% A9 Orange - Perpignan 11,7% A10 Paris - Bordeaux 12,5% A11 Paris - Nantes 7,7% A13 Paris - Caen 7,3% A61 Toulouse - Narbonne 3,5% A62 Bordeaux - Toulouse 5,1% Total 100,0% Les tests sont réalisés en variant régulièrement les positions des enquêteurs dans le véhicule afin d’évaluer les trois réseaux dans les mêmes conditions. 18/64
  • 19.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles 1.3.4. Conditions de mesure dans les TGV La répartition des mesures sur les lignes de TGV testées est présentée ci-dessous. Celle-ci est basée sur les informations des horaires des trains sur le site http://www.voyages-sncf.com/ Proportion de mesures Lignes TGV réalisées sur chaque ligne Lille - Lyon 4,6% Paris - Bordeaux 8,8% Paris - Calais 10,8% Paris - Lille 13,3% Paris - Lyon 20,8% Paris - Marseille 9,1% Paris - Nantes 10,4% Paris - Rennes 10,3% Paris - Strasbourg 8,2% Avignon - Montpellier 3,7% Total 100,0% Les tests sont réalisés près des fenêtres et en haut dans les rames en duplex. Les trois enquêteurs sont les uns derrière les autres côté fenêtre en variant les positions pour évaluer les trois réseaux dans les mêmes conditions. 1.3.5. Récapitulatif des mesures réalisées par strate et par situation d’utilisations A l’intérieur A l’extérieur Total des Strate En voiture En train des bâtiments des bâtiments mesures 10-50 000 hab 480 1440 954 2874 50-400 000 hab 822 2565 1659 5046 AUTOROUTE 3189 3189 TDB 2961 2961 TGV 4720 4720 TOP12 1227 3801 2508 7536 Total 5718 7806 7681 5121 26326 1.4. Notation de la qualité auditive La qualité auditive est notée par les enquêteurs mobile et fixe, selon une échelle à 4 niveaux :  Parfaite : aucune perturbation, qualité équivalente à celle du réseau fixe commuté ;  Acceptable : légère gêne dans l’écoute par quelques perturbations qui ne troublent toutefois pas la conversation ; 19/64
  • 20.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles  Médiocre : fréquemment gêné dans l’écoute par de nombreuses perturbations, mais il est encore possible de se comprendre ;  Mauvais : il est très difficile de s’entendre, la conversation est impossible. Chaque enquêteur mobile et fixe, porte une appréciation sur les communications maintenues 2 ou 5 minutes. Les communications sont qualifiées indépendamment par l’appelant et par l’appelé. La note de l’appel découle de l’appréciation la plus sévère des deux notes. Des dispositions ont été prises pour garantir une appréciation objective de la qualité de la part des enquêteurs ainsi que pour éviter les divergences d’évaluation et leurs conséquences sur les résultats. Les enquêteurs ont été formés spécifiquement afin de qualifier les communications de façon rigoureuse. Les dispositions prises afin de garantir un étalonnage objectif et homogène de la qualité auditive ont été les suivantes :  formation des enquêteurs afin d’identifier les perturbations typiques pouvant survenir sur les réseaux mobiles numériques (écho, bruit métallique, grésillements,…) ;  entraînement (début et fin de chaque phase de mesures) à l'étalonnage de la qualité auditive d'après des enregistrements sonores, et contrôle de la dispersion des résultats ;  avant le début de l’enquête, tous les matériels utilisés ont été vérifiés par le consultant. Leur bon fonctionnement a été contrôlé comme le ferait un usager classique en vérifiant notamment le bon accrochage du réseau, le contrôle de la batterie et les premières communications ;  campagne de mesures probatoires en situation réelle et analyse : application de procédures, enregistrement des données pour tous les enquêteurs mobile et fixe, et analyse des résultats ;  contrôle par des superviseurs au cours des mesures réelles : écoute discrète aléatoire et contrôle des données enregistrées tout au long de l’enquête ;  analyse quotidienne de la cohérence des résultats obtenus : divers états de sortie statistiques permettent de détecter d’éventuelles divergences de notation de la qualité auditive, selon les enquêteurs, les terminaux, etc., et d’intervenir en cas d’anomalie ;  permutation des binômes d’enquêteurs fixe et mobile sur chaque réseau et entre eux afin d’éliminer tout biais résiduel d’appréciation de la qualité auditive dans un même groupe et dans des groupes différents. Au cours de l'enquête, l'apparition d'éventuels problèmes de fonctionnement est surveillée en temps réel. S'ils proviennent du matériel utilisé, les mesures sont marquées de manière spécifique dans la base pour ne pas être prises en compte dans les résultats. Ces mesures sont alors refaites après correction du problème. 1.5. Equipes et déroulement de l’enquête 1.5.1. Réalisation de l’enquête Une équipe constituée d’un directeur de projet, de deux chefs de projet (1 chef de projet AFD et 1 chef de projet GENETEL) et d’un coordinateur a organisé le déroulement de l’enquête :  La formation des enquêteurs au protocole ARCEP ;  L’organisation des plannings ;  La vérification journalière des quotas et la répartition des mesures ;  Le respect des modes opératoires ; 20/64
  • 21.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles  La communication hebdomadaire des résultats vers l’ARCEP. Les mesures en voiture ont été réalisées par une équipe de 7 personnes (3 enquêteurs mobiles accompagnés d’un chauffeur, 3 enquêteurs fixes). Les mesures piétons ont été réalisées par des équipes de 7 personnes (3 enquêteurs mobiles accompagnés d’un chauffeur, 3 enquêteurs fixes). Les mesures dans les trains (TGV et trains de banlieue) ont été réalisées par des équipes de 6 personnes (3 enquêteurs mobiles et 3 enquêteurs fixes). En cas de gêne pour les autres passagers ou de remarques des contrôleurs, les enquêteurs continuaient les mesures dans le wagon bar toujours côté fenêtres et toujours du même côté. Chaque enquêteur teste un seul réseau. Les appels sont passés simultanément sur l’ensemble des trois réseaux et une permutation des enquêteurs fixes et mobiles est réalisée à chaque demi-journée. Les enquêteurs fixes sont situés à l’AFD SOLUTION CENTER à Clichy (92110, France). 1.5.2. Contrôle de cohérence des mesures réalisées Des contrôles de cohérence des résultats ont été réalisés au fil de l’eau par AFD tout au long de l’enquête terrain, conformément au cahier des charges. Ils visaient notamment à prévenir en temps réel l’apparition de biais liés à un matériel défectueux, à une différence d’appréciation de la qualité entre les enquêteurs, et plus généralement, à des imprécisions dans l’application sur le terrain du protocole de mesure. L’ensemble des données de géo-localisation ont été transmises en temps réel via les smartphones des enquêteurs mobiles sur un serveur de données, avec un accès sécurisé. Une vigilance particulière a été portée au matériel de tests utilisés pour la réalisation de l’enquête. 1.5.3. Maîtrise des quotas Pour la construction de l’échantillon de l’enquête, un certain nombre de quotas ont été établis sur la base de valeurs de référence ou de moyennes représentatives du marché actuel des mobiles en France. Ces quotas ont fait l’objet d’un suivi portant sur le respect de la répartition horaire des mesures, la proportion du trafic « fixe vers le mobile » et « mobile vers le fixe », la répartition des mesures entre les terminaux 2G et 3G ainsi que sur la précision statistique maximale admise portant sur les résultats à publier. De plus, la méthodologie appliquée visait à respecter des quotas de répartition de mesures en agglomérations : • de plus de 400 000 habitants : entre les « zones très denses » et les « autres zones denses » ; • de 10 000 à 400 000 habitants : entre « la ville » qui est la commune principale, et le « reste de l’agglomération ». 21/64
  • 22.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles Pour toutes les agglomérations, les mesures piétons ont été réparties selon le type de bâtiment : lieux publics, immeubles de bureaux privés, locaux d’habitations privés. Les mesures à l’extérieur de bâtiment ont été réalisées en déplacement (dynamique) ou à l’arrêt (statique). Le tableau ci-dessous définit les quotas et présente leur respect lors de l’enquête. Périmètre d’application Définition des quotas (mesures retenues) Cible Réalisé Fixe vers mobile 33% 33,05% Sens d'appel Mobile vers fixe 67% 66,95% Bouygues 20% 19,42% Telecom Agglomérations de plus de 10 000 Appels avec le terminal 3G habitants et sur les axes de circulation Orange France 40% 37,85% SFR 30% 27,63% Précision statistique maximale Sur les résultats 2,50% < 2,5 % admise à publier Tranches horaires Heures pleines 40% 36,25% Agglomérations de plus de 10 000 Durée des appels Appels de 5 min 50% 49,79% habitants, hors trains de banlieue Statique 33% 31,00% Mesures à l’extérieur de bâtiment Dynamique 67% 69,00% Agglomérations de plus de 10 000 ZTD 70% 68,50% Répartition de mesures par zone habitants AZD 30% 31,50% 22/64
  • 23.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles 2. INDICATEURS DE PUBLICATION DE L’ENQUETE 2.1. Définitions des indicateurs publiés Une mesure consiste à tenter d’établir une communication vocale puis à évaluer la qualité auditive de la conversation sur chacun des réseaux testés. Une mesure sur trois réseaux porte ainsi sur trois communications, qu’elles aient abouti ou non. Les définitions des indicateurs sont résumées dans le tableau ci-dessous : Indicateurs Définition Une communication est considérée comme réussie si l’appel lancé par l’un Taux de des enquêteurs aboutit dès le premier essai et si la communication est communications maintenue sans coupure. Le taux est calculé sur la base du nombre total de réussies et maintenues : mesures. Le complément à 100% est donc constitué du taux d’échecs après CR une tentative, plus le taux de coupures. Taux de Une communication est considérée comme parfaite si elle est réussie au communications sens du premier indicateur et si la qualité auditive perçue par les deux réussies, maintenues interlocuteurs est parfaite (comparable à la qualité des communications sur et de qualité auditive le réseau fixe). parfaite : TQP Une communication est considérée comme réussie et de qualité correcte si Taux de elle est réussie au sens du premier indicateur et si la qualité auditive perçue communications par les deux interlocuteurs est soit parfaite soit acceptable. réussies, maintenues Une communication est considérée comme acceptable si la qualité auditive et de qualité auditive perçue par les deux interlocuteurs est perturbée légèrement sans toutefois correcte : CRC gêner la conversation. Les taux de communications correctes, parfaites ou acceptables sont calculés sur la base du nombre total de tentatives de communications. 2.2. Principes généraux de la publication 2.2.1. Présentation des tableaux Pour chaque indicateur, le résultat est publié sur la base de deux valeurs. D’une part, une valeur de référence choisie comme étant la moyenne agrégée pour les trois opérateurs. D’autre part, la qualification de la performance de chaque opérateur autour de cette valeur selon les cinq niveaux : très inférieur, inférieur, voisin, supérieur et très supérieur à la valeur de référence. De plus, une comparaison avec les résultats de l’enquête précédente, tenant compte de la précision statistique de ces mesures, est présente lorsqu’elle est pertinente sous forme d’un signe () ou (). Ce signe accolé au résultat indique le cas échéant une amélioration ou une dégradation par rapport à l’année précédente, pour la valeur moyenne comme pour les performances individuelles des opérateurs. 2.2.2. Qualification de l’opérateur en fonction de la valeur de l’écart par rapport aux seuils Chaque opérateur est qualifié en fonction de la valeur de l’écart (e) entre son résultat (t) et la valeur de référence (m). La valeur de référence correspond à la moyenne des résultats des trois opérateurs sur l’indicateur considéré échelonné sur 5 niveaux : très inférieur, inférieur, voisin, supérieur, très supérieur à la valeur de référence. Les seuils qui déterminent ces niveaux prennent en compte la 23/64
  • 24.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles précision statistique des résultats. En effet, les écarts ne sont significatifs que s’ils sont supérieurs à l’incertitude. Les seuils s1 et s2 sont calculés selon les formules suivantes : t  1  t  • s1 = Max ( 1% ; 1,645  ) n • s2 = 4% où t est la valeur de l’indicateur considéré et n correspond au nombre de mesures réalisées pour cet indicateur. La qualification de la performance de l’opérateur est définie en fonction de la valeur de l’écart par rapport à ces seuils : Seuil Performance Définition e  -s2 –– Très inférieur à la valeur de référence -s2 < e  -s1 – Inférieur à la valeur de référence -s1 < e  s1 = Voisin de la valeur de référence s1 < e  s2 + Supérieur à la valeur de référence e  s2 ++ Très supérieur à la valeur de référence 2.2.3. Comparaison des résultats avec ceux de l’enquête précédente Une comparaison avec l’enquête précédente est possible lorsque le périmètre et la méthode de mesure sont identiques. Si tel est le cas, l’évolution par rapport à l’enquête précédente, pour chaque opérateur et pour chaque indicateur, est indiquée par un signe accolé au nom de l’opérateur ou de la moyenne mesurée. Ce signe est déterminé en fonction de l’écart entre la valeur (t2) de l'indicateur de cette année par rapport à l'année précédente (t1), selon un seuil ∆ qui prend en compte la précision statistique des résultats : 1 1  • ∆ = Max (1% ; 1,645  p  1  p      )  n1 n2  n1 t1  n2  t 2 •p= n1  n2 où p est le résultat moyen des mesures réalisées durant cette enquête et l’enquête précédente, et n1 et n2 correspondent aux nombres de mesures de chacune des deux années. • signe () : amélioration supérieure à ∆ • absence de signe : indétermination (écart inférieur à ∆) • signe () : dégradation supérieure à ∆ 24/64
  • 25.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles 3. RESULTATS DE L’ENQUETE D’EVALUATION DE LA QUALITE DU SERVICE DE VOIX DES RESEAUX DE DEUXIEME ET TROISIEME GENERATIONS EN FRANCE METROPOLITAINE 3.1. Usages en agglomération 3.1.1. Communications d’une durée de 2 minutes Ensemble des agglomérations de plus de 10 000 habitants Moyenne Orange Bouygues mesurée SFR 7761 mesures France Telecom Taux de communications réussies et 97,3% maintenues 2 minutes (CR) = = = Précision statistique ± 0,36% Taux de communications réussies, maintenues 2 95,9% minutes et de qualité Parfaite (TQP) = = = Précision statistique ± 0,44% Taux de communications réussies, maintenues 2 97,0% minutes et de qualité Correcte (CRC) = = = Précision statistique ± 0,38%  Ecart heure pleine / heure creuse (taux de 0,45% communications réussies et maintenues) = = = Précision statistique ± 0,15% Les 12 plus grandes agglomérations Moyenne Orange Bouygues mesurée SFR 3777 mesures France Telecom Taux de communications réussies et 97,0% maintenues 2 minutes (CR) = = = Précision statistique ± 0,54%  Taux de communications réussies, maintenues 2 95,9% minutes et de qualité Parfaite (TQP) = = = Précision statistique ± 0,63%  Taux de communications réussies, maintenues 2 96,8% minutes et de qualité Correcte (CRC) = = = Précision statistique ± 0,56%  Ecart heure pleine / heure creuse (taux de 0,12% communications réussies et maintenues) = = = Précision statistique ± 0,11% 25/64
  • 26.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles 3.1.2. Communications d’une durée de 5 minutes Ensemble des agglomérations de plus de 10 000 habitants Moyenne Orange Bouygues mesurée SFR 7695 mesures France Telecom Taux de communications réussies et 96,2% maintenues 5 minutes (CR) = = = Précision statistique ± 0,43%   Taux de communications réussies, maintenues 5 94,2% minutes et de qualité Parfaite (TQP) = = = Précision statistique ± 0,52%   Taux de communications réussies, maintenues 5 96,0% minutes et de qualité Correcte (CRC) = = = Précision statistique ± 0,44%  Ecart heure pleine / heure creuse (taux de 0,73% communications réussies et maintenues) = = = Précision statistique ± 0,27%  Les 12 plus grandes agglomérations Moyenne Orange Bouygues mesurée SFR 3759 mesures France Telecom Taux de communications réussies et 96,3% maintenues 5 minutes (CR) = = = Précision statistique ± 0,60%   Taux de communications réussies, maintenues 5 94,6% minutes et de qualité Parfaite (TQP) = = = Précision statistique ± 0,72%   Taux de communications réussies, maintenues 5 96,0% minutes et de qualité Correcte (CRC) = = = Précision statistique ± 0,63%  Ecart heure pleine / heure creuse (taux de 0,96% communications réussies et maintenues) = = + Précision statistique ± 0,31%  26/64
  • 27.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles 3.2. Usages sur les axes de transport TGV Moyenne Orange Bouygues mesurée SFR 4707 mesures France Telecom Taux de communications réussies et 74,2% maintenues 2 minutes (CR)  + + −− Précision statistique ± 1,25%  Taux de communications réussies, maintenues 2 69,5% minutes et de qualité Parfaite (TQP) + = −− Précision statistique ± 1,32%   Taux de communications réussies, maintenues 2 73,3% minutes et de qualité Correcte (CRC) + + −− Précision statistique ± 1,26%   Autoroutes Moyenne Orange Bouygues mesurée SFR 3189 mesures France Telecom Taux de communications réussies et 92,9% maintenues 2 minutes (CR)  = = = Précision statistique ± 0,89%  Taux de communications réussies, maintenues 2 91,1% minutes et de qualité Parfaite (TQP)  = = = Précision statistique ± 0,99%  Taux de communications réussies, maintenues 2 92,5% minutes et de qualité Correcte (CRC) = = = Précision statistique ± 0,91% 27/64
  • 28.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix des réseaux mobiles Trains de banlieue Moyenne Orange Bouygues mesurée SFR 2961 mesures France Telecom Taux de communications réussies et 85,4% maintenues 2 minutes (CR) = = = Précision statistique ± 1,27% Taux de communications réussies, maintenues 2 82,8% minutes et de qualité Parfaite (TQP)  = = = Précision statistique ± 1,36%   Taux de communications réussies, maintenues 2 84,7% minutes et de qualité Correcte (CRC)  = = = Précision statistique ± 1,30%  28/64
  • 29.
    La qualité desservices de données des réseaux mobiles (2G et 3G) en France métropolitaine Les résultats de l’enquête pour l’année 2011
  • 30.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles AVERTISSEMENT Remarques générales L’objet de cette enquête, menée sur une base annuelle, est d’apprécier la qualité de service des réseaux de téléphonie mobile de seconde (2G) et de troisième génération (3G) en France. L’ARCEP définit en concertation avec les opérateurs concernés par l’étude, à savoir Orange France, SFR et Bouygues Telecom, un cahier des charges détaillant la méthodologie à suivre pour la réalisation de l’enquête et la publication de ses résultats. Limites de l’exercice L'évaluation porte sur la qualité des services de données des réseaux mobiles perçue par les clients, dans les conditions où ceux-ci les utilisent au quotidien. Cette évaluation est menée sur une durée totale de 4 mois. Afin notamment de rendre l’étude plus représentative de l’usage des services de données, chacun des réseaux a été testé avec les mobiles 2G et 3G, en prenant en compte le volume de données et de communications 3G de l’opérateur selon les derniers chiffres trimestriels dont dispose l’ARCEP. Pour les tests de transfert de données une offre de service d’accès à internet, incluant matériel de raccordement au PC (clé 3G) est sélectionnée pour chaque opérateur sur le critère de la meilleure offre « grand public » du haut débit. Précisions statistiques et arrondis Enfin, il convient de rappeler que, comme dans tout sondage, les résultats de la présente enquête comportent une marge d’imprécision. La précision statistique indiquée en dessous de chaque résultat est l’intervalle qui contient le résultat selon une probabilité de 95%. Toute comparaison entre les différents indicateurs doit donc tenir compte de cet intervalle de confiance. Par ailleurs, pour être en cohérence avec cette imprécision statistique, les résultats de la présente enquête ont été arrondis au dixième près. Il convient de rappeler que :  la somme de deux résultats arrondis peut être différente de l’arrondi de leur somme ;  le produit de deux résultats arrondis peut être différent de l’arrondi de leur produit. 30/64
  • 31.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles SOMMAIRE 1 CARACTERISTIQUES TECHNIQUES DE L’ENQUETE ............................................................................ 32 1.1 CONFIGURATION GENERALE ........................................................................................................................... .... 32 1.2 CALENDRIER ET PLANNING ............................................................................................................................. .... 32 1.3 REPARTITION GEOGRAPHIQUE DE MESURES.................................................................................................... .... 33 1.4 VOLUMETRIE DE MESURES ............................................................................................................................. .... 35 1.5 TERMINAUX ET ABONNEMENTS UTILISES........................................................................................................ .... 35 2 MISE EN ŒUVRE DES MESURES ................................................................................................................. 36 2.1 DISPOSITIONS GENERALES .............................................................................................................................. .... 36 2.2 MESURES SMS ............................................................................................................................................... .... 36 2.3 MESURES MMS .............................................................................................................................................. .... 37 2.4 NAVIGATION WAP ......................................................................................................................................... .... 38 2.5 TRANSFERT DE DONNEES EN MODE PAQUETS.................................................................................................. .... 40 2.6 ACCES WEB .................................................................................................................................................... .... 41 2.7 MAITRISE DES MESURES ................................................................................................................................. .... 43 3 INDICATEURS DE PUBLICATION DE L’ENQUETE ................................................................................. 45 3.1 DEFINITIONS DES INDICATEURS PUBLIES ........................................................................................................ .... 45 3.2 PRINCIPES GENERAUX DE LA PUBLICATION..................................................................................................... .... 47 4 RESULTATS DE L’ENQUETE D’EVALUATION DE LA QUALITE DES SERVICES DE DONNEES DES RESEAUX DE DEUXIEME ET DE TROISIEME GENERATIONS EN FRANCE METROPOLITAINE. .................................................................................................................................................... 50 4.1 LES SERVICES INTERPERSONNELS ET DE NAVIGATION .................................................................................... .... 50 4.2 TRANSFERT DE DONNEES EN MODE PAQUETS..................................................................................................... .... 53 5 ANNEXE : MESURES EXPERIMENTALES SUR SMARTPHONES ......................................................... 60 5.1 CONFIGURATION GENERALE ........................................................................................................................... .... 60 5.2 VOLUMETRIE .................................................................................................................................................. .... 61 5.3 TERMINAUX UTILISES ..................................................................................................................................... .... 61 5.4 OUTIL ET PROTOCOLES ................................................................................................................................... .... 61 5.5 RESULTATS DES MESURES REALISEES SUR SMARTPHONE SUR LE TOP 12 ....................................................... .... 63 31/64
  • 32.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles 1. CARACTERISTIQUES TECHNIQUES DE L’ENQUETE 1.1. Configuration générale L’enquête porte sur l’évaluation de la qualité des services de données suivants : - le service de messages courts SMS : envoi d’un message constitué d’un texte ; - le service de messagerie multimédia MMS : envoi d’un message constitué d’un texte et d’une photo ; - le service d’accès WAP : navigation sur un site d’information, exclusivement gratuit, de l’opérateur ; - le transfert de données en mode paquets et l’accès web sur PC : envoi d’un fichier de 1 Mo, téléchargement d’un fichier de 5 Mo et navigation web sur plusieurs sites « grand public ». Le transfert de données et l’accès web sont réalisés avec une clé data 3G+ et les mesures de service SMS, MMS et WAP sont réalisées avec des terminaux mobiles 2G et 3G, dont la répartition entre les terminaux est la suivante : Proportion des mesures avec le terminal 3G Type de mesure Orange France SFR Bouygues Telecom SMS 40% 30% 15% MMS, WAP 90% 90% 85% Cette répartition entre les mesures en 2G et 3G est définie sur la base :  pour les SMS : du volume de communications vocales en 2G et en 3G de l’opérateur selon les derniers chiffres trimestriels dont dispose l’ARCEP ;  pour les MMS et WAP : du volume de données en 2G et en 3G de l’opérateur selon les derniers chiffres trimestriels dont dispose l’ARCEP. 1.2. Calendrier et planning L’enquête s’est déroulée du 24 mars au 13 juillet 2011. Pendant le déroulement de l’enquête, les opérateurs, Orange France, SFR et Bouygues Telecom, ne connaissaient, mis à part les 12 agglomérations de plus de 400 000 habitants (TOP 12), ni les jours, ni les lieux où s’effectuaient les mesures, ni les numéros de cartes SIM des abonnements utilisés dans le cadre de l’enquête. Les mesures ont été réalisées entre 9h et 21h en semaine, du lundi au vendredi et sont répartis de manière homogène entre les 4 créneaux horaires : 9h-12h ; 12h-15h ; 15h-18h et 18h-21h. En pratique, pour respecter les quotas horaires, a été appliquée la répartition de mesures présentée dans le tableau ci-dessous : Tranches horaires Proportion de mesures 9h – 12h 25% 12h – 15h 25% 15h – 18h 25% 18h – 21h 25% 32/64
  • 33.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles 1.3. Répartition géographique de mesures 652 lieux de mesures ont été audités sur les 20 agglomérations de 50 000 à 400 000 habitants (strate 50-400) tirées au sort ainsi que sur l’ensemble des agglomérations de plus de 400 000 habitants (TOP12) : Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice-Cannes-Antibes, Toulouse, Bordeaux, Nantes, Toulon, Douai-Lens, Strasbourg et Grenoble. La répartition des lieux par agglomération est illustrée sur la carte ci-dessous. Au sein de chaque agglomération on distingue les “zones très denses” et “autres zones denses” selon les critères suivants :  Zones très denses (ZTD) : centre-ville de la ou des communes principales, zones de transit (gares, aéroports), centres d’activités (commerciaux, affaires), axes urbains à très fort trafic et autoroutes dans les limites de l’agglomération ; 33/64
  • 34.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles  Autres zones denses (AZD) : continuum bâti autour des zones très denses, autres centres villes de plus de 5 000 habitants, autres axes urbains au sein de l’agglomération. Les lieux de mesures sont choisis aléatoirement et répartis de manière homogène au sein de chaque agglomération auditée. La répartition des lieux entre les zones ZTD et AZD au sein de chaque agglomération est de 2/3 – 1/3. Cette répartition des lieux de mesures entre les ZTD et les AZD au sein de chaque agglomération se traduit par le nombre de mesures suivantes : Agglomérations ZTD AZD Total PARIS 77 39 116 MARSEILLE 21 11 32 LYON 23 11 34 LILLE 20 10 30 NICE 17 8 25 TOP 12 TOULOUSE 15 8 23 BORDEAUX 17 8 25 NANTES 13 6 19 TOULON 14 7 21 DOUAI-LENS 14 7 21 STRASBOURG 13 6 19 GRENOBLE 13 6 19 Total 257 127 384 SAINT-ETIENNE 12 6 18 NANCY 12 6 18 ANGERS 11 6 17 Agglomérations de 50 000 à 400 000 habitants REIMS 11 6 17 NIMES 11 5 16 AMIENS 11 5 16 ANGOULEME 10 5 15 CHAMBERY 10 5 15 BOURGES 9 5 14 FORBACH 9 5 14 QUIMPER 9 4 13 TARBES 9 4 13 MEAUX 8 4 12 SAINT-QUENTIN 8 4 12 LAVAL 7 4 11 ARCACHON 7 3 10 ARMENTIERES 7 3 10 BERGERAC 7 3 10 ROMANS-SUR-ISERE 6 3 9 SALON-DE-PROVENCE 5 3 8 Total 179 89 268 Nombre total des lieux audités 436 216 652 34/64
  • 35.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles 1.4. Volumétrie de mesures Sur chaque lieu, ont été réalisés en moyenne 1 SMS, 1 MMS, 2 WAP, 2 envois d’un fichier de 1 Mo (uplink), 2 téléchargements d’un fichier de 5 Mo (downlink) et 2 accès web sur PC. Ce qui conduit à une volumétrie de 6 480 mesures réalisées en moyenne par opérateur : Mobiles 2G/3G Clés data 3G+ Echantillon Uplink Downlink SMS MMS WAP Web 1Mo 5Mo TOP12 384 384 768 759 759 748 50-400 268 268 536 527 529 529 TOTAL 652 652 1304 1286 1288 1277 Au total, sur 652 lieux audités, l’étude a produit et exploité 19 454 mesures soit : 1956 SMS, 1956 MMS, 3912 navigations WAP, 7799 téléchargements de fichiers et 3831 accès web. 1.5. Terminaux et abonnements utilisés L’étude a été réalisée avec les terminaux et les abonnements spécifiques en offre grand public suivants : Opérateur Mobiles 2G Mobiles 3G Abonnements Orange Samsung C3050 Nokia 6700 Slide Origami star 1h SFR Nokia 2720 Fold Nokia E71-1 Illymitics 5 connect Bouygues Telecom Nokia 2220 Slide Nokia 6700 Slide NEO 4 smartph Les terminaux ont été choisis sur la base des meilleures ventes des packs de chaque opérateur et après vérification que les téléphones sélectionnés ont des performances comparables et qu’ils n’introduisent pas eux-mêmes de biais dans la mesure. Pour les tests de transfert de données et la navigation web, une offre de service d’accès à internet, incluant matériel de raccordement au PC (clé data 3G+) est sélectionné pour chaque opérateur. Les abonnements ont été choisis par les opérateurs sur le critère de la meilleure offre « grand public » du haut débit. Les clés et les abonnements suivants ont été sélectionnés : Offre accès Internet Opérateur Clé data 3G+ Abonnements Orange Huawei E367V2 F.IEW 2H ajustable 6 et 12 h SFR Vodafone K4505 Huawei Internet pro Bouygues Telecom Alcatel One Touch X220L Internet 3Go 24/24 35/64
  • 36.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles 2. MISE EN ŒUVRE DES MESURES 2.1. Dispositions générales Les mesures ont été réalisées par deux équipes, constituées de trois techniciens de mesures spécialisés dans ce type de mesures. Ces techniciens ont été formés au protocole de l’ARCEP 2011 et sensibilisés aux contraintes de confidentialité absolue de l'étude. Toutes les mesures sont réalisées à bord d’un véhicule en stationnement. Sur chaque lieu, le technicien relève les données de positionnement géographique (adresse et GPS), puis réalise les tests prévus sur ce lieu. Un planning préétabli et automatisé indique précisément les terminaux à utiliser (2G ou 3G) et les mesures à réaliser sur le lieu. En pratique, les tests sont effectués en même temps sur les 3 réseaux par 3 techniciens. Le tableau ci-dessous schématise une séquence de tests pour chaque opérateur : Séquence de mesures sur un lieu SMS MMS WAP_1 WAP_2 DL 5Mo_1 / UL 1Mo_1 / WEB_1 DL 5Mo_2 / UL 1Mo_2 / WEB_2 2.2. Mesures SMS Une mesure consiste à tenter d’envoyer un message SMS, à mesurer son délai de réception et vérifier son intégrité, sur chacun des réseaux testés. Le message SMS envoyé est identique pour tous les opérateurs et ce durant tout l’audit. Il est constitué de 26 caractères remplis par les lettres majuscules de l’alphabet (« ABCD … XYZ ») et d’un identifiant numérique unique. Les messages SMS sont envoyés depuis le terminal de chaque opérateur vers un autre terminal du même opérateur, du même modèle, allumé en état de veille et paramétré en réception automatique. Les mobiles d’émission et de réception sont situés dans la même zone géographique et restent statiques. La durée entre l’émission et la réception du message est mesurée, et est vérifié que le contenu du message est sans erreur lors de sa réception. Au-delà d’une durée de 2 minutes, le message est considéré comme non reçu. Tout message non envoyé par refus du réseau est compté comme non reçu. Après chaque mesure SMS, les messages sont supprimés des mobiles à l’exception du modèle du message. La synoptique de la mesure SMS est illustrée ci-dessous. 36/64
  • 37.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles EMISSION RECEPTION ATTENTE Préparation du SMS : 26 lettres Temps inter- majuscules de Envoi du SMS Réception du Consultation mesure l’alphabet + numéro SMS du SMS de la mesure Clic sur « Message Notification de la « Envoyer » envoyé » réception  Délai d’émission Délai de réception du SMS du SMS Délai de réception Hors délai : 2 minutes 2.3. Mesures MMS Une mesure consiste à tenter d’envoyer un message MMS et à mesurer son délai de réception et son intégrité, sur chacun des réseaux testés. Le message MMS envoyé est identique pour tous les opérateurs et ce durant tout l’audit Il est constitué de 26 caractères remplis par les lettres majuscules de l’alphabet (« ABCD … XYZ »), d’un identifiant unique et d’une pièce jointe de 50Ko au format JPEG (photo) ci- dessous : Les messages MMS sont envoyés depuis le terminal de chaque opérateur vers un autre terminal du même opérateur, allumé en état de veille et paramétré en réception automatique (configuration d’origine). Les deux terminaux sont situés sur la même localisation et restent statiques. La durée entre l’émission et la réception du message est mesurée et on vérifie que le contenu du message est sans erreur lors de sa réception. Au-delà d’une durée de 5 minutes, le message est considéré comme non reçu. Tout message non envoyé par refus du réseau est compté comme non reçu. 37/64
  • 38.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles Après chaque mesure MMS, les messages sont supprimés des mobiles à l’exception du modèle du message. La synoptique de la mesure MMS est illustrée ci-dessous. EMISSION RECEPTION ATTENTE Message : 26 Réception de lettres majuscules Téléchargement Temps inter- Envoi du la Consultation + numéro de la du message mesure MMS notification du message mesure + photo du message JPG de 50ko Clic sur « Message Notification du « Message « Envoyer » envoyé » message et reçu » début du téléchargement Délai de Délai de Délai d’émission notification téléchargement Délai de réception Hors délai : 5 minutes 2.4. Navigation WAP Une mesure consiste à accéder au portail WAP de l’opérateur, puis à naviguer successivement, pendant 5 minutes, sur des sites d’information, parmi les dix les plus fréquentés (exclusivement gratuits) de chaque réseau, en restant environ 20 secondes sur chaque page. En comptant le temps de chargement, on consulte donc d’environ 10-12 pages par site testé. Si une page est en cours de chargement au bout des 5 minutes de navigation, on attend qu’elle finisse de se charger pour qualifier la session. Ainsi, chaque test WAP est composé des étapes suivantes : 38/64
  • 39.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles AVANT TEST CONNEXION NAVIGATION SUR LES PAGES WEB DECONNEXION Accès à Vérification Déconnexion du l’accueil Navigation sur intégrité de la Temps de Temps inter- réseau depuis 1 WAP : le site : page : visualisation : mesure : 1 minute minimum Page 1 Page 2 contenu, mise 20 secondes minute en page Navigation durant 5 minutes Connexion Connecté Demande Page WAP page affichée Délai Délai de de connexion chargement WAP page Hors délai : Hors délai : 30 secondes 30 secondes Les 10 sites testés sont les suivants : SFR Orange Bouygues Telecom Annuaire Actu People Chat&CO Humour EuroSport Logos TV Météo Sport Sport Télépoche People Jeux Boursier Info Bourse Info Skyrock Météo L'Equipe Musique Chat Cinéma Allociné Itinéraires Restos&Bars Ciné/BD Foot Horoscope Métro France Pour chaque réseau, ont été constitués 10 scénarios différents, chacun comprenant au moins la page d’accueil WAP et un des 10 sites testés : Lieu 1 Lieu 2 Lieu 3 Lieu 4 Lieu 5 WAP 1 Accueil, site 1 Accueil, site 3 Accueil, site 5 Accueil, site 7 Accueil, site 9 WAP 2 Accueil, site 2 Accueil, site 4 Accueil, site 6 Accueil, site 8 Accueil, site 10 39/64
  • 40.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles Lors de navigation WAP, 2 types d’échec sont possibles : Echecs bloquants Echecs non bloquants Time Out ou Echec d'accès Accès portail WAP au portail de l'opérateur Blocage, Time Out de téléchargement, retour arrière impossible retour arrière possible Mauvais routage, Echec service, Navigation sur les sites retour arrière impossible retour arrière possible Echec service, Non intégrité de la page, retour arrière impossible retour arrière possible Coupure En cas d’échec bloquant, la navigation s’arrête, est considérée comme « échec » et on passe à la mesure suivante. En cas d’échec non bloquant sur une page, la navigation se poursuit sur une page suivante. 2.5. Transfert de données en mode paquets 2.5.1. Protocole de mesure Une mesure consiste, sur chacun des réseaux testés, à : - Se connecter, via un modem (clef) de l’opérateur, à un serveur relié à l’internet, et mesurer le délai d’établissement de la liaison ou noter l’échec éventuel ; - Télécharger ou envoyer, selon le protocole FTP, un fichier et mesurer le délai de transfert ou noter l’échec éventuel (en distinguant les échecs de connexion au serveur FTP, de coupure en cours de communication, et les abandons hors délai) ; - Vérifier que les fichiers sont intégralement téléchargés. Les fichiers utilisés pour les transferts de données sont identiques pour les 3 opérateurs :  un fichier de 5 Mo pour le téléchargement en sens descendant (download) ;  un fichier de 1 Mo pour l’envoi en sens montant (upload). Pour chaque téléchargement, une connexion/déconnexion réseau est effectuée. Le time out de connexion est de 1 minute. Les time out de téléchargement après connexion sont respectivement de 2 minutes en upload et de 5 minutes en download. Au-delà de ces temps, les téléchargements sont abandonnés et considérés comme échoués. La synoptique de transfert de données est présentée ci-dessous : 40/64
  • 41.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles AVANT TEST CONNEXION TRANSFERT DECONNEXION Déconnexion du réseau Connexion Télécharge Vérificatio Déconnexion Déconnexion Connexion depuis au serveur ment ou n du fichier du serveur du réseau au réseau minimum 1 FTP émission du reçu FTP minute fichier Demande de PC connecté Demande de Fichier connexion indication téléchargement reçu au réseau du débit ou d’envoi du dans la fichier barre de tâche Délai de Délai de Connexion Téléchargement Hors délai : 1 Hors délai : minute 300s pour download 120s pour upload 2.5.2. Serveur FTP Le serveur Ikoula a été sélectionné à la suite de tests probatoires sur deux serveurs de deux fournisseurs différents (Ikoula et OVH). Fournisseur OS IP Bande Passante Ikoula Debian 5.0.8 213.246.38.46 100 Mbps garanti 2.5.3. Plateforme de mesures Les mesures FTP ont été réalisées à l’aide d’un outil d’acquisition automatique de mesures de services de données (MQC). Une plateforme de test comprend un PC HP Probook 4520s (OS windows XP pour Bouygues Telecom et SFR, OS Windows 7 pour Orange), la clé data testée pour chaque opérateur avec l’abonnement recommandé, ainsi qu’un dispositif de géolocalisation. Aucune application en dehors de celles nécessaires aux mesures n’est utilisée sur ces machines. 2.6. Accès web Une mesure consiste à accéder à internet, puis à réaliser une succession de connexions sur différentes pages pendant une durée de 5 minutes, en restant 20 secondes sur chaque page téléchargée. Le principe de construction et d’exécution des scénarios est le même que pour les mesures WAP : 41/64
  • 42.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles AVANT TEST CONNEXION NAVIGATION SUR LES PAGES WEB DECONNEXION Vérification Déconnexion du intégrité de la Temps inter- Temps inter- Connexion Accès à une réseau depuis 1 page : page : 20 mesure : 1 au réseau page Internet minute minimum contenu, mise secondes minute en page Navigation durant 5 minutes Connexion Connecté Demande Page RAS page web affichée Délai Délai de de connexion au chargement réseau page Hors délai : Hors délai : 1 minute 50 secondes Les pages retenues pour ce test, identiques pour les 3 opérateurs, correspondent aux 13 sites internet les plus fréquentés nationalement par les internautes (hors sites opérateurs ou constructeurs) : Pages WEB http://www.google.fr http://www.facebook.fr http://www.youtube.fr http://www.wikipedia.fr http://www.pagesjaunes.fr http://www.yahoo.fr http://www.amazon.fr http://www.leboncoin.fr http://www.ebay.fr http://www.commentcamarche.net http://www.fnac.com http://www.blogspot.com http://www.francetelevisions.fr La navigation est considérée comme réussie si aucune erreur parmi celles listées ci-dessous ne s’est produite pendant la navigation de 5 minutes :  non affichage de la page au bout de 50 secondes ;  blocage de la navigation ou rupture de la connexion ;  messages d’erreur affichés par le terminal. Si une page est en cours de chargement au bout des 5 minutes de navigation, on attend qu’elle finisse de se charger pour qualifier la session. 42/64
  • 43.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles 2.7. Maitrise des mesures 2.7.1. Equipes et déroulement de l’enquête Un chef de projet assure la formation des équipes au protocole ARCEP, l’organisation des itinéraires, le respect des modes opératoires et le bon déroulement de l’enquête. Le travail de chaque équipe est guidé et sécurisé par une application informatique qui indique les tests à effectuer et le mobile à utiliser (2G ou 3G). Les enquêteurs effectuent la saisie des résultats des mesures et des repères topographiques de chaque lieu de test. Les positions des mesures sont repérées par un système de localisation GPS, ce qui permet de vérifier le respect des consignes concernant les lieux, de repérer les mesures, et d’aider au diagnostic en cas de problème. Au cours de l’enquête, l’apparition d’éventuels problèmes de fonctionnement affectant anormalement la qualité sur un ou plusieurs réseaux est surveillée en permanence. S’ils proviennent du réseau d’un opérateur et sont non-récurrents, ils sont considérés comme des inconvénients subis par les clients, et les mesures sont prises en compte. S’ils sont récurrents (panne totale d’un réseau dans une zone par exemple), ils sont immédiatement signalés à l’ARCEP, qui définit la conduite à tenir. Le matériel utilisé pour les tests (mobiles, clés et PC) fait l’objet d’une attention particulière des enquêteurs pour éviter que des défaillances puissent influencer les résultats des mesures. 2.7.2. Gestion des quotas Pour la construction de l’échantillon de l’enquête, un certain nombre de quotas, établis sur la base de valeurs de référence ou de moyennes représentatives du marché actuel des mobiles en France, ont été définis. Ces quotas ont fait l’objet d’un suivi rigoureux portant sur le respect de la répartition horaire des mesures, la répartition des mesures entre les terminaux 2G et 3G pour chaque service et le nombre des lieux audités. De plus, au sein de chaque agglomération, la méthodologie appliquée consiste à respecter les quotas de répartitions de mesures entre les « ZTD » - zones très denses et les « AZD » - autres zones denses. Le tableau ci-dessous définit les quotas et montre leur respect lors de l’enquête : Définition des quotas Cible Réalisé Orange France 40% 40.3% SMS SFR 30% 30.1% Bouygues Telecom 15% 14.7% Orange France 90% 89.6% Mesures avec le terminal 3G MMS SFR 90% 90.3% Bouygues Telecom 85% 84.8% Orange France 90% 90.2% WAP SFR 90% 90.0% Bouygues Telecom 85% 85.0% 43/64
  • 44.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles 9h – 12h 25% 25.1% 12h – 15h 25% 25.0% Tranches horaires 15h – 18h 25% 25.0% 18h – 21h 25% 24.9% TOP 12 33.3% 33.1% Proportion des lieux en AZD 50 – 400 33.3% 33.2% Sur l’ensemble des agglomérations 33.3% 33.1% Nombre des lieux audités Sur l’ensemble des agglomérations 650 652 44/64
  • 45.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles 3. INDICATEURS DE PUBLICATION DE L’ENQUETE 3.1. Définitions des indicateurs publiés 3.1.1. Service de messagerie courts (SMS) Une mesure consiste à tenter d’émettre un message, puis à mesurer le délai de réception et à vérifier son contenu, sur chacun des réseaux testés. Une mesure sur trois réseaux porte ainsi sur trois messages, qu’ils aient abouti ou non. Indicateurs SMS Définition Taux de messages reçus Un message est considéré comme reçu si le message émis n’est pas refusé par le réseau, s’il est reçu dans un délai de 2 minutes, et si son contenu est correct. Le complément à 100% est donc constitué du taux de messages refusés par le réseau ou reçus après 2 minutes, ou dont le contenu est incorrect. Taux de messages reçus dans Un message est considéré reçu dans un délai inférieur à 30 un délai inférieur à 30 secondes si le message est reçu au sens du premier indicateur et si secondes le délai de réception du message reçu ne dépasse pas 30 secondes. Les deux indicateurs sont calculés sur la base du nombre total de tentatives d’envoi de message. 3.1.2. Service de messages multimédia (MMS) Une mesure consiste à tenter d’émettre un message avec une pièce jointe de 50 ko, puis à mesurer le délai de réception et à vérifier son contenu, sur chacun des réseaux testés. Une mesure sur trois réseaux porte ainsi sur trois messages, qu’ils aient abouti ou non. Indicateurs MMS Définition Taux de messages reçus Un message est considéré comme reçu si le message envoyé n’est pas refusé par le réseau, s’il est reçu dans un délai de 5 minutes, et si son contenu est correct. Le complément à 100% est donc constitué du taux de messages refusés par le réseau ou reçus après 5 minutes ou dont le contenu est incorrect. Taux de messages reçus dans Un message est considéré comme reçu dans un délai de 3 minutes un délai inférieur à 3 minutes si le message est reçu au sens du premier indicateur et si le délai de réception du message reçu ne dépasse pas 3 minutes. Les deux indicateurs sont calculés sur la base du nombre total de tentatives d’envoi de message. 45/64
  • 46.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles 3.1.3. Service de navigation WAP Une mesure consiste à accéder au portail de l’opérateur, puis à réaliser une succession de connexions sur des sites « Internet Mobile » à partir du portail de l’opérateur pendant une durée de 5 minutes. Indicateurs WAP Définition Taux de réussite de l’accès au L’accès au portail de l’opérateur est considéré comme réussi portail de l’opérateur lorsque la page d’accueil de l’opérateur est chargée intégralement dans un délai inférieur à 30 secondes, sans coupure de la connexion, et dès la première tentative. Ce taux est calculé sur la base du nombre total de mesures. Taux de navigations réussies La navigation est considérée comme réussie si elle est maintenue et maintenues pendant une et active pendant une durée de 5 minutes sans coupure de durée de 5 minutes connexion au réseau de données. Ce taux est calculé sur la base du nombre total de mesures dont l’accès au portail a réussi. 3.1.4. Service de transmission de données en mode FTP Une mesure consiste à établir une connexion au serveur relié à internet par des liens correctement dimensionnés et à tenter de télécharger ou à envoyer des fichiers en utilisant le protocole de transfert de données FTP. Indicateurs FTP Définition Une connexion est réussie si elle est établie dans un délai Taux de connexions réussies inférieur à 1 minute. Le taux est calculé sur la base de l’ensemble des mesures réalisées. Le taux de connexions réussies dans un délai inférieur à 10 Taux de connexions réussies dans secondes est calculé sur la base de l’ensemble des mesures un délai inférieur à 10 secondes réalisées. Un fichier est considéré comme reçu s’il est reçu intégralement, sans coupure de la connexion, dans un délai de Taux de fichiers de 1 Mo envoyés* 2 minutes et si son contenu est correct. Le taux est calculé sur la base du nombre total de fichiers envoyés. Débit de données atteint pour 90% Cet indicateur correspond au percentile de 90% des fichiers des fichiers de 1 Mo envoyés * reçus au sens de l’indicateur 3 Débit de données atteint pour 50% Cet indicateur correspond au percentile de 50% des fichiers des fichiers de 1 Mo envoyés * reçus au sens de l’indicateur 3 Débit de données atteint pour 10% Cet indicateur correspond au percentile de 10% des fichiers des fichiers de 1 Mo envoyés * reçus au sens de l’indicateur 3 Un fichier est considéré comme reçu si le fichier est reçu intégralement dans un délai de 5 minutes et si son contenu est Taux de fichiers de 5 Mo reçus* correct. Le taux est calculé sur la base du nombre total de fichiers téléchargés. Débit de données atteint pour 90% Cet indicateur correspond au percentile de 90% des fichiers des fichiers de 5 Mo reçus* reçus au sens de l’indicateur 3 Débit de données atteint pour 50% Cet indicateur correspond au percentile de 50% des fichiers 46/64
  • 47.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles des fichiers de 5 Mo reçus* reçus au sens de l’indicateur 3 Débit de données atteint pour 10% Cet indicateur correspond au percentile de 10% des fichiers des fichiers de 5 Mo reçus* reçus au sens de l’indicateur 3 * les indicateurs correspondants sont publiés sur un mode individuel. 3.1.5. Service d’accès WEB sur PC Une mesure consiste à accéder à internet, puis à réaliser une succession de connexions sur différentes pages pendant une durée de 5 minutes. Les pages retenues pour ce test correspondent aux 13 sites internet les plus fréquentés nationalement par les internautes. Indicateurs WEB Définition Taux de réussite de l’accès à L’accès à un site internet est considéré comme réussi lorsque la un site internet page d’accueil du site est chargée intégralement dans un délai inférieur à 50 secondes dès la première tentative. Ce taux est calculé sur la base du nombre total de mesures. Taux de navigations réussies La navigation est considérée comme réussie si elle est maintenue et maintenues pendant une et active pendant une durée de 5 minutes sans coupure de durée de 5 minutes connexion au réseau de données. Ce taux est calculé sur la base du nombre total de mesures dont l’accès au portail a réussi. 3.2. Principes généraux de la publication 3.2.1. Présentation des tableaux A l’exception des indicateurs relatifs au téléchargement de fichiers en mode FTP, les résultats de l’enquête sont publiés sur la base, d’une part, d’une valeur de référence choisie comme étant la moyenne agrégée pour les trois opérateurs et de sa précision statistique4, et, d’autre part, de la qualification de la performance individuelle de chaque opérateur autour de cette valeur selon les cinq niveaux : très inférieur, inférieur, voisin, supérieur, très supérieur à la valeur de référence. De plus, une comparaison avec les résultats de l’enquête précédente tenant compte de la précision statistique de ces mesures est présente, lorsqu’elle est pertinente, sous forme d’un signe () ou () accolé au résultat indiquant le cas échéant une amélioration ou une dégradation par rapport à l’année précédente, et ce pour la valeur moyenne comme pour les performances individuelles des opérateurs. 4   La précision statistique ( p ) définit autour de la valeur mesurée ( x ) un intervalle de confiance x  p; x  p , tel qu’il contienne la valeur théorique (X) avec une probabilité de 95 %. Elle est calculée en utilisant l’approximation normale de la distribution binomiale, par la formule p  1,96 x  (1  x ) n (où n est le nombre de mesures réalisées pour l’indicateur considéré). 47/64
  • 48.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles 3.2.2. Choix de la valeur de référence Chaque opérateur est qualifié en fonction de la valeur de l’écart entre son résultat (t i) et la valeur de référence (v), qui est la moyenne des résultats des trois opérateurs sur l’indicateur considéré. 3 v  t   ti / 3 i 1 3.2.3. Choix des seuils On réalise le test d’inégalité suivant : t i  v  s mi n i, où smin,i est défini pour chaque opérateur de telle façon que l’intervalle [ t i -smin,i ,100 %] contienne la valeur (Ti) du résultat théorique de l’opérateur avec une probabilité de 95 %. smin,i est calculé par la formule suivante (n étant le nombre de mesures réalisées pour l’indicateur considéré): t (1  t i ) s min,i  1,645  i n Pour chaque opérateur, les seuils S1 et S2 sont définis de la façon suivante :  S1 = Max (1 % ; smin,i)  S2 = 4% 3.2.4. Qualification de l’opérateur en fonction de la valeur de l’écart par rapport aux seuils La qualification de la performance de l’opérateur se fait en fonction de la valeur de l’écart (e) du taux ( t i ) ou du délai ( d i ) mesuré par rapport à la valeur de référence ( v ) : Seuil Performance Définition e <= -S2 –– Très inférieur à la valeur de référence - S2 < e <= - S1 – Inférieur à la valeur de référence - S1 < e <= S1 = Voisin de la valeur de référence S1 < e <= S2 + Supérieur à la valeur de référence e >= S2 ++ Très supérieur à la valeur de référence 3.2.5. Comparaison des résultats avec ceux de la précédente enquête Pour chaque opérateur et pour chaque indicateur, si une comparaison avec l’enquête précédente est possible (c’est-à-dire quand le périmètre et la méthode de mesure sont identiques), l’évolution par rapport à l’enquête précédente est indiquée par un signe accolé au nom de l’opérateur ou de la moyenne mesurée. Ce signe est déterminé en fonction de l’écart entre la valeur (t2) de l'indicateur de cette année par rapport à l'année précédente (t1), selon un seuil ∆ qui prend en compte la précision statistique des résultats :    Max 1%;1.645 p(1  p)(1 / n1  1 / n2 )  n t  n2 t 2 p 11 n1  n2 48/64
  • 49.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles où p est le résultat moyen de mesures réalisées durant cette enquête et l’enquête précédente, et n1 et n2 les nombres de mesures de chacune des deux années. • signe () = amélioration supérieure à ∆ ; • pas de signe = indétermination (écart inférieur à ∆) ; • signe () = dégradation supérieure à ∆. 49/64
  • 50.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles 4. RESULTATS DE L’ENQUETE D’EVALUATION DE LA QUALITE DES SERVICES DE DONNEES DES RESEAUX DE DEUXIEME ET DE TROISIEME GENERATIONS EN FRANCE METROPOLITAINE. 4.1. Les services interpersonnels et de navigation 4.1.1. Ensemble des agglomérations de plus de 50 000 habitants ENSEMBLE DES AGGLOMERATIONS DE PLUS DE 50 000 HABITANTS Moyenne Orange Bouygues SMS SFR mesurée France Telecom 1 956 mes Taux de messages reçus 99.7% = = = Précision statistique ± 0.2% Taux de messages reçus en moins de 30 secondes 99.2% = = = Précision statistique ± 0.4%  Moyenne Orange Bouygues MMS SFR mesurée France Telecom 1 956 mes Taux de messages reçus 97.1% - + =  Précision statistique ± 0.7%   Taux de messages reçus en moins de 3 minutes 96.8% - + =  Précision statistique ± 0.8%   Moyenne Orange Bouygues WAP SFR mesurée France Telecom 3 912 mes Taux de réussite de connexion au portail 95.0% + = -  Précision statistique ± 0.7%  Taux de navigation réussie et maintenue pendant une 99.8% = = = durée de 5 minutes  Précision statistique ± 0.1%    50/64
  • 51.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles Moyenne Orange Bouygues WEB SFR mesurée France Telecom 3 820 mes Accès à un site internet dans un délai inférieur à 50s 97.5% + = = Précision statistique ± 0.5% Taux de navigation réussie et maintenue pendant une durée de 5 minutes 95.9% = = - Précision statistique ± 0.6% Comparaison avec l’étude précédente effectuée pour tous les indicateurs, sauf les indicateurs liés à l’accès web 51/64
  • 52.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles 4.1.2. Agglomérations du TOP 12 AGGLOMERATIONS DU TOP12 Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice-Cannes-Antibes, Toulouse, Bordeaux, Nantes, Toulon, Douai-Lens, Strasbourg et Grenoble Moyenne Orange Bouygues SMS SFR mesurée France Telecom 1 152 mes Taux de messages reçus 99.9% = = = Précision statistique ± 0.2% Taux de messages reçus en moins de 30 secondes 99.4% = = = Précision statistique ± 0.4% Moyenne Orange Bouygues MMS SFR mesurée France Telecom 1 152 mes Taux de messages reçus 96.9% - + =  Précision statistique ± 1.0%  Taux de messages reçus en moins de 3 minutes 96.5% - + =  Précision statistique ± 1.1%   Moyenne Orange Bouygues WAP SFR mesurée France Telecom 2 304 mes Taux de réussite de connexion au portail 95.0% + = - Précision statistique ± 0.9%  Taux de navigation réussie et maintenue pendant une 99.7% = = = durée de 5 minutes  Précision statistique ± 0.2%    Moyenne Orange Bouygues WEB SFR mesurée France Telecom 2 235 mes Accès à un site internet dans un délai inférieur à 50s 97.5% = = = Précision statistique ± 0.6% Taux de navigation réussie et maintenue pendant une durée de 5 minutes 96.0% = = = Précision statistique ± 0.8% Comparaison avec l’étude précédente effectuée pour tous les indicateurs, sauf les indicateurs liés à l’accès web 52/64
  • 53.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles 4.2. Transfert de données en mode paquets 4.2.1. Ensemble des agglomérations de plus de 50 000 habitants ENSEMBLE DES AGGLOMERATIONS DE PLUS DE 50 000 HABITANTS Moyenne Orange Bouygues Connexion au réseau SFR mesurée France Telecom 7 623 mes Taux de connexions réussies au réseau 99.0% = = = Précision statistique ± 0.2%  98.4% Taux de connexions réussies en moins de 10 secondes  = = = Précision statistique ± 0.3%   L’offre grand public testée pour Orange France est F.IEW 2H ajustable 6-12 h L’offre grand public testée pour SFR est Internet pro L’offre grand public testée pour Bouygues Télécom est Internet 3Go 24/24 Orange Bouygues Téléchargement de fichiers de 5Mo SFR France Telecom Taux de fichiers reçus de 5 Mo 96.5% 95.3% 87.3%  Précision statistique ± 1.0% ± 1.2% ± 1.8% Débit moyen de transfert atteint par 90% des fichiers reçus 2230 kbit/s 927 kbit/s 385 kbit/s Débit moyen de transfert atteint par 50% des fichiers reçus 4812 kbit/s 2606 kbit/s 1237 kbit/s Débit moyen de transfert atteint par 10% des fichiers reçus 7006 kbit/s 4710 kbit/s 2364 kbit/s Comparaison avec l’étude précédente effectuée pour tous les indicateurs 53/64
  • 54.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles 4.2.2. Agglomérations du TOP 12 AGGLOMERATIONS DU TOP 12 Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice-Cannes-Antibes, Toulouse, Bordeaux, Nantes, Toulon, Douai-Lens, Strasbourg et Grenoble Moyenne Orange Bouygues Connexion au réseau SFR mesurée France Telecom 4 425 mes Taux de connexions réussies au réseau 99.1% = = = Précision statistique ± 0.3%  98.6% Taux de connexions réussies en moins de 10 secondes  = = = Précision statistique ± 0.4%   Orange Bouygues Envoi de fichiers de 1Mo SFR France Telecom Taux de fichiers envoyés de 1 Mo 97.3% 95.2% 89.0%   Précision statistique ± 1.2% ± 1.5% ± 2.2% Débit moyen de transfert atteint par 90% des fichiers envoyés 864 kbit/s 287 kbit/s 265 kbit/s Débit moyen de transfert atteint par 50% des fichiers envoyés 1970 kbit/s 1447 kbit/s 848 kbit/s Débit moyen de transfert atteint par 10% des fichiers envoyés 2592 kbit/s 2456 kbit/s 1046 kbit/s Orange Bouygues Téléchargement de fichiers de 5Mo SFR France Telecom Taux de fichiers reçus de 5 Mo 97.5% 95.1% 88.1%  Précision statistique ± 1.2% ± 1.5% ± 2.3% Débit moyen de transfert atteint par 90% des fichiers reçus 2583 kbit/s 974 kbit/s 348 kbit/s Débit moyen de transfert atteint par 50% des fichiers reçus 4812 kbit/s 2816 kbit/s 1164 kbit/s Débit moyen de transfert atteint par 10% des fichiers reçus 7006 kbit/s 5211 kbit/s 2367 kbit/s L’offre grand public testée pour Orange France F.IEW 2H ajustable 6-12 h L’offre grand public testée pour SFR est Internet pro L’offre grand public testée pour Bouygues Télécom est Internet 3Go 24/24 Comparaison avec l’étude précédente effectuée pour tous les indicateurs 54/64
  • 55.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles COURBES DE REPARTITION DES ECHANTILLONS ENSEMBLE DES AGGLOMERATIONS DE PLUS DE 50 000 HABITANTS Aide à la lecture du graphique : - 226 mesures dont la connexion réseau a réussi ont dépassé 2 Mbit/s pour Bouygues Telecom - 852 mesures dont la connexion réseau a réussi ont dépassé 2 Mbit/s pour SFR - 1077 mesures dont la connexion réseau a réussi ont dépassé 2 Mbits/s pour Orange France 55/64
  • 56.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles Aide à la lecture du graphique : Il y a eu 50 mesures pour SFR dont les débits ont été enregistrés entre 1 Mbit/s et 1,2 Mbit/s. ENSEMBLE DES AGGLOMERATIONS DE PLUS DE 50 000 HABITANTS Echantillon atteignant un débit minimum en Upload 1400 1200 Orange France SFR Cumul des échantillons 1000 Bouygues Telecom 800 600 400 200 0 0 500 1000 1500 2000 2500 3000 Débit (kbps) 56/64
  • 57.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles Répartition des débits Upload 250 Orange France 200 SFR Nombre de mesures Bouygues Telecom 150 100 50 0 0 500 1000 1500 2000 2500 3000 Débit (kbps) 57/64
  • 58.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles AGGLOMERATIONS DU TOP 12 Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice-Cannes-Antibes, Toulouse, Bordeaux, Nantes, Toulon, Douai-Lens, Strasbourg et Grenoble 58/64
  • 59.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles AGGLOMERATIONS DU TOP 12 Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice-Cannes-Antibes, Toulouse, Bordeaux, Nantes, Toulon, Douai-Lens, Strasbourg et Grenoble Echantillon atteignant un débit minimum en Upload 800 700 Orange France SFR Cumul des échantillons 600 Bouygues Telecom 500 400 300 200 100 0 0 500 1000 1500 2000 2500 3000 Débit (kbps) Répartition des débits Upload 200 Orange France SFR 150 Nombre de mesures Bouygues Telecom 100 50 0 0 500 1000 1500 2000 2500 3000 Débit (kbps) 59/64
  • 60.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles 5. ANNEXE : MESURES EXPERIMENTALES SUR SMARTPHONES En complément des mesures décrites précédemment, des mesures de débit et de navigation web ont également été réalisées, à titre expérimental, depuis des smartphones, afin de tester des protocoles de mesure adaptés à ces terminaux. Les protocoles de mesures ayant pu être pleinement mis en œuvre, des résultats issus de ces mesures expérimentales sont reproduits dans ce rapport à titre indicatif. En raison de la faible volumétrie des mesures, la précision statistique est inférieure à celle des autres mesures et seules des valeurs agrégées entre opérateurs sont présentées. 5.1. Configuration générale Des mesures expérimentales de débit et de navigation web sur smartphones ont été réalisées sur l’ensemble des agglomérations de plus de 400 000 habitants (TOP 12) : Paris, Marseille- Aix-en-Provence, Lyon, Lille, Nice-Cannes-Antibes, Toulouse, Bordeaux, Nantes, Toulon, Douai-Lens, Strasbourg et Grenoble, sur les mêmes lieux que les mesures de qualité pour les services de données qui figurent dans le rapport. La répartition des lieux par agglomération est illustrée sur la carte ci-dessous: 60/64
  • 61.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles Au total, 261 lieux ont été audités : Agglomérations Total PARIS 77 MARSEILLE 21 LYON 23 LILLE 20 NICE 19 TOP 12 TOULOUSE 16 BORDEAUX 16 NANTES 12 TOULON 15 DOUAI-LENS 14 STRASBOURG 14 GRENOBLE 14 Nombre total des lieux audités 261 5.2. Volumétrie Sur chaque lieu, ont été réalisés un téléchargement d’un fichier de 5 Mo (downlink), un envoi d’un fichier de 1 Mo (uplink) et deux navigations web. Ce qui conduit à une volumétrie de 1044 mesures réalisées par opérateur : Echantillon Downlik 5 Mo Uplink 1 Mo Navigation web TOP12 261 261 522 5.3. Terminaux utilisés L’étude a été réalisée avec 2 types de smartphones : un terminal équipé du système d’exploitation Android (53% de mesures) et un iPhone (47% des mesures). Les smartphones et les abonnements suivants, en offre grand public, ont été utilisés: Opérateur Android iPhone Abonnements Orange France Samsung Galaxy SI9000 iPhone 4 Origami star 1h SFR HTC Desire HD iPhone 4 Illymithics 5 webphone Bouygues Telecom Samsung Galaxy SI9000 iPhone 4 NEO 4 smartph 5.4. Outil et protocoles Les mesures de débit et de navigation web sur smartphones ont été réalisées à l’aide d’un outil d’acquisition automatique de mesures MobiSpeed installé sur chaque smartphone. 5.4.1. Transfert de données en mode paquets Le protocole de mesures de débit est identique à celui des mesures FTP sur PC avec les clés 3G+ (voir partie 2.5). Une mesure consiste à établir une connexion avec un serveur et à télécharger ou à envoyer des fichiers en utilisant le protocole de transfert de données avec le protocole http. Les fichiers utilisés pour les transferts de données sont identiques pour les 3 opérateurs :  un fichier de 5 Mo pour le téléchargement en sens descendant (download) 61/64
  • 62.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles  un fichier de 1 Mo pour l’envoi en sens montant (upload) Les time out de téléchargement de fichiers sont respectivement de 2 minutes en upload et de 5 minutes en download. Au-delà, les téléchargements sont abandonnés et considérés comme ayant échoué. 5.4.2. Navigation WEB Le protocole de navigation web est identique à celui des mesures web sur PC avec les clés 3G+ (voir partie 2.6). Une mesure consiste à accéder à internet, puis à réaliser une succession de téléchargements de différentes pages pendant une durée de 5 minutes avec 20 secondes sur chaque page téléchargée. Les pages retenues pour ce test, identiques pour les 3 opérateurs, correspondent aux 12 sites internet les plus fréquentés par les internautes mobiles nationalement (hors sites opérateurs ou constructeurs) : Pages web http://touch.facebook.fr http://www.google.fr http://m.youtube.fr http://www.wikipedia.fr http://twitter.com http://smartphone.pagesjaunes.fr http://android ou iphone.mappy.com/ http://fr.m.yahoo.com http://iphone.dailymotion.com http://mobile.allocine.fr http://www.leboncoin.fr http://m.linternaute.com La navigation est considérée comme ayant réussi si aucune erreur parmi celles listées ci- dessous ne s’est produite pendant la navigation de 5 minutes :  non affichage de deux pages successivement, après un time out de 50 secondes pour chacune ;  blocage de la navigation ou rupture de la connexion ;  messages d’erreur remontés par le terminal. Au terme de la session de 5 minutes de navigation, si une page est encore en cours de téléchargement, on attend qu’elle finisse de se charger pour qualifier la session. 62/64
  • 63.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles 5.5. Résultats des mesures expérimentales réalisées sur smartphone sur le TOP 12 Les mesures présentées ci-dessous sont des valeurs agrégées entre opérateurs. 5.5.1. Transfert de données en mode paquets AGGLOMERATIONS DU TOP 12 Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice-Cannes-Antibes, Toulouse, Bordeaux, Nantes, Toulon, Douai-Lens, Strasbourg et Grenoble L’offre grand public testée pour Orange France est origami star 1h L’offre grand public testée pour SFR est illymitics 5 web phone L’offre grand public testée pour Bouygues Télécom est NEO 4 smartph 63/64
  • 64.
    ARCEP- résultats pourl’année 2011 de l’enquête de qualité des services de voix et de données des réseaux mobiles 5.5.2. Navigation web AGGLOMERATIONS DU TOP12 Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice-Cannes-Antibes, Toulouse, Bordeaux, Nantes, Toulon, Douai-Lens, Strasbourg et Grenoble 64/64