L’info en 20 minutes : vite fait, mal fait

Billet écrit avec Stéphanie Molinero

Exclusif ! Le journal 20 Minutes sort aujourd’hui un sondage dont la révélation est un pétard mouillé.

Le rap, neuvième genre musical préféré des Français; MC Solaar, rappeur le plus apprécié; Booba, La Fouine, et Joeystarr dans le top 3 des rappeurs les moins aimés… Voici les principales conclusions un sondage YouGov consacré au rap et révélé en exclusivité pour 20 Minutes. A cette occasion, nous avons demandé aux sociologues Karim Hammou et Stéphanie Molinero, auteurs respectivement d’Une Histoire du rap en France et Publics du rap de commenter ces résultats.

L’article est signé par la journaliste Dolores Bakèla. Ce n’est pourtant pas à elle que nous allons faire plusieurs griefs dans ce billet. Car la journaliste, après avoir laborieusement travaillé avec deux sociologues pointilleux (nous quoi!), avait obtenu notre accord pour une interview commentant de façon précise l’étude en question. Mais celui qui a « repris » son travail en a profité pour le bâcler.

Rien de neuf sous le soleil de la presse. Mais nous retrouvant avec Stéphanie Molinero embarqués dans cette galère, une mise au point s’impose. Car en publiant nos propos de façon tronquée, la rédaction de 20 Minutes nous attribue quelques naïvetés qui n’honorent pas le métier de sociologue. Et en passant, elle fait peu de cas du respect de notre travail, des lecteurs et lectrices du journal, et de la propre charte que 20 Minutes s’enorgueillit de respecter1.

Quand des chiffres douteux deviennent des informations exclusives

Dans cet article, on affirme ainsi que les femmes seraient deux fois plus nombreuses à écouter du rap que les hommes2. Et les sociologues de service – Stéphanie et moi – de simplement s’étonner :

Résultat extrêmement surprenant ! Les femmes ne sont pas nécessairement moins amatrices de rap que les hommes. « Il existe des enquêtes antérieures solides qui présentent des résultats contradictoires avec ceux-ci. Dans celle sur les Pratiques culturelles des Français du ministère de la Culture de 1997, les femmes étaient trois fois moins nombreuses que les hommes à déclarer écouter régulièrement du rap », notent les deux sociologues.

Vraiment ? Non, car en réalité, ce chiffre est l’indice qu’il y a sans doute de véritables biais dans l’enquête menée par YouGov. Cette enquête s’appuie sur un échantillon de la population qui se veut représentatif, mais qui est très réduit – si on le compare, par exemple, à celui des enquêtes de référence sur les pratiques culturelles des français menées par le ministère de la Culture. De plus elle opte pour une méthode qui n’est pas sans poser problème, comme on va y revenir. Dans la dernière enquête sur les pratiques culturelles des Français, publiée en 2008, on comptait 17% d’hommes et 11% de femmes déclarant écouter régulièrement du rap – soit un rapport de plus d’une femme auditrice pour deux hommes. Aussi, nous ajoutions :

Est-il possible qu’en 7 ans, on soit passé à un public du rap composé pour deux tiers de femmes, soit une inversion pure et simple du rapport ? Ça nous  paraît peu probable. Pour en avoir le cœur net, il faudrait examiner le profil précis des répondants et les redressements d’échantillon effectués sur une population de base où les hommes de plus de 55 ans semblent surreprésentés.
Nous avons insisté, bien entendu, pour que notre propos, sur ce point précis, ne soit pas tronqué. En vain.

Mais qu’est-ce que YouGov ?

Pourquoi faire appelle à des sociologues si c’est pour occulter ce qui fait notamment parti du cœur de leur compétence : évaluer la fiabilité de données statistiques ? Mystère. Toujours est-il que la façon dont ces chiffres sont construits méritait d’être portée à la connaissance des lecteurs de 20 Minutes. Car YouGov est un institut de sondage et d’études de marché qui s’appuie sur des sondés recrutés exclusivement en ligne, sur la base du volontariat (on s’inscrit sur le site pour faire partie des panels de la société) et avec à la clef une forme de rémunération, via des points.

Il est difficile de connaître exactement la fiabilité de ces nouvelles méthodes d’enquête et les biais qu’elles entraînent3. YouGov lui-même en a conscience, qui souligne :

Notre seul moyen de démontrer la qualité de nos recherche et de comparer nos prédictions aux ‘véritables résultats’. C’est la raison pour laquelle nous effectuons et publions systématiquement des sondages d’intentions de vote, depuis 2001. Ceci nous permet aussi d’ajuster encore plus précisément nos méthodes4.

C’est donc par une comparaison avec les résultats électoraux que l’institut légitime ses sondages sur les intentions de vote. Mais il n’y a aucune raison de penser que le vote aux élections et les goûts musicaux fonctionnent de la même façon. La fiabilité présumée de l’un ne nous dit rien des autres. Or la comparaison avec l’enquête sur les Pratiques culturelles des Français, bien plus fiable ne serait-ce que par l’ampleur du nombre de personnes interrogées, conduit à mettre en doute les chiffres construits sur la base d’un échantillon bien plus petit et dont la composition semble poser des problèmes importants.

Un examen attentif des chiffres complets de l’enquête YouGov sur l’écoute du rap fait ainsi apparaître un problème dans la constitution de l’échantillon que les techniques de redressement n’ont pas forcément suffi à compenser. C’est précisément cette question de la surreprésentation probable des hommes âgés, que nous pointions dans notre réponse à 20 Minutes5

De tout cela, il ne sera plus question dans l’article de 20 Minutes finalement publié. On ne mégote pas la fiabilité d’un chiffre pour lequel on a payé6, et peu importe s’il pourrait bien ne rien vouloir dire. De même, les extraits finalement publiés évite soigneusement la remise en cause des questions – de nature à influencer les réponses. Ainsi, commentant ce que selon nous « révélait ce sondage », nous précisions :

La fracture entre l’opinion des personnes qui écoutent du rap et celles qui n’en écoutent pas est spectaculaire et très intéressante. Plus de 80% des premières considèrent les rappeurs comme des artistes comme les autres. Parmi ceux qui déclarent ne pas en écouter, ils ne sont que 44%.

article 20 minutesEt d’ajouter :

Mais poser la question est déjà insinuer le doute. Et rappelons que sur 1020 personnes, seules 166 déclaraient écouter du rap, soit un nombre trop faible pour que la plupart des chiffres détaillés soient significatifs. C’est toujours tentant de céder à l’effet de réel des chiffres – mais c’est bien leur construction qui importe !

Passage lui aussi coupé au montage. Peut-être, dans l’esprit du journaliste éditeur, fallait-il une happy end, pas une ouverture réflexive ? Ou quand un journal d’information fait son cinéma.

Alors, sondage exclusif ou opération de comm ?

C’est ce que l’on peut se demander au terme de l’opération. La hiérarchie de l’information, dans l’article publié sur le web, plaide clairement pour la second terme de l’alternative. La publicité pour YouGov est plus grosse que le titre même du papier. Quoi qu’il en soit, on saura à quoi s’en tenir…

Annexe : l’interview complète telle qu’elle aurait due être publiée

Voici l’interview retravaillée par Dolores Bakèla pour qu’elle entre dans les normes du journal, et qui nous satisfaisait totalement. Son « remaniement » par un journaliste éditeur confine à une déformation. Informés de ce dernier « rebond » de notre texte, nous avons explicitement formulé nos objections, qui sont restées lettre morte.

Sur 1020 personnes interrogées, 18,5% écoutent du rap, entre autres. Le rap est-il bien « la musique préférée des Français » comme le clamait Laurent Bouneau, le directeur de Skyrock ?

Non, et ce dernier le savait très bien. Sa formule, mi-prophétique mi-provocatrice, avait surtout pour but d’attirer la lumière sur le livre qu’il a publié avec Fif du site rap Booska-P. Chez les moins de 35 ans, le rap est bien un genre musical majeur, au même titre que le rock ou la variété française. Cette fragmentation des goûts musicaux est assez récente. Jusqu’à la fin des années 1990, c’était les « variétés » (françaises ou internationales) qui dominaient, y compris chez les jeunes.

Dans cet échantillon, un quart des auditeurs sont des femmes, les hommes sont moitié moins.

Résultat extrêmement surprenant! Les femmes ne sont pas nécessairement moins amatrices de rap que les hommes. Il existe des enquêtes antérieures solides qui présentent des résultats contradictoires avec ceux-ci. Dans celle sur les Pratiques culturelles des Français du ministère de la Culture de 1997, les femmes étaient trois fois moins nombreuses que les hommes à déclarer écouter régulièrement du rap. On pourrait formuler ce rapport autrement: dans les publics du rap, on dénombrait alors un quart de femmes. Avec l’enquête de 2008, un tiers de femmes déclaraient en écouter régulièrement7. Est-il possible qu’en 7 ans, on soit passé à un public du rap composé pour deux tiers de femmes, soit une inversion pure et simple du rapport? C’est peu probable à mon avis. Il faudrait examiner le profil précis des répondants et les redressements d’échantillon effectués sur une population de base où les hommes de plus de 55 ans semblent surreprésentés. La fiabilité de l’enquête est mise à mal au moins sur ce point.

Le rappeur le plus apprécié, bien que talonné par Maitre Gims, est MC Solaar.

Les gens ont de la mémoire ! L’enquête les a bien aidé à la réactiver : il n’est pas certain que si MC Solaar n’avait pas été cité, une proportion aussi importante de personnes aurait pensé à le citer. NTM et IAM, eux, n’étaient pas inclus dans la liste, -car se prononcer sur un groupe ou sur l’un de ses membres, ce n’est pas la même chose-, auraient-il changé le résultat ? Le sondage raisonne sur l’ensemble de la population française, incluant donc une majorité de personnes qui déclarent ne pas écouter du rap. MC Solaar est le rappeur le plus apprécié… notamment chez ceux qui n’écoutent pas de rap ! C’est donc plus d’une opinion a priori que d’un goût associé à une écoute effective. Chez les personnes qui écoutent du rap, Maitre Gims et Soprano le détrônent.

Les rappeurs parlent souvent de leur déficit de présence dans les médias. L’échantillon, à 41,9%, estime leur présence suffisante.

L’opinion, fût-elle publique, n’est pas toujours le meilleur juge en matière d’inégalités ou d’injustices. Or, c’est une opinion qui est sollicitée par ce genre de questions. Ici encore, il est intéressant de raisonner en distinguant celle des gens qui se disent auditeurs de rap et celle de ceux qui disent ne pas en écouter. Les premiers sont presque 25% à estimer que la place du rap est insuffisante, les seconds à peine 5%. Et ce, sans même entrer dans le débat de la nature exacte de leur « présence dans les médias » – entre médiatisation de polémiques ou de faits divers et médiatisation pour des motifs proprement artistiques.

Le rappeur Black M a pu affirmer que le rap est la nouvelle variété. 57% trouve que ce n’est pas le cas.  

Une opinion peut sembler largement partagée sans s’en trouver confirmée ou infirmée. Black M parle peut-être de sa propre conception du rap, et de la façon dont il conçoit ses publics – aussi large et diversifié que possible, ce qui est une façon de définir les « variétés ». Les auditeurs de rap partagent plutôt son opinion (46,2%), à l’inverse de l’ensemble de la population; cela semble être un indice de la perception du rap par la majorité de ses amateurs: une musique de divertissement.

Les très médiatisés Booba, La Fouine, et Joeystarr sont dans le top 3 des rappeurs les moins aimés.

Parce médiatisation n’est pas synonyme de valorisation ! C’est même le contraire: depuis une quinzaine d’années, les médias sont particulièrement disposés à assurer une couverture médiatique massive en s’appuyant sur des motifs d’indignation ou de paniques morales montés en épingle. Les succès de scandale, déjà décisifs dans la carrière d’un compositeur comme Richard Strauss au début du XXe siècle, ont encore de beaux jours devant eux.

Que permet de révéler ce sondage ? 

La fracture entre l’opinion des personnes qui écoutent du rap et celles qui n’en écoutent pas est spectaculaire et très intéressante. Plus de 80% des premières considèrent les rappeurs comme des artistes comme les autres. Parmi ceux qui déclarent ne pas en écouter, ils ne sont que 44%. Mais poser la question est déjà insinuer le doute. Mais rappelons que sur 1020 personnes, seules 166 déclaraient écouter du rap, soit un nombre trop faible pour que la plupart des chiffres détaillés soient significatifs. C’est toujours tentant de céder à l’effet de réel des chiffres – mais c’est bien leur construction qui importe !

  1. Extrait : « 3.7 La relecture d’une interview par la source se conçoit si elle le demande, dès lors que cette source est évidemment propriétaire de sa pensée et libre de son propos. Cette pratique respectueuse des partenaires de notre journal doit contribuer à construire la réputation et la notoriété de 20Minutes. Cette relecture par la source autorise des corrections de pure forme et doit respecter un délai de publication. Passé ce délai, et après avoir clairement exprimé cette condition, la rédaction s’autorise à publier l’interview dans sa forme originelle ». Les promesses n’engagent que ceux qui les croient. []
  2. « 25 % des femmes écoutent du rap contre 12 % des hommes ». []
  3. Voir les points soulevés par Claire Durand lors d’un colloque en 2013 et sa bibliographie. Elle cite une étude qui, précisément, montre qu’il existe entre internautes et non-internautes en France sur les questions relatives aux pratiques culturelles, y compris après redressement. []
  4. La méthodologie YouGov, http://recherche.yougov.fr/services/la-methodologie-yougov/ []
  5. 428 personnes de 55 ans et + ont été interrogés pour cette enquête, soit une surreprésentation de près plus de 25% par rapport à la population française. YouGov a pondéré les résultats en fonction de ce décalage, mais cette pondération ne permet pas nécessairement de réduire tous les effets d’une surreprésentation dont l’influence peut être très importante sur une pratique culturelle comme l’écoute du rap – dans laquelle le facteur de l’âge est décisif. En outre, sur un échantillon de 1020 personnes seulement, la plupart des données détaillées engagent un nombre si faible de réponses que leur volatilité est très forte : sur 1020, seules 166 ont déclaré écouter du rap. []
  6. On l’espère du moins. Car si l’enquête commandée n’a pas fait l’objet d’un paiement, mais d’une sorte de partenariat entre le journal et l’institut, alors il n’y a plus de doute : ce « sondage exclusif » est bel et bien une opération de communication – de la publicité déguisée. []
  7. Formulation fautive, que j’ai laissé passer à la relecture. Il aurait fallu écrire : « Avec l’enquête de 2008, c’était un tiers des publics du rap qui était composé de femmes ». Mea Culpa, signé Karim. []

2 réflexions sur « L’info en 20 minutes : vite fait, mal fait »

  1. Eh ben mes pauvres…
    Après, c’est aussi le genre d’article qui est « vite lu » (tout va « vite » décidément): j’avoue que c’était ma lecture, et que, vous connaissant tous les deux, je pressentais un peu ce que vous racontiez
    Dommage que ce billet ne soit pas repris dans « Yahoo actualités » & co, comme l’article le fut…
    Anthony

    1. Eh eh 🙂
      Tu as totalement raison sur le « vite lu ». Et pour googlenews et autres yahoo actu… faudrait voir comment être moissonné aussi par ces grosses machines. Ca peut peut-être se faire !
      Merci de l’idée.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *