Différences

Ci-dessous, les différences entre deux révisions de la page.

--- divers:conseils-creation-sites-de-liens [le 11/02/2016 à 00h52]
111110101011
+++ divers:conseils-creation-sites-de-liens [le 12/11/2017 à 17h27] (Version actuelle)
111110101011 [Sites de liens: publics ou privés ?]
@@ Ligne 5: / Ligne 5: @@
 Tous les sites de liens ne se valent pas. Ce n'est pas une question d'esthétique. Ce n'est pas non plus une question d'avoir une grande ou une petite communauté d'utilisateurs. Ce sont par contre des questions de :
-  * Quelle et la politique d'organisation du site ? (le site est-il accessible publiquement par quiconque ou restreint à certaines personnes ? quel rôle donner aux modérateurs ? quels fichiers sont acceptés au sein du site et lesquels sont rejetés ? Comment les frais d'hébergement sont-ils remboursés ?)
+  * Quelle et la politique d'organisation du site ? (le site est-il accessible publiquement par quiconque ou restreint à certaines personnes ? quelle part de contrôle se réserve l'équipe d'administrateurs sur le site ? comment se fait le tri des fichiers proposés en téléchargement ? Comment les frais d'hébergement sont-ils remboursés ?)
   * Comment le site est-il conçu techniquement ?
 Ces deux grandes questions sont liées, et l'une déborde souvent sur l'autre.
-On va d'abord présenter ce qu'il est possible de faire techniquement, en expliquant les raisons des choix mis en avant.
+Cet article va donc s'intéresser à quelques choix de conception, qui sont habituellement mis de côté, et qui peuvent contribuer grandement à la qualité du site lorsqu'ils sont suivis.
 ===== Aspects technique de la conception de sites de liens =====
 Voici les points de recommandation qu'on peut donner pour la conception d'un site de liens, qu'il s'agisse de liens ed2k, torrent ou direct download.
-  * Code : Le code du site web doit être publié sous une licence libre
+  * Code : Le code du site web doit être publié sous une licence libre, cela afin d'améliorer collaborativement la qualité des sites de liens.
   * Données relatives aux oeuvres : Le site doit utiliser des banques de données libres, ouvertes en lecture et en écriture (wikipedia, [[:documentation:audio:musicbrainz-picard|musicbrainz]]...), pour alimenter ses descriptions et pour structurer ses données
-  * Base de données : Proposer des exportations anonymisées de la base de données, permettant à d'autres de répliquer le même site ailleurs
+  * Réplication : Vous devez faire don du site que vous concevez à vos visiteurs. Outre le code source libre, vous devrez donc aussi proposer des exportations anonymisées de votre base de données, permettant à d'autres de répliquer le même site ailleurs
-  * (Le serveur peut effectuer des traitements sur les fichiers pour fournir certaines données (infos sur les codecs, détails sur les fichiers...) )
 On les traitera dans le détail ci-dessous.
@@ Ligne 35: / Ligne 33: @@
 Soyons ambitieux pour ne plus avoir à subir l'informatique, et produisons du code libre.
-=== Application ===
+=== Mise en pratique ===
 Il y a plusieurs façons de concevoir un site web :
@@ Ligne 50: / Ligne 48: @@
   * Existe t-il des logiciels pour les sites de liens autres que BitTorrent ?
-Voir aussi : [[:p2p:bittorrent:trackers|liste de trackers bittorrent]]
+Voir aussi : [[p2p:bittorrent_reseau:trackers|liste de trackers bittorrent]]
 Peut-être aussi qu'on peut utiliser un CMS généraliste (wordpress, joomla...) selon l'usage que l'on prévoit, car le rôle minimal que doit tenir un site de liens, c'est de pouvoir afficher des liens dans une page, ce que n'importe quel CMS sait faire.
@@ Ligne 67: / Ligne 65: @@
 === Principe ===
-Là aussi il est un peu question de ne pas réinventer la roue.
+La plupart des sites de liens proposent une fiche de présentation pour chaque contenu/oeuvre disponible. Ces fiches contiennent une série d'informations qui aideront l'internaute à décider de s'il récupére/visionne ce contenu ou pas.
-La plupart des sites de liens proposent une fiche de présentation pour chaque oeuvre disponible. Ces fiches contiennent une série d'informations qui aideront l'internaute à décider de s'il récupére/visionne cette version proposée de l'oeuvre ou pas. Ces informations doivent être récupérées quelque part.
+D'où ces informations peuvent-elles provenir ?
-Pour certains types de contenus (notamment les films et la musique), il existe des sites qui collectent les descriptions d'un maximum d'oeuvres. Il est possible d'en tirer profit en programmant le nécessaire pour interroger ces sites. Le but, c'est d'éviter que vos uploadeurs passent leur temps à faire des copier/coller d'un site vers l'autre.
+== Types de données ==
+Il faut d'abord distinguer plusieurs types de données.
+On a donc 3 catégories de données qui nous intéressent :
+  - données de l'oeuvre
+  - données de la release
+  - données techniques des fichiers
 === Schémas de données ===
@@ Ligne 115: / Ligne 121: @@
 Ces informations peuvent être retrouvées à partir des fichiers eux-mêmes.
-== Conclusion ==
-On a donc 3 catégories de données qui nous intéressent :
-  - données de l'oeuvre
-  - données de la release
-  - données techniques des fichiers
 Réfléchir à ces schémas de données n'est pas une tâche facile. Ce travail est parfois abordé par d'autres projets qui travaillent sur les métadonnées, les bases de données, le web sémantique, ou les normes définissant des structures de données. On essayera de voir quelles solutions existantes nous pourrons réemployer dans le cadre d'un site de liens.
@@ Ligne 130: / Ligne 131: @@
   * pour les données de la release, voir s'il est possible d'utiliser les listings existants, et en ultime recours, demander à l'uploadeur de les renseigner
   * pour les données techniques des fichiers, les déterminer via des outils fonctionnant côté serveur
+Pour certains types de contenus (notamment les films et la musique), il existe des sites qui collectent les descriptions d'un maximum d'oeuvres. Il est possible d'en tirer profit en programmant le nécessaire pour interroger ces sites. Là aussi il est question de ne pas réinventer la roue. Le but, c'est d'éviter que vos uploadeurs passent leur temps à faire des copier/coller d'un site vers l'autre, et que votre site réutilise une base de données existente pour s'alimenter.
+Notons toutefois qu'il n'existe pas de banque de données utilisable pour tout, ce qui laisse plusieurs options :
+  * Vous trouvez les descriptions sur un site quelconque, et les copiez/collez sur votre site.
+  * Vous vous lancez dans une initiative de logiciel libre pour constituer une base de données sur le type d'oeuvre qui vous intéresse.
+  * Vous ne décrivez pas ces contenus, ou bien vous renoncez à lister ces contenus.
+== Conclusion ==
 === Récupération des données ===
@@ Ligne 141: / Ligne 152: @@
   * Pour les films, on connaît Allocine, IMDB, TMDB...
   * Pour la musique, on connaît Discogs, Musicbrainz, RateMyMusic...
+  * Pour les livres, journaux et revues, [[http://blog.musicbrainz.org/2016/02/10/bookbrainz-february-2016-release/|BookBrainz]], [[wpfr>International_Standard_Book_Number]], [[http://agregationchimie.free.fr/book_isbn.php
+|un article]]...
+  * Pour les jeux, on connaît jeuxvideo.com, [[http://thegamesdb.net/|thegamesdb.net]], [[http://www.mobygames.com/browse/games|mobygames.com]]...
+  * Pour les logiciels, http://fr.softonic.com, ...
+  * Pour les sous-titres : opensubtitles
 La philisophie et les usages permis par ces banques de données varie de l'une à l'autre. Certaines ne donnent accès qu'à certaines données, et font payer les utilisateurs s'ils souhaitent accéder à davantage. L'accès à ces données se fait généralement au moyen d'une API utilisable par les développeurs web. Toutefois cette API est potentiellement elle aussi volontairement bridée. Aussi, les conditions générales d'utilisation de ces services font qu'on ne sait pas toujours ce qu'on a le droit de faire avec les données qui en sont issues.
@@ Ligne 149: / Ligne 165: @@
   * Musicbrainz, pour la musique
   * The Movie Database (TMDb) pour les films et séries
+  * BookBrainz, pour la littérature (livres, revues, etc.)
+  * Opensubtitles, pour les sous-titres
 Il faudra donc voir comment interconnecter son site avec ces bases de données.
@@ Ligne 195: / Ligne 213: @@
   * https://www.themoviedb.org/documentation/api/terms-of-use
-===== Modèles de recherche de fichiers =====
-L'une des problématiques à laquelle doivent répondre tous les concepteurs de solutions de téléchargement, c'est : comment permettre à l'utilisateur de faire une recherche pour trouver le fichier qui lui convient.
-Voyons comment 2 logiciels, [[p2p>eMule]] et [[p2p>BitTorrent]] y répondent.
-==== eMule et BitTorrent : des intelligences différentes ====
-Dans eMule, la recherche de fichiers peut s'effectuer via :
-  - les serveurs eDonkey (directement depuis le logiciel)
-  - la DHT (directement depuis le logiciel)
-  - un site de liens <nowiki>ed2k://</nowiki> (via un navigateur web)
-Avec BitTorrent, la recherche de fichiers peut s'effectuer via :
-  - un site de liens torrent (via un navigateur web)
-  - la DHT (directement depuis le logiciel) dont le code a été repris depuis eMule
-Avec eMule, la DHT et les serveurs eDonkey avaient une place prépondérante. Cela signifie que la recherche de fichiers se faisait essentiellement au sein du logiciel. Cela signifie aussi qu'aucun tri n'était fait sur les fichiers mis à disposition : les fichiers de tout le monde et n'importe qui apparaissaient dans les résultats de recherches. Cette absence de sélection rend le réseau plus sensible aux «[[def>fake|fakes]]».
-Pour y remédier, quelques mécanismes ont été intégrés directement au logiciel eMule. Lors d'une recherche de fichier avec eMule, pour un fichier donné, il était possible de voir une liste des noms alternatifs sous lesquels ce même fichier était publié. Par exemple, lorsqu'on souhaitait télécharger «Inglourious Basterds» et qu'on utilisait cette fonction, on pouvait s'apercevoir que ce fichier était distribué en 12 exemplaires sous le bon nom, mais également distribué en 60 exemplaires sous le nom de «Pamela et l'attaque des tétons de l'espace». On pouvait donc flairer qu'il y avait un hic. Cela signifiait que le fichier qu'on peut choisir de télécharger n'est sans doute pas Inglorious Basterds.
-Autrement dit, les logiciels tels qu'eMule intègrent **une intelligence**, qui permet à l'utilisateur de retrouver ses petits avec plus de facilité.
-Autre signe d'intelligence, eMule est en mesure de calculer automatiquement le bitrate des MP3s distribués via son réseau. Il indique donc ce bitrate dans une colonne de vos résultats de recherche, et vous permet de filtrer selon ce critère (en éliminant les fichiers de bitrate trop bas, par exemple). L'utilisateur a donc un bon contrôle sur la qualité des fichiers qu'il va rechercher.
-Cette intelligence intégrée à la recherche de fichiers (recherche des fakes, choix du bitrate) n'est pas fournie d'emblée par BitTorrent, qui a volontairement délaissé cet objectif, pour se concentrer sur d'autres objectifs (notamment la distribution des fichiers).
-Le choix d'écarter certains problèmes peut se comprendre. Certains problèmes sont en effet difficiles à résoudre de façon informatique. Mais si ces problèmes ne sont pas résolus de façon informatique, c'est aux humains de s'embarasser avec, ce qui peut signifier que l'utilisateur devra passer plus de temps à faire ses recherches, car les outils mis à sa disposition sont plus fastidieux à utiliser.
-Côté gestion humaine, pour ce qui est de la recherche des fakes, il est fréquent que le tri soit effectué en amont par la communauté. Ce n'est donc pas le logiciel qui va chercher à détecter les fakes, mais les humains qui s'organiseront pour retirer les fakes publiés via leur site.
-Côté programmation, plusieurs initiatives ont essayé d'automatiser des tâches à divers degrés, notament [[https://btdigg.org/about/|btdigg]], [[https://thepiratebay.se/|the pirate bay]], [[https://what.cd/|what.cd]]... Ces outils sont parfois directement intégrés dans le code web du site. Parfois il s'agit d'outils d'administration à exécuter sur le serveur. Il existe donc, pour BitTorent aussi, tout un attirail d'outils intelligents qui servent à gérer le site. Le but de cet article est de vous inviter à les utiliser, à les développer, et à en démocratiser l'usage.
@@ Ligne 249: / Ligne 233: @@
 Voir aussi les articles [[def>ratio]] et [[def>seedbox]], qui contiennent quelques critiques.
+===== Trackers publics/privé et risques =====
+(tiré d'un commentaire)
+Bon, tu as raison, il y a sans doute des trackers "privés" pour lesquels il serait difficile à la Hadopi d'y entrer.
+Mon point est de dire que la stratégie de "discrétion" n'est pas parfaite, et que dire "privé" ce n'est pas suffisant. Car même pour un tracker privé il faut qu'il y ait des portes ouvertes, il faut aussi dire en quoi la stratégie d'ouverture est pertinente (par expl, par co-optation uniquement, par preuves, en n'ouvrant le site que sur certaines périodes). Et que ces méthodes ne sont pas non plus parfaites.
+Et tout ça pour quoi, au final, puisque même pour les trackers publics la Hadopi ne refile que quelques maigres amendes.
+C'est donc au moins ces 3 points : incertitudes sur les méthodes de protection des trackers privés, quasi absence de risque sur les trackers publics, et difficulté d'accès aux trackers privés, qui à mon sens justifieraient une certaine retenue avant de cracher sur les trackers publics.
+Dernier point que je ne développerai pas en longueur, les trackers publics ne font que suivre ce que le protocole BitTorrent permet. Si l'humain doit tordre le protocole pour répondre à ses besoins, c'est que le protocole n'est pas le bon. Le moment où la gêne de la Hadopi sera effective, il faudra des protocoles qui empêchent la surveillance du réseau (et à ce moment là les communautés de trackers privés bittorrent feront office de dinosaures qui ont plus d'inconvénients que de raisons d'être).
+===== Tracker sur invitation ? =====
+Les trackers "sur invitation", ça flaire un peu comme les sites de «vente privée», soit un accès réservé à une élite qui jouit de produits de qualité. Cela peut avoir du sens quand la rareté a du sens. Mais dans le monde numérique, il n'y a pas de rareté ! Et puis, tout le monde a envie d'en profiter... et rien n'empêche n'importe qui de proposer son initiative de vente privée... Du coup, ce n'est plus vraiment réservé à une élite, mais quelque chose de populaire, qui peut malgré tout jouer sur le sentiment d'appartenir à une élite. La notion d'élite étant elle-même une fumisterie : face à l'univers, tout n'est que poussière. L'élite peut donc redescendre sur Terre.
+Il y a tout de même quelques intentions positives derrière ce concept d'invitation. Le procédé rejoint en fait celui de réseau de confiance, ou toile de confiance : un tel fait confiance à une personne, elle l'invite donc à participer au réseau. Dans une vraie toile de confiance comme celle de PGP ou d'autres réseaux P2P qui l'implémentent : les personnes ne peuvent se connecter qu'aux noeuds auxquels elles ont accordé leur confiance. La confiance a alors une incidence technique sur le fonctionnement du réseau.
+La version légère et moins stricte, c'est de dire qu'une communauté peut se constituer sur cette base relationelle et sociale : tu es dans notre communauté car je t'invite en tant que personne, mais sans qu'il y ait nécessairement d'incidence technique derrière. L'idée est juste que cela prédispose éventuellement les participants à davantage de bonne volonté, via un control relationnel et social : les parrains seront à même de sermonner les parainés si ceux-ci se font remarquer pour leur mauvais comportement.
+Le téléchargement est malgré tout une pratique assez individualiste, et les relations de parainnage sont assez factices, elles reposent sur des screenshots de "oh t'as vu mon beau ratio sur tel tracker". Mais c'est toujours mieux que "ah tu travailles pour la police, et tu relèves les infractions au droit d'auteurs...".
 ==== Sensibilité des trackers privés face à l'anonymat ====

Outils du site

Outils pour utilisateurs

Différences

Outils de la page