Outils du site

Outils pour utilisateurs

Vous êtes ici: Accueil » Articles Divers » debat-site-liens-public-ou-prive
divers:debat-site-liens-public-ou-prive (lu 25863 fois)

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentes Révision précédente
Prochaine révision 		Révision précédente
Dernière révision Les deux révisions suivantes
divers:debat-site-liens-public-ou-prive [le 07/02/2016 à 14h05]
111110101011 [Développer cette intelligence] 		divers:debat-site-liens-public-ou-prive [le 08/02/2016 à 16h53]
111110101011 [Code]
Ligne 3: Ligne 3:
 Dans cette page on cherchera à voir ce qui cloche avec la plupart des sites de liens (bittorrent, streaming ou direct download) actuels, et comment ils pourraient être améliorés. Dans cette page on cherchera à voir ce qui cloche avec la plupart des sites de liens (bittorrent, streaming ou direct download) actuels, et comment ils pourraient être améliorés.
  
-===== Modèles de recherche de fichiers =====+Tous les sites de liens ne se valent pas. Ce n'est pas une question d'esthétique. Ce n'est pas non plus une question d'avoir une grande ou une petite communauté d'utilisateurs. Ce sont par contre des questions de :
  
-L'une des problématiques à laquelle doivent répondre tous les concepteurs de solutions de téléchargement, c'est : comment permettre à l'utilisateur de faire une recherche pour trouver le fichier qui lui convient.+  * Quelle et la politique d'organisation du site ? (le site est-il accessible publiquement par quiconque ou restreint à certaines personnes ? quel rôle donner aux modérateurs ? quels fichiers sont acceptés au sein du site et lesquels sont rejetés ? Comment les frais d'hébergement sont-ils remboursés ?) 
 +  * Comment le site est-il conçu techniquement ?
  
-Voyons comment 2 logiciels, [[p2p>eMule]] et [[p2p>BitTorrent]] y répondent.+Ces deux grandes questions sont liées, et l'une déborde souvent sur l'autre.
  
-==== eMule et BitTorrent : des intelligences différentes ====+On va d'abord présenter ce qu'il est possible de faire techniquement, en expliquant les raisons des choix mis en avant.
  
-Dans eMule, la recherche de fichiers peut s'effectuer via : +===== Aspects technique de la conception de sites de liens =====
-  - les serveurs eDonkey (directement depuis le logiciel) +
-  - la DHT (directement depuis le logiciel) +
-  - un site de liens <nowiki>ed2k://</nowiki> (via un navigateur web)+
  
-Avec BitTorrent, la recherche de fichiers peut s'effectuer via : +Voici les points de recommandation qu'on peut donner pour la conception d'un site de liens, qu'il s'agisse de liens ed2k, torrent ou direct download.
-  - un site de liens torrent (via un navigateur web) +
-  - la DHT (directement depuis le logiciel) dont le code a été repris depuis eMule+
  
-Avec eMule, la DHT et les serveurs eDonkey avaient une place prépondérante. Cela signifie que la recherche de fichiers se faisait essentiellement au sein du logiciel. Cela signifie aussi qu'aucun tri n'était fait sur les fichiers mis à disposition : les fichiers de tout le monde et n'importe qui apparaissaient dans les résultats de recherches. Cette absence de sélection rend le réseau plus sensible aux «[[def>fake|fakes]]».+  * Code : Le code du site web doit être publié sous une licence libre 
 +  * Données relatives aux oeuvres : Le site doit utiliser des banques de données libres, ouvertes en lecture et en écriture (wikipedia, [[:documentation:audio:musicbrainz-picard|musicbrainz]]...), pour alimenter ses descriptions et pour structurer ses données 
 +  * Base de données : Proposer des exportations anonymisées de la base de données, permettant à d'autres de répliquer le même site ailleurs 
 +  * (Le serveur peut effectuer des traitements sur les fichiers pour fournir certaines données (infos sur les codecs, détails sur les fichiers...) )
  
-Pour y remédier, quelques mécanismes ont été intégrés directement au logiciel eMule. Lors d'une recherche de fichier avec eMule, pour un fichier donné, il était possible de voir une liste des noms alternatifs sous lesquels ce même fichier était publié. Par exemple, lorsqu'on souhaitait télécharger «Inglourious Basterds» et qu'on utilisait cette fonction, on pouvait s'apercevoir que ce fichier était distribué en 12 exemplaires sous le bon nom, mais également distribué en 60 exemplaires sous le nom de «Pamela et l'attaque des tétons de l'espace». On pouvait donc flairer qu'il y avait un hic. Cela signifiait que le fichier qu'on peut choisir de télécharger n'est sans doute pas Inglorious Basterds.+On les traitera dans le détail ci-dessous.
  
-Autrement dit, les logiciels tels qu'eMule intègrent **une intelligence**, qui permet à l'utilisateur de retrouver ses petits avec plus de facilité. 
  
-Autre signe d'intelligence, eMule est en mesure de calculer automatiquement le bitrate des MP3s distribués via son réseau. Il indique donc ce bitrate dans une colonne de vos résultats de recherche, et vous permet de filtrer selon ce critère (en éliminant les fichiers de bitrate trop bas, par exemple). L'utilisateur a donc un bon contrôle sur la qualité des fichiers qu'il va rechercher.+==== Code ====
  
-Cette intelligence intégrée à la recherche de fichiers (recherche des fakes, choix du bitrate) n'est pas fournie d'emblée par BitTorrent, qui a volontairement délaissé cet objectif, pour se concentrer sur d'autres objectifs (notamment la distribution des fichiers).+=== Principes === 
 +En informatique, il est souvent préconisé d'éviter de réinventer la roue. La meilleure façon d'y parvenir, c'est en faisant en sorte que les codes sources des logiciels soient [[def>opensource|libres]].
  
-Le choix d'écarter certains problèmes peut se comprendre. Certains problèmes sont en effet difficiles à résoudre de façon informatique. Mais si ces problèmes ne sont pas résolus de façon informatique, c'est aux humains de s'embarasser avec, ce qui peut signifier que l'utilisateur devra passer plus de temps à faire ses recherches, car les outils mis à sa disposition sont plus fastidieux à utiliser.+Permettre aux gens de réutiliser le code qu'on écrit et pouvoir réutiliser le code écrit par les autres nous place dans une dynamique collaborative. Les codes des logiciels sont toujours susceptibles de recevoir des améliorations. En mettant son code à disposition des autres, on permet aux autres de l'améliorer, et on bénéficie en retour de ces améliorations. 
 + 
 +Avoir un code fermé (donc non libre) est parfois une façon de se distinguer des autres, de prendre de l'avance dans les fonctionnalités, et d'espérer être meilleurs qu'eux. Ca peut sembler gratifiant, et pourtant, vous aquéreriez d'autant plus de reconnaissance si vous acceptiez de produire du code libre. Ce code servirait l'intérêt général, autrement dit : vous contribueriez ainsi à rendre la société un peu moins merdique qu'elle ne l'est (et il nous semble que c'est important). En plus, cette victoire serait toute relative, car ce que vous arriverez à achever seul dans votre coin sera toujours moindre par rapport à ce qu'il est possible de faire collectivement. 
 + 
 +Soyons ambitieux pour ne plus avoir à subir l'informatique, et produisons du code libre. 
 + 
 +=== Application === 
 + 
 +Pour concevoir des sites web : 
 +  * On code le site à partir de zéro dans un langage tel que PHP... 
 +  * On utilise un «framework» qui mâche une partie du travail et nous aide à développer le site tel qu'on le souhaite 
 +  * On utilise un «CMS» prêt-à-emploi qui n'exige pas de programmation de notre part, mais simplement de le configurer 
 + 
 +Existe t-il des projets de logiciels adaptés aux sites de liens ayant mâché le travail ? 
 + 
 +Je ne suis pas sûr qu'il existe un terme pour qualifier les logiciels qui servent à mettre en place des sites de liens. Parfois ils sont qualifiés de framework, d'autres fois ils emploient le terme devenu ambigü de «tracker» (on ne sait pas si le tracker désigne la partie web, ou le logiciel serveur de mise en relation des internautes). 
 + 
 +On ne retiendra pas les logiciels au code source propriétaire, pour les raisons expliquées plus haut. Cela laisse peu de choix : 
 + 
 +  * Gazette, utilisé par What.cd, un tracker bittorrent dédié à la musique 
 +  * TorrentTrader ? 
 +  * Existe t-il des logiciels pour les sites de liens autres que BitTorrent ? 
 + 
 +Voir aussi : [[:p2p:bittorrent:trackers|liste de trackers bittorrent]] 
 + 
 +Peut-être aussi qu'on peut utiliser un CMS généraliste (wordpress, joomla...) selon l'usage que l'on prévoit, car le rôle minimal que doit tenir un site de liens, c'est de pouvoir afficher des liens dans une page, ce que n'importe quel CMS sait faire. 
 + 
 +Si vous faites le choix d'adoter l'un de ces logiciels libres, il vous sera possible de vous immiscer de plusieurs façons au sein du projet : 
 + 
 +  * En faisant partie de la communauté d'utilisateurs du logiciel, en participant au forum ou en rapportant les bugs 
 +  * Ou si vous ne redoutez pas de faire de la programmation, apprendre à utiliser git/svn/mercurial, et voir comment faire remonter des «patches» au projet d'origine
  
-Côté gestion humaine, pour ce qui est de la recherche des fakes, il est fréquent que le tri soit effectué en amont par la communauté. Ce n'est donc pas le logiciel qui va chercher à détecter les fakes, mais les humains qui s'organiseront pour retirer les fakes publiés via leur site. 
  
-Côté programmation, plusieurs initiatives ont essayé d'automatiser des tâches à divers degrés, notament [[https://btdigg.org/about/|btdigg]], [[https://thepiratebay.se/|the pirate bay]], [[https://what.cd/|what.cd]]... Ces outils sont parfois directement intégrés dans le code web du site. Parfois il s'agit d'outils d'administration à exécuter sur le serveur. Il existe donc, pour BitTorent aussi, tout un attirail d'outils intelligents qui servent à gérer le site. Le but de cet article est de vous inviter à les utiliser, à les développer, et à en démocratiser l'usage. 
-==== Développer cette intelligence ==== 
  
-Pour répondre à ce problème, on va poser plusieurs éxigences :  
  
-  * Le site doit utiliser des banques de données libres, ouvertes en lecture et en écriture (wikipedia, [[:documentation:audio:musicbrainz-picard|musicbrainz]]...), pour alimenter ses descriptions et pour structurer ses données 
-  * Le code du site web doit être publié sous une licence libre 
-  * Proposer des exportations anonymisées de la base de données, permettant à d'autres de répliquer le même site ailleurs 
-  * Le serveur peut effectuer des traitements sur les fichiers pour fournir certaines données (infos sur les codecs, détails sur les fichiers...) 
  
-=== Bases de données ouvertes ===+===== Données des oeuvres =====
  
-== Principe ==+==== Principe ====
  
-S'il vous plaît, ne demandez pas à vos uploadeurs de remplir eux-mêmes les descriptions des films. Ne leur demandez pas de copier/coller la synopsis depuis allocine vers un champ de formulaire d'upload de votre site.+S'il vous plaît, ne demandez pas à vos uploadeurs de remplir eux-mêmes les descriptions des films. Ne leur demandez pas de copier/coller la synopsis depuis allocine (ou autre) dans un champ de formulaire sur votre site.
  
 Utilisez plutôt des banques de données dont le propos est justement de décrire ces films, et de fournir ces informations. Utilisez plutôt des banques de données dont le propos est justement de décrire ces films, et de fournir ces informations.
  
-== Schémas de données ==+==== Schémas de données ====
  
 Les oeuvres (films, albums de musique...) outre leur contenu, ont de nombreuses (méta)données associées. Les oeuvres (films, albums de musique...) outre leur contenu, ont de nombreuses (méta)données associées.
 +
 +=== Spécifiques à l'oeuvre ===
  
 Par exemple, pour un album de musique on a : Par exemple, pour un album de musique on a :
Ligne 66: Ligne 89:
   * ...   * ...
  
-Ces propriétés sont propres à l'oeuvre. Pour un film, on trouverait le même genre d'informations, comme le nom du réalisateur, des acteurs, une synopsis...+Ces propriétés sont propres à l'oeuvre. Pour un film, on trouverait le même genre d'informations, comme le nom du réalisateur, une liste d'acteurs, une synopsis... 
 + 
 +=== Spécifiques au «rip» ===
  
 S'ajoutent des charactéristiques techniques qui concernent les fichiers, par exemple : S'ajoutent des charactéristiques techniques qui concernent les fichiers, par exemple :
Ligne 81: Ligne 106:
   * Date de la release   * Date de la release
   * Outils et réglages utilisés pour le rip   * Outils et réglages utilisés pour le rip
 +
 +Réfléchir à ces schémas de données n'est pas une tâche facile. Ce travail est parfois abordé autour des questions de métadonnées, de bases de données, de web sémantique, ou de normes définissant la structure de ces données. Ce travail étant ardu, il s'agira à notre niveau de répertorier quelles initiatives ont déjà cherché à catégoriser ces données. 
 +
 +=== Résumé ===
  
 On a donc 3 catégories de données qui nous intéressent :  On a donc 3 catégories de données qui nous intéressent : 
Ligne 88: Ligne 117:
   - données de la release   - données de la release
  
-== L'accès à ces données ==+La démarche cohérente qui s'en suit, ce serait : 
 + 
 +  * pour les données de l'oeuvre, d'utiliser des bases de données existantes décrivant ces oeuvres 
 +  * pour les données techniques des fichiers, de les déterminer via des outils fonctionnant sur le serveur 
 +  * pour les données de la release, demander à l'uploadeur de les renseigner 
 + 
 +==== L'accès à ces données ====
  
 Bien que les données des oeuvres puissent être renseignées par l'uploadeur, il serait plus simple de les récupérer automatiquement. Bien que les données des oeuvres puissent être renseignées par l'uploadeur, il serait plus simple de les récupérer automatiquement.
Ligne 107: Ligne 142:
 Le but, c'est donc d'interconnecter votre site avec ces bases de données.  Le but, c'est donc d'interconnecter votre site avec ces bases de données. 
  
-== Contribuer à ces données ==+==== Contribuer à ces données ====
  
 Parfois, les oeuvres que vous souhaitez mettre à disposition sur votre site seront absentes de ces bases de données ouvertes. Il est donc dans votre intérêt de les compléter, par exemple, en demandant à vos uploadeurs de disposer d'un compte sur ces sites. Parfois, les oeuvres que vous souhaitez mettre à disposition sur votre site seront absentes de ces bases de données ouvertes. Il est donc dans votre intérêt de les compléter, par exemple, en demandant à vos uploadeurs de disposer d'un compte sur ces sites.
Ligne 114: Ligne 149:
  
  
-=== Code du site web sous licence libre === 
  
-Les logiciels libres, c'est tout un monde encore invisible aux yeux de certaines personnes et pourtant fondamental pour ce qui est de l'informatique. 
  
-== Qu'est-ce qui existe déjà ? == 
  
-Les webmasters connaissent déjà certains logiciels libres prévus pour le web, par exemple : wordpress, phpBB, dokuwiki, spip... 
  
-Il s'agirait donc de trouver la même chose en libre, avec l'objectif de proposer une interface permettant aux utilisateurs de rechercher les oeuvres et d'en récupérer les liens de téléchargement. 
  
-Il n'en existe pas beaucoup, en fait on ne peut en citer qu'un : Gazelle (celui utilisé par le site What.CD). 
  
-«Gazelle is a web framework geared towards private BitTorrent trackers. Although naturally focusing on music, it can be modified for most needs. Gazelle is written in PHP, JavaScript, and MySQL.»+(pas encore rangé ci-dessous)
  
-A éplucher : http://sourceforge.net/projects/torrenttrader/ ; et d'autres.+===== Modèles de recherche de fichiers ===== 
 + 
 +L'une des problématiques à laquelle doivent répondre tous les concepteurs de solutions de téléchargement, c'est : comment permettre à l'utilisateur de faire une recherche pour trouver le fichier qui lui convient. 
 + 
 +Voyons comment 2 logiciels, [[p2p>eMule]] et [[p2p>BitTorrent]] y répondent. 
 + 
 +==== eMule et BitTorrent : des intelligences différentes ==== 
 + 
 +Dans eMule, la recherche de fichiers peut s'effectuer via : 
 +  - les serveurs eDonkey (directement depuis le logiciel) 
 +  - la DHT (directement depuis le logiciel) 
 +  - un site de liens <nowiki>ed2k://</nowiki> (via un navigateur web) 
 + 
 +Avec BitTorrent, la recherche de fichiers peut s'effectuer via : 
 +  - un site de liens torrent (via un navigateur web) 
 +  - la DHT (directement depuis le logiciel) dont le code a été repris depuis eMule 
 + 
 +Avec eMule, la DHT et les serveurs eDonkey avaient une place prépondérante. Cela signifie que la recherche de fichiers se faisait essentiellement au sein du logiciel. Cela signifie aussi qu'aucun tri n'était fait sur les fichiers mis à disposition : les fichiers de tout le monde et n'importe qui apparaissaient dans les résultats de recherches. Cette absence de sélection rend le réseau plus sensible aux «[[def>fake|fakes]]». 
 + 
 +Pour y remédier, quelques mécanismes ont été intégrés directement au logiciel eMule. Lors d'une recherche de fichier avec eMule, pour un fichier donné, il était possible de voir une liste des noms alternatifs sous lesquels ce même fichier était publié. Par exemple, lorsqu'on souhaitait télécharger «Inglourious Basterds» et qu'on utilisait cette fonction, on pouvait s'apercevoir que ce fichier était distribué en 12 exemplaires sous le bon nom, mais également distribué en 60 exemplaires sous le nom de «Pamela et l'attaque des tétons de l'espace». On pouvait donc flairer qu'il y avait un hic. Cela signifiait que le fichier qu'on peut choisir de télécharger n'est sans doute pas Inglorious Basterds. 
 + 
 +Autrement dit, les logiciels tels qu'eMule intègrent **une intelligence**, qui permet à l'utilisateur de retrouver ses petits avec plus de facilité. 
 + 
 +Autre signe d'intelligence, eMule est en mesure de calculer automatiquement le bitrate des MP3s distribués via son réseau. Il indique donc ce bitrate dans une colonne de vos résultats de recherche, et vous permet de filtrer selon ce critère (en éliminant les fichiers de bitrate trop bas, par exemple). L'utilisateur a donc un bon contrôle sur la qualité des fichiers qu'il va rechercher. 
 + 
 +Cette intelligence intégrée à la recherche de fichiers (recherche des fakes, choix du bitrate) n'est pas fournie d'emblée par BitTorrent, qui a volontairement délaissé cet objectif, pour se concentrer sur d'autres objectifs (notamment la distribution des fichiers). 
 + 
 +Le choix d'écarter certains problèmes peut se comprendre. Certains problèmes sont en effet difficiles à résoudre de façon informatique. Mais si ces problèmes ne sont pas résolus de façon informatique, c'est aux humains de s'embarasser avec, ce qui peut signifier que l'utilisateur devra passer plus de temps à faire ses recherches, car les outils mis à sa disposition sont plus fastidieux à utiliser. 
 + 
 +Côté gestion humaine, pour ce qui est de la recherche des fakes, il est fréquent que le tri soit effectué en amont par la communauté. Ce n'est donc pas le logiciel qui va chercher à détecter les fakes, mais les humains qui s'organiseront pour retirer les fakes publiés via leur site. 
 + 
 +Côté programmation, plusieurs initiatives ont essayé d'automatiser des tâches à divers degrés, notament [[https://btdigg.org/about/|btdigg]], [[https://thepiratebay.se/|the pirate bay]], [[https://what.cd/|what.cd]]... Ces outils sont parfois directement intégrés dans le code web du site. Parfois il s'agit d'outils d'administration à exécuter sur le serveur. Il existe donc, pour BitTorent aussi, tout un attirail d'outils intelligents qui servent à gérer le site. Le but de cet article est de vous inviter à les utiliser, à les développer, et à en démocratiser l'usage.
  
-== Pourquoi et comment du code libre ? == 
  
 ===== Sites de liens: publics ou privés ? ===== ===== Sites de liens: publics ou privés ? =====
divers/debat-site-liens-public-ou-prive.txt · Dernière modification: le 08/02/2016 à 17h00 de 111110101011

Outils de la page