Sauvegarde du Martketplace FirefoxOS avant son arrêt par Mozilla

Mozilla va arrêter son Marketplace fin mars 2018 : https://marketplace.firefox.com/

Ce n’est pas une grosse surprise. Mais ils ne laissent pas de solution simple pour les personnes qui utilisent encore Firefox OS et qui voudraient accéder à ce catalogue d’applications.

J’ai essayé de trouver un contournement.

J’en ai discuté avec des employés de Mozilla sur IRC, en suggérant qu’ils conservent une version minimaliste (en lecture seule) du Marketplace. Ils n’ont pas voulu. Ou, a minima, qu’il laissent à disposition une sauvegarde des packages de ces applications.

Ils n’ont pas voulu, mais m’ont invité à télécharger ce que je voulais via leur API https://firefox-marketplace-api.readthedocs.io/en/latest/topics/apps.html.

J’ai donc fait un script shell qui utilise cette API et télécharge toutes les applications FirefoxOS du Marketplace : https://github.com/mossroy/marketplace-backup.

Cela génère un répertoire par application avec le package .zip (pour les applications packagées), les captures d’écran, icône, et informations au format JSON.

C’est évidemment bien moins pratique que le Marketplace (pas de recherche, pas de catégories, de notation, commentaires etc), mais permet d’installer manuellement ces applications en utilisant WebIDE.

J’avais prévu de mettre ces répertoires à disposition de tout le monde sur un serveur HTTP (c’était tout prêt). Mais, après discussion avec Mozilla, je n’ai pas le droit de le faire : leur « developer agreement » autorise uniquement Mozilla à distribuer les applications. Donc, pour que je puisse les redistribuer, il faudrait que je demande l’accord à chaque développeur… C’est un gros boulot (6 042 applications en tout) dans lequel je n’ai pas le courage de me lancer.

Si Mozilla avait un champ dans leur base indiquant la licence de chaque application, j’aurais au moins pu redistribuer celles qui ont une licence compatible, mais je n’ai pas trouvé de moyen simple (et sûr) de le savoir.

J’ai proposé que Mozilla héberge ces répertoires : ils ont refusé. Ca ne coûterait pourtant pas grand-chose : 16 Go de données, un serveur HTTP, probablement très peu de bande passante, et l’administration du serveur (installation des mises à jour de sécurité sur l’OS et le serveur HTTP, que je proposais de faire moi-même). Il n’y a pas de code à maintenir : c’est du contenu statique.

Bref, au final, j’invite ceux qui en auraient besoin à lancer ce script (avant fin mars 2018) pour avoir leur propre copie locale.

Je suis bien déçu que Mozilla ne propose pas de contournement pour les utilisateurs de Firefox OS, suite à l’arrêt de leur Marketplace.

Mise à jour du 10/03/2018 : Suite à des discussions après la sortie de cet article (https://discourse.mozilla.org/t/marketplace-closing-how-to-backup-copies-of-apps/26289), il semblerait que le « developer agreement » permette à Mozilla d’autoriser la distribution des applications sur d’autres Marketplaces. Mais, pour cela, il faudrait que Mozilla nous donne cette autorisation explicitement. Or ils ont clairement répondu qu’ils ne souhaitaient pas le faire.

Mise à jour du 13/05/2018 : quelqu’un a utilisé mon script pour télécharger l’ensemble des applications du Marketplace, et les a déposées sur le site archive.org : https://archive.org/details/Firefox_Marketplace_2018_03_Capture. Il est également possible de parcourir le contenu de cette grosse archive plutôt que de la télécharger en entier : https://archive.org/download/Firefox_Marketplace_2018_03_Capture/Firefox_Marketplace_2018_03_Capture.zip/ (mais attention, la page web est très lourde). L’archive est apparemment complète. Comme je disais dans https://github.com/mossroy/marketplace-backup/issues/1, je ne sais pas si cette mise à disposition est légale ou non.

9 réflexions sur « Sauvegarde du Martketplace FirefoxOS avant son arrêt par Mozilla »

  1. Bonjour Mossroy,
    J’ai découvert ton script et ton article que récemment après avoir développé ma propre solution. J’aurais pu m’épargner quelques journées de labeur…
    Je m’étonne des 34 450 applications que tu cites parce que dans les données meta de l’API, il est mentionné 6562 dans le champ « total_count ».
    Du coup, je me demandais s’ils avaient déjà commencé à retirer des applications du marketplace ou alors si tu avais des apps en doublon.

    En tout cas, c’est dommage de ne pas pouvoir continuer à partager ces applications…

    1. Salut,
      Merci de ta remarque sur le nombre d’applications : je m’étais trompé en les comptant! (je comptais les sous-répertoires). C’est 6 042 applications que j’ai actuellement (je vais corriger cet article).

      Ces 6042 semblent correspondre au total_count des JSON téléchargés par mon script (qui me donnent 6040 ou 6041 suivant la pagination : j’ai pas cherché pourquoi).

      La différence par rapport à 6562 vient peut-être du fait que j’ai filtré sur les applications marquées comme compatibles avec Firefox OS?

      Dans tous les cas, si tu as travaillé sur une autre solution, ça vaudrait le coup de comparer les résultats, pour s’assurer qu’on n’a rien oublié et qu’on a un résultat le plus exploitable possible.

  2. Thank you for your efforts and in my opinion mozilla is being Reaallllly dumb about this (’tis better to maintain old software on a static os than to throw both the app creators and users under the bus and expect their future support). But I am basically a newb in this arena. I have a firefox os phone that I would like to use regularly, and it seems like they’ve Already killed support, in that, it fails to download MOST apps, directly from the store, yet also will not update the marketplace app itself. Plus I’d like a backup for the reasons you have already discussed in length with mozilla more directly yet they are too blind to see.

    Anyways, I would like to run your workaround, but have never used wget before nor ran a .sh file. I also downloaded a jq-win64.exe and a curl-7.59.0.zip but really don’t know what I am doing. Given that today is March 27th though, I should probably figure it out, so I thought I’d write to you directly, on here.

    Could you provide screenshots of what to do/type in? Or perhaps a youtube screen capture of you doing it, or even just a reply to this? It’d have to be treated like I am someone whom has never run wget, a .sh, or curl or jq before, but can reasonably run something from command line if one is patient. I know its asking a lot though.

    1. I did not test the script on windows. It might work, but I cannot guarantee. In any case, you would first need to install bash (through cygwin for example).

      I would advise to run it on a Linux platform (I used Ubuntu 16.04, but it certainly works on many other distributions/versions). Take any machine you might have access to, or install a temporary virtual one, or start a PC with a live-CD or live-USB.

      To install the necessary packages on Debian-based distributions (like Ubuntu), you just need to enter the following command-line :
      sudo apt install wget curl jq

      I’m sorry but I won’t have the time until the dead-line to assist you much on that.

      1. Thanks for the reply and your hard work. I installed Ubuntu 16.04 (had been meaning to) and installed the newest version of wget and curl and jq

        I tried typing « wget download_firefoxos_packages.sh » without quotes in Terminal, but it seems to only create an index.html file. This is the current result:

        wget download_firefoxos_packages.sh
        –2018-03-29 03:49:30– http://download_firefoxos_packages.sh/
        Resolving download_firefoxos_packages.sh (download_firefoxos_packages.sh)… 198.105.244.130
        Connecting to download_firefoxos_packages.sh (download_firefoxos_packages.sh)|198.105.244.130|:80… connected.
        HTTP request sent, awaiting response… 200 OK
        Length: unspecified [text/html]
        Saving to: ‘index.html’

        index.html [ ] 305 –.-KB/s in 0s

        2018-03-29 03:49:30 (13.1 MB/s) – ‘index.html’ saved [305]

  3. SUCCESS!!! :) I did it! Thank you so much! Admittedly, I should have tried to back things up etc before so soon, although the marketplace app itself was not working for me before even today. I have an Fx0 (so a good phone so far as Firefox OS hardware goes) and was growing tired of google but it does not even come with a file manager by default lol. At first it seems like it might not work but it did and this is all thanks to your hard work and also that last reply! I ran it once in the late evening and it was still going when I went to bed. I have just checked and it was able to get 13GB. Perhaps I should have tried to restart it before I had to go to work as it appears that the server for http://marketplace.firefox.com/ is now down and it will not work :/ but that is ok as that is a Lot of apps…far more than I used or tried in the year that it was my primary phone. If anything I think I may be More inclined to try new ones Now, given that there will not « officially » be any more (at least, not via marketplace) so I may as well enjoy all the ones it Does have to offer.

    I am disappointed in Mozilla, not just for ending its OS so soon and so early into its development (it really was), but also for ending support so soon, when as you yourself said, it would not take much for them to have a static marketplace for historic purposes and to show off too what Was accomplished both by Mozilla and by developers, with very little maintenance on their part. I find it annoyed and dismissive from them, whereas ironically I feel that You yourself have done more to help it live on, long term, than they, as just one person. It also is likely wise to have multiple people have backups of apps etc for archival purposes.

    So again, thank you, and know that your work has been appreciated and helpful in its intended purpose.

    -R

    1. For information, I’ve updated this article to mention that someone has put online a complete archive of the Marketplace (generated by my script)

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *