ZZZ

Télécharger flickrstore

Fil — 2014-07-25T09:40:00Z

Pour Mac OS X

Grâce à Platypus voici une version drag'n'drop pour Mac OS X. On peut :
— la lancer d'un double-clic pour récupérer les données de Flickr et poser les tags file:md5 sur les photos existantes ;
— déposer-glisser des fichiers image ou des répertoires pour les sauvegarder dans Flickr.


Flickr Store 0.5 pour Mac OS X

flickrstore

flickrstore est développé sous git : on peut le visualiser ici :
https://github.com/Fil/flickrstore (nouvelle version : juillet 2014).

phpFlickr

La librairie phpFlickr de Dan Coulter est téléchargeable depuis le site http://phpflickr.com/

API key

Pour solliciter une clé rendez-vous sur le site Flickr, connectez-vous et allez à la page http://flickr.com/services/. La clé doit ensuite être enregistrée dans le fichier api_key.inc à côté du fichier flickrstore.

Une astuce : rotation automatique

Si comme moi vous sauvegardez le répertoire iPhoto Library/Originals/, les photos y sont conservées dans le sens horizontal. Mais certains appareils signalent qu'on peut les redresser en vertical, le cas échéant. Flickr sait détecter ce signal : il faut activer l'option sur la page http://www.flickr.com/account/prefs....

Poids total

Fil — 2008-12-19T15:57:18Z

Pour mesurer le total du poids des photos il suffit de sommer les valeurs des tags file:bytes= :

On obtient dès lors :

14390 items
 total: 14.55 Gb

Upload d'images

Fil — 2008-12-19T13:44:57Z

Une fois les tags file:md5 apposés à toutes les photos présentes sur le compte Flickr, on peut tranquillement scanner notre disque dur et uploader les photos qui ne correspondent pas aux tags md5 existants.

La seule nouveauté en termes d'API Flickr est ici l'appel à la méthode sync_upload :

Cet appel est enveloppé dans du php qui scanne récursivement un répertoire et uploade chaque fichier .png ou .jpg qu'il trouve.

class flickrStore extends phpFlickr { ... function upload_files($file) { if (is_file($file) AND is_readable($file) AND preg_match(',\.(jpe?g|png)$,iS', $file)) { $md5 = 'file:md5='.md5_file($file); if ($this->tags[$md5]) { error_log("$file is up: $md5 : ".join(' ', $this->tags[$md5])); return true; } $tags = $md5.' file:bytes='.filesize($file); error_log("Uploading $file"); $r = $this->sync_upload( $file, null, /* title */ null, /* description */ $tags, /* tags */ 0, /* is_public */ 0, /* is_friend */ 0	/* is_family */ ); if ($r) { $this->tags[$md5] = array($r); error_log("Image uploaded: $r"); @unlink(_PREFS.'cache.txt'); } error_log("Image not uploaded"); return false; } else if (is_dir($file) AND is_readable($file)) { if ($h = opendir($file)) { while (false !== ($next = readdir($h))) if ($next != '.' AND $next != '..') $this->upload_files("$file/$next"); closedir($h); } } }

Ce qui donne notre script final : la première fois qu'il est invoqué, il appose le tag file:md5 à toutes les photos du compte Flickr. Les fois suivantes il télécharge les fichiers (et les répertoires, de façon récursive), dans le compte.

Le tag file:md5

Fil — 2008-12-19T13:05:52Z

Notre problématique est de pouvoir faire une sauvegarde de toutes nos photos sur Flickr. Pour cela il faut savoir si telle photo présente sur le disque dur est ou non déjà sur le site. On pourrait enregistrer dans une base de données locale une série de couples (chemin de la photo, id flickr), mais cela présente de nombreux inconvénients :

— si la même image figure deux fois sur notre disque, on va la télécharger deux fois ;
— si notre base de données locale disparaît, on ne peut plus dédoublonner notre base.

Pour contourner ce problème on introduit un tag file:md5=xxxx, où xxx est la signature md5 du fichier de la photo. Cette signature se calcule en php de la façon suivante :

Cette notation correspond aux machine tags recommandés par Flickr pour tous les tags traités de façon automatique cf. http://www.flickr.com/groups/api/di....

Ce tag devra être apposé à chaque photo uploadée sur le site ; à partir de là nous saurons, en calculant la signature md5 de n'importe quel fichier de notre disque dur, si ce fichier a déjà été uploadé ou non : il suffira de regarder dans $photos si une photo porte ce tag.

Apposer le tag `file:md5` aux photos déjà uploadées

Si vous avez déjà uploadé des fichiers sur votre compte Flickr, il peut être judicieux de les tagguer avec ce système, de manière à éviter de les redoublonner par la suite. Pour cela, pas de miracle, il faut les télécharger une par une, calculer leur signature, et apposer le tag. Nous en profiterons pour apposer un second tag automatique file:bytes indiquant la taille (en octets) du fichier.

Ce qui donne :

class flickrStore extends phpFlickr { ... // Tag md5 a certain photo already on flickr function set_md5tag($id) { // Check that id exists if (!$this->photos[$id]) { error_log("photo $id does not exist"); return false; } // Check that the md5 tag is not already there if (preg_match(',\bfile:md5=[0-9a-f]{32},S', $this->photos[$id]['tags'])) { error_log("$id: already tagged md5"); return true; } // Download (!) the original file and compute its tag $original = $this->buildPhotoURL($this->photos[$id], 'original'); error_log("$id: downloading $original"); if (!$im = file_get_contents($original)) { error_log("http error"); return false; } $tags = array('file:md5='.md5($im), 'file:bytes='.strlen($im)); unset($im); // tag the image on Flickr and in our local cache if ($this->photos_addTags($id, join(',',$tags))) { $this->photos[$id]['tags'] = join(' ', array_merge(explode($this->photos[$id]['tags'], ' '), $tags)); file_set_contents(_PREFS.'cache.txt', serialize($this->photos)); error_log($this->photos[$id]['tags']); return true; } error_log("Could not tag"); return false; } function set_md5tag_all() { foreach($this->photos as $photo) $this->set_md5tag($photo['id']); } } // MAIN $f = new flickrStore(_flickr_api_key, _flickr_api_secret); $token = $f->auth_desktop("write"); $f->setToken($token['token']); $f->get_allPhotos(); $f->set_md5tag_all();

Chaque photo non tagguée sera alors téléchargée, analysée puis tagguée :

3120529098: already tagged md5
 3120529078: downloading http://farm4.static.flickr.com/3204/3119700509_3d3cb5c693_o.jpg
 file:md5=5d43f273a2b5003b57273b227116a708 file:bytes=2581222

Etablir la liste de nos photos

Fil — 2008-12-19T11:34:13Z

Maintenant qu'on est connecté et authentifié, on va récupérer la liste de nos photos sur le site.

Ici c'est très simple ; on utilise la requête flickr.photos.search en précisant 'user_id'=>$token['user']['nsid'] :

Et on obtient :

http://farm4.static.flickr.com/3219/3118382945_eeca6f02c1.jpg Futur couloir
 http://farm4.static.flickr.com/3131/3118355155_a9ed8ab55d.jpg Artefact
 http://farm4.static.flickr.com/3127/3118255815_a443427c23.jpg Pressoir
 http://farm4.static.flickr.com/3126/3118131019_41ee8b848b.jpg Passerelle
 http://farm4.static.flickr.com/3178/3118887176_fd7c172ebd.jpg Le puits
 http://farm4.static.flickr.com/3294/3118651022_d1bac3307a.jpg Muizenberg
 ...

La liste ne contient que les photos publiques, car on n'a pas utilisé notre token :

Ici, comme on donne le token, il n'est pas nécessaire de préciser le user_id ; on peut se contenter du raccourci me.

On remarque maintenant que la liste est limitée aux 100 dernières images uploadées sur le site. L'API permet une pagination, mais limite de toutes façons les requêtes à 500 images : il faudra donc faire plusieurs appels pour être sûr de tout récupérer. On crée donc une nouvelle méthode :

A noter : notre requête demande plusieurs extras : original_format,date_taken,tags, métadonnées dont nous auront besoin par la suite.

Et voilà :

Requesting page 1
 Requesting page 2/28
 Requesting page 3/28
 ...
 Requesting page 28/28
 http://farm4.static.flickr.com/3247/3120416254_a524856996.jpg DSC02696
 http://farm4.static.flickr.com/3087/3119587359_ae811001f1.jpg DSC02695
 http://farm4.static.flickr.com/3197/3119586965_c55da65949.jpg DSC02694
 http://farm4.static.flickr.com/3241/3119586575_a3164da6c1.jpg DSC02693
 http://farm4.static.flickr.com/3197/3119586129_44cf8184f7.jpg DSC02692
 http://farm4.static.flickr.com/3216/3120413986_231c8b8ea4.jpg DSC02691
 ...

Bien entendu, comme il peut y avoir beaucoup de photos (j'en ai plus de 15 000), on va mettre ça en cache, cache qu'on va invalider dès qu'il sera jugé trop vieux.

On peut maintenant jouer avec ces données, pour afficher les titres, ou les tags etc. :

La structure de $photo est la suivante :

Array
 (
 [id] => 3119605761
 [owner] => 82626280@N00
 [secret] => db062ac947
 [server] => 3295
 [farm] => 4
 [title] => DSC02740
 [ispublic] => 0
 [isfriend] => 0
 [isfamily] => 0
 [originalsecret] => 856912a29f
 [originalformat] => jpg
 [datetaken] => 2008-06-08 10:40:28
 [datetakengranularity] => 0
 [tags] => upload test fil
 )

Ces données permettent de savoir si la photo est publique ou privée, réservée à la famille ou aux amis ; elles contiennent aussi titre, date de prise de vue, tags, ainsi qu'un « secret » qui permet de déterminer l'URL de la photo même si elle est privée.

Authentifier notre application sur Flickr

Fil — 2008-12-19T10:53:15Z

Si l'on souhaite exploiter nos photos perso sur notre compte, notamment pour lire les photos privées ou en ajouter de nouvelles, il faut maintenant pouvoir s'authentifier. C'est la partie la plus compliquée du script.

Le principe consiste à demander un code frob, puis à le faire autoriser par l'utilisateur. Une fois ce frob autorisé, on obtient un token, qu'on stocke précieusement car il constitue notre ticket d'entrée authentifiée sur l'API.

Nous allons enregistrer notre application comme « Desktop App », en cochant la case correspondante dans les réglages de l'API key sur le site Flickr :

Tout d'abord, une fonction pour écrire dans un fichier :

et voici notre code pour demander un frob, donner à l'utilisateur l'url de validation, puis au tour suivant demander un token :

class flickrStore extends phpFlickr { function auth_desktop($perms) { if (!$token = @unserialize(file_get_contents(_PREFS.'token.txt'))) { if (!$frob = @file_get_contents(_PREFS.'frob.txt')) { echo "Requesting a new frob...\n"; $frob = $this->auth_getFrob(); file_set_contents(_PREFS.'frob.txt', $frob); } if (!$frob) die ("Couldn't get no frob\n"); echo "Requesting a token...\n"; if ($token = $this->auth_getToken($frob)) { file_set_contents(_PREFS.'token.txt', serialize($token)); @unlink(_PREFS.'frob.txt'); } } if (!$token) { echo 'error '.$this->error_code.': '.$this->error_msg . "\n"; echo "We are not authenticated\n"; echo "Please follow this link to authorize the application:\n"; $api_sig = md5($this->secret . "api_key" . $this->api_key . "frob" . $frob . "perms" . $perms); echo "http://www.flickr.com/services/auth/?api_key=" . $this->api_key . "&frob=" . $frob . "&perms=" . $perms . "&api_sig=". $api_sig; echo "\n"; exit; } return $token; } } // MAIN $f = new flickrStore(_flickr_api_key, _flickr_api_secret); $token = $f->auth_desktop("delete"); print_r($token);

On obtient alors notre sésame :

Array
 (
 [token] => 72157611262255979-3d38abdacbcf5df0
 [perms] => delete
 [user] => Array
 (
 [nsid] => 82626280@N00
 [username] => Fil+
 [fullname] => Fil
 )
 )

Les différents niveaux de permission sont read, write, delete. Ici on choisit delete pour avoir les coudées franches, mais si votre application ne fait que de la lecture des données, il est préférable d'utiliser read, et si elle modifie (par exemple titre ou tags) mais n'efface jamais de photo : write suffit.

A noter : on enregistre le frob puis le token dans le répertoire de préférences ~user/.flickrstore/ ; en cas d'échec il faut effacer ces fichiers pour recommencer.

L'authentification décrite ici correspond à l'authentification « desktop » pour un script lancé en ligne de commande. Pour l'authentification « web », c'est différent : le token sera enregistré dans la session de l'utilisateur ; on pourra diriger automatiquement le navigateur sur l'URL de confirmation, qui le redirigera à son tour, après avoir validé le frob, sur une adresse callback qu'on aura fournie dans les réglages de l'API key sur le site.

Se connecter à Flickr

Fil — 2008-12-19T09:17:39Z

Nous ferons usage de la librairie phpFlickr http://phpflickr.com/ développée par Dan Coulter pour piloter l'interface de programmation (API) de Flickr http://flickr.com/services/api/.

Un script PHP en ligne de commande

Première étape : créer un script PHP accessible en ligne de commande. Pour cela il faut vérifier que php est exécutable sur la machine :

On stocke ce script dans le fichier flickrstore et on l'invoque en le rendant exécutable (chmod +x flickrstore), puis en l'appelant en ligne de commande :

> ./flickrstore
 php OK

Quelques lignes de code supplémentaires permettront de vérifier qu'on dispose bien d'une version de PHP suffisamment récente et dotée des librairies indispensables.

Il faut notamment télécharger phpFlickr, en prenant le paquet zip proposé sur le site http://phpFlickr.com/.

Créer un objet phpFlickr

On va ensuite instancier un objet phpFlickr. Celui-ci est doté de méthodes (fonctions) qui lui permettent de dialoguer avec l'API de Flickr. Flickr exige de pouvoir contrôler l'usage fait par les différents scripts qui exploitent son API : pour cela ils imposent au développeur de solliciter une clé sur leur site. Cette clé se compose de deux parties : key et secret, que nous obtenons sur http://flickr.com/services/api (“Apply for a new API key”) et stockons dans un fichier api_key.inc :

Dans ce premier exemple nous lui faisons lister les deux photos les plus récentes du site.

Le résultat est un tableau en PHP qui donne les éléments d'identification de ces deux photos :

Array
 (
 [page] => 1
 [pages] => 500
 [perpage] => 2
 [total] => 1000
 [photo] => Array
 (
 [0] => Array
 (
 [id] => 3120281934
 [owner] => 21199371@N04
 [secret] => 1d21294ec4
 [server] => 3143
 [farm] => 4
 [title] => 05122008094
 [ispublic] => 1
 [isfriend] => 0
 [isfamily] => 0
 )
 
 [1] => Array
 (
 [id] => 3120281900
 [owner] => 29002449@N02
 [secret] => 28aa2e5344
 [server] => 3179
 [farm] => 4
 [title] => IMG_0764
 [ispublic] => 1
 [isfriend] => 0
 [isfamily] => 0
 )
 )
 )

La librairie phpFlickr propose une méthode permettant de calculer l'URL d'une photo à partir de son identification (cf. http://www.flickr.com/services/api/...) :

donne :

http://farm4.static.flickr.com/3179/3120286846_60e3f471e6.jpg IMG_1613
 http://farm4.static.flickr.com/3121/3119459869_9af9bb32a6.jpg Imari

ZZZ