ZZZ

Filesystem cache for Drupal

Fil — 2013-06-04T07:59:52Z

This is a drop-in replacement for Drupal 6's cache system. We avoid a lot of problems by using a filesystem-cache in lieu of the classic database-cache.

Our site with Drupal 6.26 (published 2012-05-02) kept crashing because it filled its `cache_menu` table too quickly.

This is a drop-in replacement for includes/cache.inc that makes Drupal use a filesystem-based cache instead of the database.

Installation

Download the file (http://trac.rezo.net/trac/rezo/brow...)
Rename the old includes/cache.inc to includes/cache.classic.inc, in case you want to go back.
Install this file as includes/cache.inc.
By default, we use the sys_get_temp_dir() command to learn where to store the cache files. If you prefer to see what happens, create a tmp/ directory (with proper write permissions for www-data and a security .htaccess file); the code will use this directory if it exists.

Compatibility

This has not been tested yet on any other version than Drupal 6.26. If it works for you, please comment in the forum below.

How it works

When Drupal tries to cache some data it uses

cache_set($cid, $data, $table, $expire, $headers)

… our code computes a 4-hexdigits hash key from (cid, table), and stores the values (data, headers) in the file named tmp/a0/3c.cache.

When Drupal requests this value from the cache, we load the values from the same file, check that the cid and table match the request, that the cache has not expired, and then return the value.

There will be collisions in this small space (16^4= 65,536 files “only”). But that's a deliberate feature, because it allows us to avoid using a costly garbage collector [1].

P.S. Something better probably exists somewhere. I just couldn't find it; if this is useful for you, or if you have suggestions, please comment below.

[1] This approach was initially developed for SPIP, see Memoization.

Recevoir les logs irssi par email

Fil — 2010-08-21T18:02:19Z

Pour irc j'utilise irssi, un client en ligne de commande qui tourne en permanence sur mon serveur. Je m'y connecte de temps à autre avec screen et tout va bien.

Pour indexer les logs — ce qui me permet de retrouver en cas de besoin une conversion —, j'ai écrit ce petit script, irclogs2email.php :

#! /usr/bin/php -q




$to = $from = 'xxx@rezo.net';



chdir('/home/xxx/irclogs/');

foreach (glob('*/#*.log') as $log) {
 $subject = 'irclog: '.$log.' '.date('Y-m-d');
 $headers = "From: $from\n"
 ."To: $to\n"
 ."List-Id: irclogs\n";
 if (strlen($f = file_get_contents($log)))
 mail($to, $subject, $f, $headers, '-f '.$from);
 # purger le log sans changer son inode
 # (sinon irssi pas content)
 fclose(fopen($log,'w'));

}

?>

Appelé quotidiennement via la crontab :

58 23 * * * php /home/xxx/bin/irclogs2email.php

A noter : le # dans la commande glob() (qui liste les fichiers de log) sert à n'indexer ainsi que les canaux publics, et non les conversations privées.

Quant au List-Id: il me permet de filtrer ces logs quand ils arrivent dans mon mail.

Dredd, outil pour serveurs de mailing-lists

Archiloque, Fil — 2010-07-22T20:10:25Z

Nous avons développé, pour le serveur de mailing lists de rezo (listes.rezo.net), un script permettant de surveiller la bonne santé du serveur.

Le principe de DREDD est simple : on crée une mailing-liste de test, à laquelle on inscrit une adresse sur chaque fournisseur de mail qu'on veut vérifier. Le logiciel envoie ensuite, toutes les vingt minutes, un message sur cette liste, puis relève les comptes abonnés. Il trace ensuite un graphique indiquant le temps mis par chaque message à parcourir l'Internet.

Le graphique affiche deux données essentielles : la médiane, qui indique si le serveur a des problèmes, et le maximum, qui signale lorsque la connexion vers un fournisseur de messagerie est bloquée. Si l'un de ces deux indicateurs montre trop haut, Dredd est capable d'envoyer un message sur un compte twitter, sollicitant ainsi l'administrateur du système.

Tout le code et la documentation se trouvent sur github : http://github.com/archiloque/dredd/....

On peut voir dredd en action sur http://dredd.rezo.net/.

Bloquer les mouchards avec Ghostery

Fil — 2010-05-20T21:26:12Z

Mon billet pour Bloquer les mouchards de Facebook a eu pas mal de succès, signe que l'internaute commence à en avoir assez d'être pisté dans chaque recoin du Web. Y a-t-il d'autres solutions que mon bricolage ?

Ghostery

Ghostery propose une extension pour Firefox qui détecte, affiche et élimine les mouchards du Web. Merci à cy_altern qui, dans le forum, a signalé cette solution.

Il s'agit d'un plugin à vocation didactique car, quand on l'active, il ne fait qu'afficher, dans une petite fenêtre en haut à droite de la page Web, la liste des mouchards détectés dans la page. Il n'est pas rare d'en voir 1, 2 ou 3 à chaque page, avec les mêmes qui reviennent sans arrêt : Google, Facebook, Xiti, DoubleClick, etc.

L'interface permet de bloquer un à un ces réseaux de traqueurs et de « pub comportementale ». En allant dans les préférences de l'extension, on peut aussi les bloquer tous en un seul clic.

Pour reprendre ensuite une navigation normale, il suffit de désactiver l'affichage de la liste. Seul un petit fantôme bleu en bas de la page permet de temps à autre de savourer le nombre de mouchards qui restent à la porte.

Ghostery est, bizarrement, édité par la société Better Advertising (sic), qui conseille aussi les réseaux de publicitaires dans leur gestion des questions de privacy. Le plugin permet, pour chaque mouchard, d'aller consulter une page décrivant le réseau et de consulter sa politique de confidentialité, de façon à améliorer la « confiance » des internautes dans la pub (re-sic).

À noter : Ghostery ne fonctionne pour l'instant que pour Firefox ; sa version pour Internet Explorer ne bloque qu'une partie des mouchards, et sa version pour Chrome ne fait que les détecter (pas de blocage).

Bloquer les mouchards de Facebook

Fil — 2010-04-27T20:30:00Z

Avec les Social Plugins introduits il y a quelques jours, Facebook prétend ajouter un bouton “Like” sur toutes les pages du Web. C'est sans doute super pour cette société de savoir qui regarde quelle page de quel site à tout instant, mais, moi, ça ne me plaît pas.

Il suffit de quitter Facebook, me direz-vous. En vérité ce n'est pas si simple. Car avec ces plugins, chaque webmestre est encouragé à ajouter sur ses propres pages une petite ligne de code qui moucharde directement à Facebook le fait que vous lisez cette page.

Si vous êtes connecté à Facebook à ce moment-là, le message qui s'affiche est personnalisé à votre nom, et en fonction de vos amis. Ce qui signifie que Facebook enregistre votre passage sur la page, à votre nom, que vous cliquiez ou non sur le bouton Like. Dans tous les cas, connecté ou pas, Facebook reçoit une information sur le fait que vous avez visité la page en question.

Pour éliminer ça, j'ouvre mon bloqueur de publicités préféré, et j'ajoute une règle personnalisée :

||facebook.com/*$third-party

Cette règle indique au bloqueur de publicité d'interdire tout appel à une ressource Facebook (||facebook.com/*) depuis un domaine autre que celui de FB lui-même ($third-party). De cette façon, les mouchards sont bloqués, mais, si je le souhaite, le site de Facebook reste utilisable.

Comme le note Horatiorama, il faut aussi ajouter une ligne pour bloquer le CDN de Facebook fbcdn.net.

Pour faire bonne mesure, et tant que j'y suis, j'interdis aussi à Google Analytics de me suivre à la trace :

||facebook.com/*$third-party

||fbcdn.net/*$domain=~facebook.com

||google-analytics.com/ga.js$third-party

Sur Firefox, j'emploie Adblock Plus :

(Et tant qu'à faire, j'ajoute Ghostery qui élimine des dizaines d'autres mouchards.)

Sur Chrome, AdThwart (ou encore l'extension Facebreak) :

Sur Safari, Adblock (ci-dessous) ou Adblocker :

Avec cette méthode je peux continuer à utiliser Facebook si je veux, sans pour autant l'autoriser à espionner chacune de mes visites sur chacun des sites qui a eu l'imbécillité d'activer ces foutus plugins « sociaux ».

P.-S. A mon sens, ce problème relèvera rapidement des tribunaux, notamment en Europe où la défense de la vie privée reste un enjeu de droit important. Mais ce n'est pas l'objet de ce petit billet.

Vos commentaires, et notamment pour indiquer de meilleures méthodes de blocage, sont les bienvenus.

How to block Facebook's narks

Fil — 2010-04-27T20:25:00Z

With its Social Plugins introduced a few days ago, Facebook wants to add a “Like” button on all the pages of the Web. It's probably great for this company to know who is looking at what page on each site at every moment... But I don't like it.

You just have to leave FB, will you tell me. Not so simple. With these plugins every webmaster is encouraged to add on her own pages a little line of code that directly informs Facebook of the fact that you are reading that page.

If you are connected to Facebook with the same browser, the message that displays is personalized with your name and your friends and so on. If you are connected, FB knows your name and can register where you go on the Web; but in all cases, even if you are not connected to FB, Facebook receives an information on the fact that you are visiting that page.

To mitigate the problem, open your favorite ad blocker, and add the following personalized rule:
||facebook.com/*$third-party

This tells the ad blocker to block all calls to Facebook's resources from any other site than FB itself. This way, I can still use FB if I want, but won't be traced on other sites.

As Horatiorama has noticed, one must also add a line against the Facebook CDN (content delivery network) fbcdn.net.

And while I'm at it, let's add a rule to block Google Analytics's nark:

||facebook.com/*$third-party

||fbcdn.net/*$domain=~facebook.com

||google-analytics.com/ga.js$third-party

For Firefox, I use Adblock Plus :

For Chrome, AdThwart (see also Facebreak which claims to block FB's plugins):

And, for Safari, Adblock:

With this method I can continue using Facebook if I want, without letting it spy each of my visits to any of the sites that had the stupid idea of activating one of these so-called “social” plugins.

P.-S. I can only imagine that this problem will soon be discussed in a tribunal. In Europe privacy is still an important legal question. But that's not the subject of this quick note.

Your comments, especially to give better blocking methods, are welcome.

HowTo: Expand Short URLs

Fil — 2010-01-09T12:47:17Z

Short URLs have been plaguing the Web. They break links, enable surfing surveillance, forbid us to know if we have visited such or such article before, and remove any indication of what's behind your next click.

With long.rezo.net, you can now dereference those short URLs, and peek at the address they point to without actually going to it.


Screenshot of the long.rezo.net website

In the “short url” input enter your short URL, and the site will indicate its destination address, with a link to it in case you want to proceed.

Bonus : your (long) address is checked on delicious and you will see its title and associated tags if it has already been registered.

How it works

The script that dereferences a short URL is a simple application of the HTTP protocol. The site calls the short URL, and checks if the headers contain a redirection line Location: long address.

In PHP this is done with the following code:

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, $url);

curl_setopt($ch, CURLOPT_HEADER, true);

curl_setopt($ch, CURLOPT_FOLLOWLOCATION, false);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);

$a = curl_exec($ch);

if(preg_match('#Location: (.*)#', $a, $r))
 $l = trim($r[1]);

Going a bit further

I tried to find a method to go a bit further, because copy-pasting the short URL on the long.rezo.net website is not very convenient. To do it systematically, I toyed with my computer's configuration.

In the HOSTS file (help) I've added the following line:

Then any call to one of those short URLs system is routed to my server at IP address 193.56.58.14, on which I've configured a simple mechanism to intercept those URLs, and proxy the others to their (legitimate) destination.

Her's my apache configuration for these services:

Maybe a bit complex to install, this method enables me to get the long.rezo.net URL each time I click on a short URL, anywhere on my computer — in my email, in my twitter client, and so on.

You can use 193.56.58.14 if you wish to test, but I encourage you to install your own proxy, as my system is very much experimental.

If you have a better idea to do this, please indicate it in the forum below!

Allongez vos URLs

Fil — 2010-01-07T21:20:48Z

Les URLs courtes sont une plaie du Web : elles cassent les liens, permettent à leurs promoteurs de surveiller la navigation des internautes, interdisent de savoir si on a déjà vu ou non tel ou tel article, n'offrent aucun indice sur leur destination.

Avec long.rezo.net, vous pouvez déréférencer ces URLs courtes, et obtenir l'adresse sur laquelle elles pointent.


Photo d'écran du service long.rezo.net

Dans la case « short url » entrez votre adresse courte, le site vous indiquera vers quelle destination elle pointe, avec un lien vers cette page.

Bonus : une vérification de cette adresse sur le site delicious.com vous indique le titre et les éventuels tags associés à cette page.

Principe

Le script qui permet de déréférencer une URL courte est une simple application du protocole HTTP : on appelle l'adresse courte, et si elle envoie un entête de redirection Location: xxxx, on récupère cette nouvelle adresse.

En PHP cela donne :

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, $url);

curl_setopt($ch, CURLOPT_HEADER, true);

curl_setopt($ch, CURLOPT_FOLLOWLOCATION, false);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);

$a = curl_exec($ch);

if(preg_match('#Location: (.*)#', $a, $r))
 $l = trim($r[1]);

Aller plus loin

J'ai cherché une méthode pour aller plus loin, car copier-coller l'adresse courte sur le site long.rezo.net n'est pas très pratique. Pour le faire de manière systématique, j'ai bricolé un peu la configuration de mon ordinateur.

Dans le fichier HOSTS (aide) j'ai ajouté la ligne :

Dès lors, mes appels vers le site de ces réducteurs d'URLs sont redirigés vers mon serveur à l'adresse IP 193.56.58.14, sur lequel j'ai configuré très simplement un mécanisme qui intercepte les URLs courtes et fait proxy pour le reste.

Voici la configuration d'apache pour ces services :

Certes un peu lourde à mettre en œuvre, la méthode me permet dès lors que je clique un lien court n'importe où — dans mon mail, dans mon client twitter, etc. — d'en obtenir la version de long.rezo.net.

Vous pouvez utiliser si vous le souhaitez utiliser 193.56.58.14 pour vos tests, mais je vous encourage à installer votre propre proxy, car mon système reste largement expérimental pour le moment.

Si vous avez une meilleure idée pour faire cela, n'hésitez pas à l'indiquer dans le forum ci-dessous !

Mon ordinateur me twitte

Fil — 2009-05-22T21:54:19Z

Quand mon ordinateur a chaud, il me twitte ; quand il a soif, il me twitte (lire aussi Sécurité : attention au ver Gumblar).

Attention ce qui suit n'est plus valide à partir du 16 août 2010, car twitter a supprimé l'accès « Basic Auth » avec mot de passe, et n'accepte plus que l'accès « OAuth ».

Voici le script qui permet d'envoyer un twitt en ligne de commande :

/usr/local/bin/twitter

#! /usr/bin/php -q <?php # le status vient de la ligne de commande (twitter coucou toi) $a = $argv; $script = array_shift($a); foreach($a as $c => $v) { if (preg_match (',^-(u|p|h|d)(.*),S', $v, $regs)) { switch ($regs[1]) { case 'u': $USER=$regs[2]; break; case 'p': $PASS=$regs[2]; break; case 'h': $HOST=$regs[2]; break; case 'd': $DEBUG=true; break; } unset($a[$c]); } } ## if (!$USER OR !$PASS) die("Usage: $script -uUSER -pPASS [-hHOST] [-d(ebug)] message a twitter\n"); ## service $apis = array( 'twitter' => 'https://twitter.com/statuses/update.xml', 'identica' => 'http://identi.ca/api/statuses/update.xml', 'spipo' => 'http://spip.org/api/statuses/update.xml', ); if (!isset($apis[$HOST])) $HOST = 'twitter'; $CACHE='/tmp/'.$HOST.'_status.'.$USER; $STATUS=trim(join(' ', $a)); # ou la premiere ligne du flux d'entree (cat toto | twitter) if (!strlen($STATUS)) $STATUS = trim(fgets(STDIN)); if (strlen($STATUS)) { $OLDSTATUS=@trim(array_pop(file($CACHE))); if ($STATUS != $OLDSTATUS) { fwrite(fopen($CACHE, 'aw'), $STATUS."\n"); @chmod($CACHE, 0666); $msg = substr($STATUS, 0, 140); $msg = utf8_encode($msg); #TODO tester d'abord si utf8 et alors ne pas convertir $api = $apis[$HOST]; $curl_handle = curl_init(); curl_setopt($curl_handle, CURLOPT_URL, $api); curl_setopt($curl_handle, CURLOPT_POST, 1); curl_setopt($curl_handle, CURLOPT_RETURNTRANSFER, 1); curl_setopt($curl_handle, CURLOPT_POSTFIELDS, 'status='.rawurlencode($msg)); curl_setopt($curl_handle, CURLOPT_USERPWD, $USER.':'.$PASS); curl_setopt($curl_handle, CURLOPT_CONNECTTIMEOUT, 3); $r = curl_exec($curl_handle); if ($DEBUG) echo $r; } }

Ce script s'utilise en ligne de commande de la façon suivante :
# twitter -uUSER -pPASSWORD message à twitter

ou :
# grep xxx ... | twitter -uUSER -pPASSWORD

(Bien entendu on peut mettre le nom et le mot de passe dans un alias.)


Et voilà le résultat: Dans mon client twitter, un message de mon serveur disant qu'une table MySQL a crashé

Security: beware of the Gumblar worm

Fil — 2009-05-20T18:44:57Z

The Gumblar worm is spreading like fire among websites. Using stolen passwords, it infects many files on web servers, with malicious code that, when executed on another webmaster's local computer, steals her passwords and thus gets information that enables it to infect more sites.

For more detailed information on this exploit see http://blog.unmaskparasites.com/200... and http://www.martinsecurity.net/2009/....

A trick I use to protect my own servers is the following: in the run-every-minute cron job I usually have, I add the following line:

for i in $(grep -E "(image|index).php" /var/log/xferlog | cut -d' ' -f10 | sort -u); do grep unescape $i 2>/dev/null; done | $twitter

$twitter is a script that sends me a twit.

In other words: whenever a file called index.php or image.php is uploaded by FTP (leaving a trace in /var/log/xferlog), it will be checked for the string "unescape". It that string is present I'll get twitted within the minute.

Let's hope I won't have to see it work!