WebLog Pro Olivier Berger » debian-fr

Managing Python code with UTF-8 (french chars) in org-mode + babel + minted for LaTeX export

Olivier Berger — Fri, 29 Mar 2013 10:44:43 +0000

The goal of this article is to illustrate how to manage Python code which includes comments in UTF-8 characters inside a latin-1 source org-mode for LaTeX export.

Note that I’ve pasted in wordpress the HTML generated by org-mode, so I hope it isn’t broken too much.

My typical use case is a french lecture on Python where the text is written in french, as well as some of the code comments and examples

We’ll use org-mode’s babel module to include and manage the Python
examples. The goal is to write the source of the Python programs
directly in the same org source as the class book’s text, and to extract them into a subdir (with the “tangle” feature), so that they can be shipped to the students to experiment with.

The minted LaTeX environment is used, for babel, to make the Python syntax highlighting.

1.1 Issues

The source org-mode is in latin-1 so that it compiles with pdflatex
The examples source-code will be in UTF-8 so that Python 2.7 executes them well on a modern Linux desktop
Minted relies on pygmentize wich doesn’t seem to handle UTF-8 so well

1.2 Solution

We’ll show how to “patch” minted’s use of pygmentize to take advantage
of its conversion capacity to convert the Python sources from UTF-8 to
latin-1 at document rendering time (LaTeX compilation).

It’s a hack, but works.

The current document’s source shows how this works

1.2.1 Customization

The org document should contain the following headers :

#+LANGUAGE:  fr
#+LaTeX_HEADER: \usepackage[latin1]{inputenc}
#+LaTeX_HEADER: \usepackage[french]{babel}
#+LaTeX_HEADER: \usepackage{color}\usepackage{minted}

and the footers :

# Local Variables:
# coding: latin-1
# org-src-preserve-indentation: true
# tab-width: 4
# End:

Also note that pdflatex should use the -shell-escape option necessary for minted

Now, the document should also include the following “patch” for minted :

#+LATEX_HEADER: \makeatletter
#+LATEX_HEADER: \renewcommand\minted@pygmentize[2][\jobname.pyg]{
#+LATEX_HEADER:   \def\minted@cmd{pygmentize -l #2 -f latex -F tokenmerge
#+LATEX_HEADER:     \minted@opt{gobble} \minted@opt{texcl} \minted@opt{mathescape}
#+LATEX_HEADER:     \minted@opt{startinline} \minted@opt{funcnamehighlighting}
#+LATEX_HEADER:     \minted@opt{linenos} -P "verboptions=\minted@opt{extra}"
#+LATEX_HEADER:     -O encoding=UTF-8,outencoding=iso-8859-1 -o \jobname.out.pyg #1}
#+LATEX_HEADER:   \immediate\write18{\minted@cmd}
#+LATEX_HEADER:   % For debugging, uncomment:
#+LATEX_HEADER:   %\immediate\typeout{\minted@cmd}
#+LATEX_HEADER:   \ifthenelse{\equal{\minted@opt@bgcolor}{}}
#+LATEX_HEADER:    {}
#+LATEX_HEADER:    {\begin{minted@colorbg}{\minted@opt@bgcolor}}
#+LATEX_HEADER:   \input{\jobname.out.pyg}
#+LATEX_HEADER:   \ifthenelse{\equal{\minted@opt@bgcolor}{}}
#+LATEX_HEADER:    {}
#+LATEX_HEADER:    {\end{minted@colorbg}}
#+LATEX_HEADER:   \DeleteFile{\jobname.out.pyg}}
#+LATEX_HEADER: \makeatother

The important change is the addition of the -O encoding=UTF-8,outencoding=iso-8859-1 option of pygmentize, that will convert the UTF-8 source code to latin-1.

Hopefully most of the characters will convert fine, for a document written in french.

2 Examples

2.1 Basic Python

This is a generic verbatim example, which doesn’t use babel / minted.

$ python
Python 2.7.3 (default, Jan  2 2013, 16:53:07) 
[GCC 4.7.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> print "Hello, world!"
Hello, world!
>>>

2.2 Python source code for french speakers

Here, we first include the source code, so that it can be exported to
an examples/ subdir, with the following (note that the #+ BEGIN_src / #+ END_src should be changed to get rid of the space
character between + and BEGIN / END, and that the :shebang and following text should be on the BEGIN_SRC line… I seem to have not quoted
these properly in this document):

#+name: helloworld
#+ BEGIN_src python :tangle examples/helloworld.py :noweb yes \\
:shebang #!/usr/bin/python :padline no :exports none
# -*- coding: utf-8 -*-

# Ceci est un exemple d'affichage d'une chaîne accentuée

name = raw_input("Quel est vôtre nom ? ")

print "J'espère que ça va bien aujourd'hui", name
#+ END_src

Editing it with “C-c ‘” will open an UTF-8 buffer, so hopefully, this will be consistent with the utf-8 coding system declared on the second line.

The regeneration of the examples/helloworld.py file is made with C-c C-v t (babel “tangling”).

Note that we don’t add the #!/usr/bin/python first line in the source, as we want it to be added by the tangling process (which will also make the script executable).

Once this is done, the script may be run :

$ python examples/helloworld.py 
Quel est vôtre nom ? François
J'espère que ça va bien aujourd'hui, cher François

Now, to add the colorized rendering in the lecture book, we do (here again, remove the spaces):

# +BEGIN_latex
\inputminted{python}{examples/helloworld.py}
# +END_latex

And here it is, rendered by minted:

# -*- coding: utf-8 -*-

# Ceci est un exemple d'affichage d'une chaîne accentuée

name = raw_input("Quel est vôtre nom ? ")

print "J'espère que ça va bien aujourd'hui, cher", name

Here are links to : the source, the PDF result, and the generated Python program.

Conférence “L’économie du logiciel libre et la percée d’OpenStack dans le cloud” le 27/03 à Évry

Olivier Berger — Mon, 18 Mar 2013 12:49:40 +0000

L’association Minet organise une conférence le 27/03 dans les locaux de Télécom SudParis et Télécom École de Management à Évry, qui promet d’être intéressante.

Elle portera à la fois sur l’économie du logiciel libre et sur l’essort d’OpenStack dans le cloud.

N’hésitez pas à venir nombreux sur le campus pour écouter les interventions de Jonathan Le Lous, Julien Brichard et Raphaël Ferreira, et rencontrer votre serviteur

Plus de détails sur le site de Minet.

Appel à commentaires sur ADMS.F/OSS 0.3 : vocabulaire pour les méta-données décrivant les logiciels dans les forges

Olivier Berger — Thu, 10 May 2012 15:45:45 +0000

Je reprends ici une news que je viens de publier sur : Un vocabulaire pour les méta-données décrivant les logiciels paru pour appel à commentaires

La période de appel à commentaires du vocabulaire de méta-données ADMS.F/OSS v0.3 vient de commencer.

ADMS.F/OSS est un vocabulaire de méta-données permettant de décrire des logiciels libres ou open-source (F/OSS), qui doit permettre d’explorer, trouver et tirer des liens facilement vers des logiciels sur le Web. Les spécifications visent à réutiliser au maximum des spécifications existantes telles que DOAP, ADMS, et le Trove software map. La version actuelle de ADMS.F/OSS (version 0.3) a été élaborée entre janvier et avril par un groupe de travail qui comptait 45 personnes issuesde 14 pays différents et est proposée aux commentaires du public jusqu’au 2 juin.

Pour plus de détails, merci de vous référer à l’annonce complète en anglais : Vocabulary for software metadata released for public review

Si vous développez ou administrez des forges ou des catalogues de logiciels, alors, ceci vous concerne peut-être.

Merci d’avance.

P.S.: en ce qui me concerne, mes commentaires sur ce draft sont sur : https://joinup.ec.europa.eu/asset/adms_foss/topic/public-comments-admsf/oss-v03#comment-11982

Intervention au prochain séminaire IRILL : Bug tracking à grande échelle et interopérabilité des outils de développement dans l’écosystème FLOSS

Olivier Berger — Sat, 04 Jun 2011 07:08:48 +0000

Je suis intervenu au séminaire Logiciel Libre et Programmation de l’IRILL, le jeudi 09/06 à 15h45.

Titre de l’exposé : Bug tracking à grande échelle et interopérabilité des outils de développement dans l’écosystème FLOSS

Résumé :

L’écosystème du logiciel libre (FLOSS) est caractérisé par un développement extrèmement décentralisé, avec de multiples canaux de production et de distribution décorellés, et des processus d’assurance qualité qui doivent donc prendre en compte ces aspects.

Dans cet ensemble de processus d’Assurance Qualité, nous détailerons le volet du suivi des rapports de bugs, en présentant quelques pistes de standardisation et des mécanismes d’interopérabilité (comme le standard OSLC).

Il reste encore de nombreux efforts d’implémentation à conduire, mais avec un espoir concret à lé clé de permettre la réalisation de nouveaux outils, basés sur l’approche Linked Data, permettant un suivi des rapports de bugs à grande échelle.

Toutes les informations concernant ce séminaire sont sur : http://www.irill.org/activities/seminaries

Update : les transparents de l’intervention sont en ligne (PDF 4 Mo).

Conférence “Debian: 17 ans de logiciel libre, “do-ocracy” et démocratie.” le 24/02 à 15h à Évry

Olivier Berger — Wed, 09 Feb 2011 14:29:26 +0000

À l’invitation des associations AIESEC et MiNET, Stefano Zacchiroli, leader du projet Debian interviendra sur le campus de Télecom & Management SudParis à Évry, le jeudi 24/02/2011, à 15h, pour faire une conférence intitulée “Debian: 17 ans de logiciel libre, “do-ocracy” et démocratie.“.

Attention: en raison des contraintes de sécurité pour l’accès au site, une inscription préalable est demandée (envoi des noms et prénoms à minet@it-sudparis.eu).

Update : Transparents (PDF en anglais – 1.4 Mo)

Update:

Debian: 17 ans de logiciel libre, “do-ocracy” et démocratie from Olivier Berger on Vimeo.

Vidéos de certaines confs du thème Développement des RMLL 2009

Olivier Berger — Fri, 19 Feb 2010 07:59:39 +0000

Free Electrons vient de mettre en ligne des vidéos des conférences qu’ils ont filmées aux RMLL 2009.
Une partie des vidéos porte sur le thème “Développement” que j’ai coordonné.

Voici la liste des interventions filmées :

Migration à Git du projet GNOME, par Frédéric Peters (GNOME)
Méthodes de vote : comment consulter les développeurs d’un projet sans fausser le résultat avant de poser la question, par Lucas Nussbaum (Debian)
Développement Open Source : un retour des tranchées, le projet Jajuk, par Bertrand Florat (Jajuk)
Comment les outils et l’esprit Open Source permettent de faire de meilleurs projets, par Erlé Le Gac, Bertrand Florat (Capgemini)

Le son n’est pas toujours top, mais c’est fait avec les moyens du bord, bénévolement

Vous trouverez les pointeurs vers les vidéos et les slides chez Free Electrons (en bas de liste).

Et n’oubliez pas : l’édition 2010 remet ça, avec un appel à contributions toujours ouvert.

Nous embauchons un ingénieur informaticien en CDD pour travailler sur la synchronisation entre bugtrackers

Olivier Berger — Tue, 25 Nov 2008 15:38:22 +0000

Nous embauchons un ingénieur informaticien en CDD (15 mois), pour travailler sur la synchronisation entre bugtrackers

( voir la version complète de cette annonce : ici — and the english version here.)

Nous recherchons un ingénieur informaticien pour travailler avec nous dans l’équipe PFTCR afin de compléter notre effort de R&D sur le projet HELIOS. Nous sommes responsables d’un de ses sous-projet visant à étudier et réaliser un dispositif s’intégrant à la plate-forme HELIOS, pour assurer la synchronisation entre bug-trackers.

Le lieu de travail serait Évry (France) pour une durée de 15 mois, en CDD (démarrage premier trimestre 2009). Les réalisations entreprises dans le cadre du projet seront reversées dans le patrimoine logiciel libre.

De solides compétences en développement logiciel, ainsi qu’un intérêt pour la recherche sont demandées aux candidats. De plus, une bonne connaissance technique des outils de développement libres ainsi que des dynamique des projets de développement dans le monde libre (distributions, packaging, QA) seront attendues. Une expérience de contribution sur un projet libre serait un must (type développeur Debian, par exemple). La maîtrise de l’anglais technique sera requise, vu l’objectif d’interaction avec des communautés de développement libre à l’international.

Si vous êtes intéressés et disponibles début 2009, il faut absolument qu’on se parle. Voir plus de détails dans la version complète de cette annonce.

Forges et plus si affinités aux RMLL à Mont-de-Marsan en juillet

Olivier Berger — Fri, 18 Apr 2008 16:07:23 +0000

Du 1er au 5 juillet 2008, je coordonnerai un thème sur le “développement communautaire”, dans lequel j’escompte bien qu’on parle de forges, entre autres choses.

Merci d’avance pour vos propositions d’interventions.

Voir déjà : un aperçu des thèmes pressentis.

Plus de détail sur les Rencontres Mondiales des Logiciels Libres (9ème édition) : http://2008.rmll.info/

Update 2008/05/07 : j’ai ajouté quelques liens vers plus d’infos sur le site des RMLL.

phpGroupware 0.9.16.012 back in Debian lenny/testing

Olivier Berger — Thu, 10 Apr 2008 15:19:25 +0000

Cool. phpGroupware is back in the “testing” Debian distribution (a.k.a “lenny”). The package uploaded to unstable has nicely made its way through the 10 days delays without major problems, so it’s back in testing. I hope it will make its … Continue reading →

Exemple pris pour “Collaboration avec les projets libres” : 75 jours pour qu’un fix d’une ligne arrive dans Debian testing

Olivier Berger — Thu, 06 Dec 2007 06:14:53 +0000

Dans les slides de présentation du papier : “Collaboration avec des projets libres – enjeux, difficultés et bonnes pratiques” j’illustrais le fait que dans le libre, il est parfois très facile de corriger un bug (en l’espèce d’1 ligne à corriger), mais que s’assurer que ledit bug soit corrigé dans les distributions, qui vont réellement arriver chez les utilisateurs) c’est plus dur et plus long.

En l’espèce, le bug #444188 a mis 75 jours (entre le 21/09/2007 et le 05/12/2007) pour être intégré dans une release du package sympa dans Debian (testing).

Et oui, c’est pas si simple, ni rapide de faire en sorte qu’un fix, même trivial, se propage rapidement…

Update 07/12/2007 : J’ai détaillé un peu cet exemple précis dans un petit document, screenshots à la clé.