CA-Networks

None

2000-01-01T00:00:00Z

python elixir session

2008-04-14T00:00:00Z

Zur Zeit mache ich beim ZID mein Praxissemester, ich programmiere für uns den Python Computer Room Manager (pycrman). Dieses Projekt ist in Python geschrieben und benutzt verschiedene Python Erweiterung. Zur einer Erweiterung will ich hiermit ein bissel was schreiben :)

Elixir

Elixir ist "dünner" Wrapper für die SQLAlchemy Library. Beide zusammen vereinfachen den Umgang mit einer Datenbank in Python um ein vielfaches.

Hier ein kleines Beispiel mit 2 Tabellen:

# import elixir stuff
from elixir import *

# setup db connection
metadata.bind = "sqlite:///movies.sqlite"
metadata.bind.echo = True

# first table
class Device(Entity):
  """representation of a device
  """
  using_options(tablename='device', inheritance='multi')

  id = Field(Integer, primary_key=True)
  name = Field(String(127), required=True, unique=True)
  domain = Field(String(255), required=True)
  interfaces = OneToMany('Interface')

  def __repr__(self):
    return 'Device %s' % (self.name)

# second table
class Interface(Entity):
  """network interfaces
  """
  using_options(tablename='interface')

  id = Field(Integer, primary_key=True)
  name = Field(String(16), required=True)
  ip = Field(String(38), required=True, unique=True)
  mac = Field(String(17), unique=True)

  device = ManyToOne('Device')

  def __repr__(self):
    return '<Interface: %s ip: %s mac: %s>' % (
        self.name, self.ip, self.mac)

setup_all()
drop_all()
create_all()

und schon kann mal auf einfache und sehr elegante Weise diese 2 Tabellen benutzen:

# create new device object
device = Device(name="foobar")
device.domain = "test.localdomain"

# create new interface object
interface = Interface(name="eth0", ip="1.1.1.1")

# add interface object to device object
device.interfaces = [interface]

# store objects in db
session.flush([device, interface])

# query
device = Device.get_by(name="foobar")

print device

Ein schönes Beispiel gibt es auch im Elixir Tutorial.

Noch ein kleiner Beitrag zu den elixir/sqlalchemy sessions. In der Standard Einstellung sind die Elixir sessions sogenannte "scoped_session", d.h. das jeder Thread in einer threaded Umgebung seine eigene Elixir session hat. Das hat zur folge, das wenn ein Thread ein Objekt anlegt bzw. verändert, ein anderer Thread das nicht unbedingt mit bekommt, da Elixir/SQLAlchemy die Query Resultate cached. Am besten geht man damit um das man den Cache ausschaltet:

import elixir

elixir.options_defaults['mapper_options'] = dict(always_refresh=True)

oder bei einer Query populate_existing() benutzt.

python elixir query optimierung

2008-06-06T00:00:00Z

Ich bin vor ein paar Tagen bei der Programmierung von PyCRMan fast verzweifelt. Wie ich schon in einem früheren Eintrag beschrieb, verwende ich Elixir als Wrapper für die Datenbank und mir ist aufgefallen, das Elixir bei meinen Model sehr viele DB-Queries generiert. Die Anzahl der Queries ist so hoch das die Netzwerk Latenzzeiten eine sehr große Rolle spielen :(

Nach ewig langen erfolglosem Studieren der etwas dürftigen Elixir Dokumentation bin ich nachts um ca. 1 Uhr in der SQLAlchemy Dokumentation fündig geworden. Die "geheimen" Zauberwörter heißen "lazyload" und "eagerload", wenn ich das nur vorher schon gewußt hätte ;)

Hier ein kleines Beispiel:

Als erstes mal ein kleines Model (ja das ist das Beispiel aus der Elixir Doku :) )

from elixir import *
metadata.bind = "sqlite:///:memory:"
metadata.bind.echo = True

class Movie(Entity):
  title = Field(String(30))
  director = ManyToOne('Director')

  def __repr__(self):
    return '<Movie "%s">' % (self.title)

class Director(Entity):
  name = Field(String(60))
  movies = OneToMany('Movie')

  def __repr__(self):
    return '<Director "%s">' % self.name

setup_all()
create_all()

Jetzt ein paar Werte einfügen:

rscott = Director(name="Ridley Scott")
glucas = Director(name="George Lucas")
unknown = Director(name="Nobody Unknown")
alien = Movie(title="Alien", director=rscott)
swars = Movie(title="Star Wars", director=glucas)
brunner = Movie(title="No Name", director=unknown)

session.flush()
session.clear()

for m in Movie.query.all():
  print "Movie: name=%s director=%s" % (m.title, m.director.name)

Wenn man nun auf die letzten sql queries schaut, sieht man das erst alle movies aus der DB geladen werden und dann für jeden einzelnen Film wird der Director einzeln geholt. Ha nun ist klar warum das alles so langsam geht :)

SELECT __main___movie.id AS __main___movie_id, __main___movie.title AS __main___movie_title, __main___movie.director_id AS __main___movie_director_id 
FROM __main___movie ORDER BY __main___movie.oid
[]

SELECT __main___director.id AS __main___director_id, __main___director.name AS __main___director_name 
FROM __main___director 
WHERE __main___director.id = ?
[1]

SELECT __main___director.id AS __main___director_id, __main___director.name AS __main___director_name 
FROM __main___director 
WHERE __main___director.id = ?
[2]

SELECT __main___director.id AS __main___director_id, __main___director.name AS __main___director_name 
FROM __main___director 
WHERE __main___director.id = ?
[3]

Damit aus diesen beispielhaften 4 Queries EINE wird kann man an so einer Stelle eagerload verwenden.

# import eagerload from sqlalchemy
from sqlalchemy.orm import eagerload

for m in Movie.query.options(eagerload("director")).all():
  print "Movie: name=%s director=%s" % (m.title, m.director.name)

Und schon ist es eine Query:

SELECT __main___movie.id AS __main___movie_id, __main___movie.title AS __main___movie_title, __main___movie.director_id AS __main___movie_director_id, __main___director_1.id AS __main___director_1_id, __main___director_1.name AS __main___director_1_name 
FROM __main___movie LEFT OUTER JOIN __main___director AS __main___director_1 ON __main___movie.director_id = __main___director_1.id ORDER BY __main___movie.oid, __main___director_1.oid

Alternativ zum "eagerload" kann man auch im Model das lazyload abschalten.

class Movie(Entity):
  title = Field(String(30))
  director = ManyToOne('Director', lazy=False) # <- lazyload now False

  def __repr__(self):
    return '<Movie "%s">' % (self.title)

Und wenn man mal das ganze Gegenteil braucht, kann man lazyload verwenden und im Model heißt die Option "deferred=True".

Fotos

2009-02-25T00:00:00Z

Ich habe eine paar neue Fotos in meine Web Gallery gestellt, viel Spaß beim anschaun :)

iPhone unter Linux

2009-03-28T00:00:00Z

Ich habe mir jetzt ein iPhone zugelegt und damit meinen iPod Touch ersetzt. Nur am Rande, wenn jemand überlegt sich eins dieser beiden Geräte zu zulegen, ich kann dazu nur sagen: "Mach es!!" :)

Ok aber jetzt zum eigentlichen Artikel und dem Grund warum ich diesen Artikel schreiben musste.

Anmerkung: Das iPhone und der iPod Touch verwenden die gleiche Software und somit sind folgende Informationen für beide Geräte gleich.

iPhone und iTunes

Bevor man das iPhone benutzten kann (telefonieren usw.) muss es via der iTunes Software aktiviert werden. Da ich ja Linux benutzte stand ich nun vor einem großen Problem, die iTunes Software gibt es leider NUR für MacOS und Windows! :( Also was nun? Mac kaufen ... zu teuer! Eigene Windows Partition aufm Laptop ... aber wie kann dieses Windows auf meine Musik von der Linux Platte zu greifen? Das einzige und kostengünstige: VMware!

iTunes in einem VMware Windows XP

Die VMware Installation ist sehr einfach (ja auch unter Linux), herunterladen, Installer aufrufen, weiter, weiter, fertig! Dann schnell ein Windows XP in der VMware installiert und über die VMware meinen Music Ordner dem Windows gegeben. Das iTunes heruntergeladen und installiert.

Das ist alles noch nicht die hohe Kunst, aber leider reicht das nicht um ein iPhone zu aktivieren bzw. zu syncen :(

Konfiguration von HAL

Wenn man in dem jetzigen Setup das iPhone am Computer anschliesst, sehen das Linux und das Windows das iPhone. Dadurch funktioniert das iTunes im Windows nicht richtig, es können manche USB Kommandos nicht ausgeführt werden. Die Lösung bring dein Linux dazu das iPhone zu ignorieren, aber wie? Die Antwort lautet: Sag dem HAL, das das iPhone ihn nix angeht :)

Finde die USB ID des iPhones heraus

root@...# lsusb
[snip]
Bus 002 Device 002: ID 05ac:1292 Apple, Inc.

die USB ID (hier 05ac:1292) ist in der Hex Darstellung, das HAL braucht sie in der Dezimal Darstellung 1452:4754

in /etc/hal/fdi/preprobe/10-iphone.fdi folgendes eintragen

<?xml version="1.0" encoding="UTF-8"?> <!-- -*- SGML -*- -->

<deviceinfo version="0.2">
  <device> 
    <match key="usb.vendor_id" int="1452">
      <match key="usb.product_id" int="4754">
        <merge key="info.ignore" type="bool">true</merge>
      </match>
    </match>
  </device>
</deviceinfo>

HAL restarten und das Linux ignoriert das iPhone und das iTunes sollte ohne Probleme funktionieren :)

Kletterwald Hohenfelden

2009-04-30T00:00:00Z

Hier ein paar Fotos zum Ausflug in den Kletterwald Hohenfelden von David und mir :)

Kletterwald Hohenfelden

Bungy

2009-07-27T00:00:00Z

Ich habe es getan und mich, nur an einem Gummiseil befestigt, von der 96m hohen Jauntal Brücke gestürzt. 3 ... 2 ... 1 ... JUMP :)

Bungy

Bungy Video

2009-07-27T00:00:00Z

Kärtnen Läuft Halbmarathon

2009-08-23T00:00:00Z

Ich hab es hinter mich gebracht, 21km laufen von Velden am Wörthersee nach Klagenfurt ins Strandbad. Es war eine riesen Stimmung bei diesem immer gut besuchten Laufevent. Meine offizielle Zeit war 1h55m.

Kletterwochenende in Arco Italien

2009-08-08T00:00:00Z

Klettern in Arco

Kletterwochenende in Osp Slowenien

2009-08-08T00:00:00Z

Klettern in Osp

Fallschirmspringen

2009-09-07T00:00:00Z

Wir waren am Wochenende Fallschirmspringen und haben es alle unbeschadet überlebt ;) Ich kann es nur jedem empfehlen!!! Hier ein paar Eindrücke:

Fallschirmspringen

Das Video kommt später.

Mozartclub Geburtstagsfeier zum 30.

2009-10-13T00:00:00Z

Geburtstagsfeier im Mozartclub zu meinem 30.

Von Wordpress zu statischen HTML Seiten

2010-02-07T00:00:00Z

... oder "Wenn Designer jetzt PHP Code schreiben, dann muss ich meine Wordpress Installation abdrehen".

Ich war gestern auf den Barcamp Klagenfurt 2010 und nahm zufällig an einer Session zum Thema "Wordpress Themes" teil. Danach hab ich den festen Entschluss gefasst meine Wordpress Installation zu löschen und gegen statische HTML Seiten zu tauschen. Wie ich das gemacht habe möchte ich hier zeigen.

Problemstellung
Wordpress Seiteninhalte auslesen mit Jekyll
Von Dr. Jekyll zu Mr. Hyde

Problemstellung

Da ich nicht auf einer grünen Wiese ohne Inhalt für meinen Blog anfangen wollte, musste ich erst einmal meine bisherigen Seiten in einem vernünftigen Format aus dem Wordpress heraus bekommen. Leider ist das nicht so einfach, es gibt zwar viele Konverter die mir Inhalt ins Wordpress rein bringen, aber heraus bekommen es nur wenige. Ich habe mich dann schlussendlich für das Ruby Tool Jekyll entschieden. Diese Tool, welches selbst ein "static site generator" ist, möchte ich aber nur in der Migration Phase verwenden, danach bzw. jetzt setze ich Hyde für die Generierung meiner Seiten ein.

Wordpress Seiteninhalte auslesen mit Jekyll

Erstmal die nötigen Software installieren. In meinem Fall auf einem Debian Lenny Server.

Das es das Jekyll nicht als Debian Packet gibt, muss man es von hand installieren. Erst einmal Ruby und Compiler ...

apt-get install ruby ruby1.8-dev rubygems build-essential libmysqlclient15-dev

Jetzt Jekyll ...

gem sources -a http://gems.github.com
gem install mojombo-jekyll

Nun weitere Ruby Packete die das Jekyll braucht ...

gem install mysql
gem install sequel
gem install rake-compiler -v 0.5.0

Da im Lenny ein zu altes rubygems vorhanden ist, quick & dirty aus dem unstable installieren ...

wget http://ftp.de.debian.org/debian/pool/main/libg/libgems-ruby/rubygems1.8_1.3.5-2_all.deb
dpkg -i rubygems1.8_1.3.5-2_all.deb

Nun das letzte Ruby Packet ...

gem install hoe

Jetzt kann man mit Jekyll den Wordpress Seiten Inhalt auslesen ...

export DB=my_wordpress_db
export USER=dbuser
export PASS=dbpass

ruby -r '/var/lib/gems/1.8/gems/mojombo-jekyll-__VERS__/lib/jekyll/converters/wordpress' \
     -e 'Jekyll::WordPress.process("#{ENV["DB"]}", "#{ENV["USER"]}", "#{ENV["PASS"]}")'

Nun hat man im Verzeichnis "_posts" alle seine Wordpress Inhalte.

Da ich auf meinen Server keine Ruby installiert haben will und schon garnicht einen Compiler, fliegt alles wieder runter. Zu erste die Debian Packete ...

apt-get --purge remove cpp cpp-4.3 gcc gcc-4.3 libc6-dev libgmp3c2 libgomp1 \
libmpfr1ldbl libruby1.8 linux-libc-dev ruby ruby1.8 ruby1.8-dev apt-file \
libapt-pkg-perl libconfig-file-perl liblist-moreutils-perl menu irb1.8 \
libreadline-ruby1.8 rdoc1.8 rubygems rubygems1.8 build-essential dpkg-dev \
g++ g++-4.3 libstdc++6-4.3-dev libtimedate-perl make libmysqlclient15-dev \
zlib1g-dev

Danach die installierten Rubygems ...

rm -rf /var/lib/gems

Von Dr. Jekyll zu Mr. Hyde

Nun ist der Weg geebnet und ich konnte auf Hyde umsteigen. Ich bin dabei einer Anleitung von Steve Losh gefolgt, der seine Seite ebenfalls mit Hyde betreibt. Da es mit Beispielen immer leichter geht, kann ich noch Steve Losh Git empfehlen, in dem man den kompletten Code seiner Seite sieht.

Hier ist noch ein Script was die umgewandelten Wordpress Postings in die Hyde Verzeichnis Strutur umwandelt. Ich glaub der Code ist selbst erklärend.

#!/usr/bin/env bash

outdir="www.ca-net.org/content/blog/"
indir="_posts"

mkdir -p $outdir

cd $indir
for f in *; do
  # get some metainfo from filename and file content
  year=`echo $f | cut -f1 -d'-'`
  month=`echo $f | cut -f2 -d'-'`
  day=`echo $f | cut -f3 -d'-'`

  # get post title
  title=`grep "title: " $f | cut -f2- -d":"`
  # strip \" from title
  title=${title//\\\"/}
  # strip " from title
  title=${title//\"/}

  # convert url encoded german umlaute
  title=${title//\\xC3\\xBC/ü}; title=${title//\\xC3\\x9C/Ü}; 
  title=${title//\\xC3\\xB6/ö}; title=${title//\\xC3\\x96/Ö}; 
  title=${title//\\xC3\\xA4/ä}; title=${title//\\xC3\\x84/Ä};

  # strip file extension
  fwe=`basename $f .markdown`

  # create output dir
  mkdir -p ../$outdir/$year/$month

  # build output file name
  outfile="../$outdir/$year/$month/`echo $fwe | cut -f4- -d'-' | tr -s '-' '_'`.html"

  # write hyde heady
  cat - << __EOF__ > $outfile
{ % extends "_post.html" %}

{ % hyde
    title: "$title"
    created: $year-$month-$day
    categories: ["private"]
%}

{ % block article %}
__EOF__

  # write content
  tail +7 $f >> $outfile

  # write hyde footer
  echo "{ % endblock %}" >> $outfile
  echo "$outfile created"
done

Achtung: Im Script sind die 2 Zeichen "{" und "%" mit einen Leerzeichen dazwischen, bitte im abgespeicherten Script bei euch ab ändern.

CA-Networks

Archives

None

python elixir session

Elixir

python elixir query optimierung

Fotos

iPhone unter Linux

iPhone und iTunes

iTunes in einem VMware Windows XP

Konfiguration von HAL

Kletterwald Hohenfelden

Bungy

Bungy Video

Kärtnen Läuft Halbmarathon

Kletterwochenende in Arco Italien

Kletterwochenende in Osp Slowenien

Fallschirmspringen

Mozartclub Geburtstagsfeier zum 30.

Von Wordpress zu statischen HTML Seiten

Problemstellung

Wordpress Seiteninhalte auslesen mit Jekyll

Von Dr. Jekyll zu Mr. Hyde