Nach einer Migration von Windows AD auf Samba4 hatte ich eine DB, die noch mit vielen alten DNs bestückt war. Das lässt sich aber mit einem Query ganz bequem anpassen:
|
1 2 |
mysql> UPDATE ldap_users SET ldap_dn = replace(ldap_dn, "ou=Users,dc=neuedomain,dc=local", "ou=Benutzer,dc=altedomain,dc=local"); Query OK, 28 rows affected (0.00 sec) |
Daten aus einer Postgres-Datenbank nach MySQL zu exportieren ist gar nicht mal so komplex. Vorausgesetzt ist hier, dass die Tabellen bereits auf der MySQL-Datenbank bestehen. Wenn dies der Fall ist, können explizit nur die Daten der Postgres-Datenbank exportiert werden. In diesem Dump sind dann ganz normale, nicht Postgres-spezifische, Anweisungen enthalten. In einem kompletten Dump ist das Anlegen der Datenbank usw. natürlich Postgres-spezifisch definiert, dort geht das ganze also nicht auf diese Weise…
Um also nur die Daten zu dumpen, reicht folgendes
|
1 |
pg_dump --data-only --column-inserts |
Eventuell (jedenfalls bei mir war es so), muss trotzdem noch ein klein bisschen “Hand” angelegt werden (in meinem Fall war eine Column in Anführungszeichen, welche ich entfernen musste), dann kann der Dump aber wie gewohnt in MySQL importiert werden. Nach aber wenig manuellem Eingreifen hat das ganze recht gut geklappt.
Eine andere Variante wäre das Verwenden von Taps, was ich jedoch nicht kenne.
Und nochmals MySQL. Diesmal möchte ich Daten zwecks Umstellung auf ein anderes System in eine CSV exportieren. Einfach einen Query in ein File pipen ist zwar möglich, jedoch fehlen passt mir das ganze Bezüglich Formatierung nicht (Daten mit Tab getrennt). Ich möchte jedoch die Werte in Quotes und durch Komma getrennt.
|
1 2 3 4 5 |
SELECT * from Table INTO OUTFILE 'querydump.csv' FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY '\n' |
Das File wird unter /var/lib/mysql// abgelegt.
Es geht natürlich auch direkt von der Konsole, hier kann zudem ein beliebiger Pfad gewählt werden
|
1 2 |
mysql -u -p -e "USE ; SELECT * from INTO OUTFILE '/tmp/querydump.csv' FIELDS TERMINATED BY '\,' ENCLOSED BY '\"' LINES TERMINATED BY '\n'"; |
Im obigen Beispiel fehlen jedoch die Header (Tabellennamen), was aber oft oder meist benötigt wird.
Hierzu findet man einige Varianten. Eine davon ist das Auslesen der Header in eine weitere Datei und dann beide Dateien zusammenzufügen. Sowas wäre in etwa die entsprechende Abfrage:
|
1 |
mysql -u -p -e "SELECT GROUP_CONCAT(COLUMN_NAME SEPARATOR ',') FROM INFORMATION_SCHEMA.COLUMNS WHERE table_schema='' and table_name='INTO OUTFILE '/tmp/querydump.csv' FIELDS TERMINATED BY '\,' ENCLOSED BY '\"' LINES TERMINATED BY '\n'"; |
‘”Mein Problem ist jedoch, dass ich gewisse Spalten beim Export zusammenfüge (zb. SELECT vorname, nachname AS fullname). Dann passen natürlich die Anzahl Zeilen hier nicht mehr. Irgenwie wirds mir hier zu blöd, um ellenlange Commands zu tippen oder Skripte hierfür zusammenzubasteln (Beispiele siehe u.a. hier). Ich pipe deswegen die Bildschirm-Ausgabe (welche die Header ja beinhaltet) in ein File und bastle dann halt den Header selbst zurecht… (erste Zeile kopieren, in CSV einfügen und Quotes, Kommas setzen)
|
1 |
SELECT Vorname, Nachname AS fullname, <weitere queries...> FROM |
>
Wieso nicht gleich so ? Weil hier die leeren Spalte nicht angezeigt werden, sprich also auch nicht exportiert werden….
Dieses File kann dann zb mit sed zurechtgestutzt werden. Hier wird nur die erste Zeile mit head ausgegeben, alle Wörter mit sed in Anführungszeichen gesetzt (je nach dem muss das natürlich angepasst werden) und zu guter Letzt werden mit tr die Tabulatoren durch ein Komma ersetzt… geht wahrscheinlich auch mit einem einzelnen sed…aber dann kanns wahrscheinlich kein Mensch mehr lesen 😉
|
1 |
cat |head -n 1|sed 's/\([A-Za-z_]\+\)/"\1"/g'|tr -s "\t" "\," |
Das ganze kann natürlich bereits beim Export des Dumps gemacht werden
|
1 |
SELECT Vorname, Nachname AS fullname, <weitere queries...> FROM |
|head -n 1|sed ‘s/\([A-Za-z_]\+\)/”\1″/g’|tr -s “\t” “\,” >
Nun schauts ganz gut aus, jedoch ist der Header am Schluss des Files…nochmals umbauen..
|
1 |
sed -i '1h;1d;$!H;$!d;G' |
Mein Fazit zum Ganzen: es wäre angenehm, wenn man direkt definieren könnte, ob die Header mitexportiert werden sollen, würde das ganze wesentlich bequemer machen…
Letztens hatte ich das Problem, dass ein MySQL-Dump erstellt wurde, welcher Umlaute enthalten hat. Beim Import des Dumps wurden diese aber mal wieder “zerhackt. Um dieses Problem zu umgehen, gibt es verschiedene Lösungen (siehe zb. auch diesen Post), die mir auf die Schnelle am bequemsten fand ich, im Dump anzugeben, dass er gefälligst UTF-8 verwenden soll…
|
1 2 |
SET NAMES 'utf8'; ....dumpinhalt... |
Gestern stand ich vor der Frage, wie ich aus einer Datenbank nur die Struktur, also alle Tabellen ohne Daten exportieren kann. Eigentlich ganz einfach – identisch mit einem ganz normalen Dump, bis auf die -d Option, die bewirkt, dass keine Daten exportiert werden:
|
1 |
mysqldump -d -u root -ppassword dbname > dumpfile.sql |
Gibts ja immer wieder mal, dass man nur schnell eine Abfrage machen will und es soll schnell gehen. Und jedes mal muss ich wieder googeln, obwohl die Abfrage doch eigentlich nichts spezielles ist. Naja, drum kommts jetzt hier in den Blog… 
|
1 |
mysql -u [username] -p [dbname] -e [query] |
Ich hab immer noch einen Strichpunkt nach der Abfrage angehängt, obwohl das gar nicht nötig ist. Macht man auch nur einen Query, ist das völlig egal. Will man’s aber redirecten, bleibt das File leer… als korrektes Beispiel:
|
1 |
mysql -u root -ppasswd db -e 'SELECT hardware.name AS PC, userid AS User, videos.name AS GraKa FROM hardware LEFT JOIN videos ON hardware.id = videos.hardware_id' > /tmp/blafasel |
MySQL Workbench ist noch ein cooles Programm, mit dem man unter anderem Modelle aus bestehenden Datenbanken, SQL-Skripten oder auch einfach manuell erstellen kann. Desweiteren kann man bequem Queries durchführen und Server überwachen….