Claudiu Persoiu

Blog-ul lui Claudiu Persoiu


Archive for the ‘unicode’ tag

PHP si Unicode folosind UTF-8

without comments

Una dintre cele mai mari probleme legate de web este coadarea.

Pe vremuri standardul folosit de baza folosit era ISO 8859-1, unde erau definite 191 caractere latine, iar 1 caracter = 1B. Pentru limbi diferite erau folosite codari diferite, dar de aici pleaca multe probleme legate de portabilitate, posibilitatea de a acoperii un numar mai mare de limbi etc.

Problema apare cand un proiect trebuie sa fie disponibil in mai multe limbi, iar numarul limbilor nu este controlat. Un proiect cum este WordPress de exemplu trebuie sa poata fi folosit in orice limba.

Unicode este o alternativa mult mai buna pentru ISO 8859-1, acesta avand definite peste 100.000 caractere. Cu alte cuvinte cuprinde cam toate caracterele existente in orice limba.

Cum spuneam si la MySQL, caracterele UTF-8 au o lungime variabila intre 1 si 4B.

Afisarea de continut UTF-8 in paginile PHP

Pentru ca browserul sa interpreteze continutul unei pagini in format UTF-8, acesta trebuie sa primeasca header-ele potrivite:

<?php header("Content-type: text/html; charset=utf-8");?>

Atentie! Headerul trebuie sa fie primele lucruri trimise catre server! Adica trebuie sa fie primul lucru afisat pe pagina.

Tipul documentului se poate specifica si prin meta-ul “Content-Type”. Daca mai exista un tag meta similar in pagina acesta trebuie scos si inlocuit cu:

<meta http-equiv="Content-Type" content="text/html; charset=utf-8">

Fisierul .htaccess si procesarea stringurilor

Adaugati in fisierul .htaccess (pentru serverul Apache) urmatoarele linii:

# charset-ul default folosit de PHP
php_value default_charset utf-8
# codarea pentru mbstring
php_value mbstring.internal_encoding utf-8
php_value mbstring.func_overload 7

Prima linie seteaza charset-ul default pentru PHP, acesta poate sa nu fie setat din php.ini.

A doua si a treia linie linie seteaza functile mbstring (multi byte string).

Folosind UTF-8, cum spuneam si mai sus 1 caracter != 1B, iar de aici pot aparea erori:

$var = 'aşadar';

echo strlen($var).PHP_EOL; // 7
echo strtoupper($var).PHP_EOL; // AşADAR

// folosind functii mbstring
echo mb_strlen($var).PHP_EOL; // 6
echo mb_strtoupper($var).PHP_EOL; // AŞADAR

De asta am setat mai sus modul pentru mbstring folsind fisierul .htacess. Continutul introdus prin formulare trebuie procesat folosind functii mbstring, pentru a evita probleme ca cele de mai sus.

Functiile disponibile sunt in manual.

Codare continut vechi

Exista multe moduri de a converti continut ISO 8859-1 in UTF-8. Doua dintre solutiile de conversie puse la dispozitie de PHP sunt:

– functia iconv() care converteste dintr-un format in altul:

echo iconv("ISO-8859-1", "UTF-8", "Test");

– functia utf8_encode() care converteste din ISO 8859-1 in UTF-8:

echo utf8_encode("Test");

Ce ne rezerva viitorul?

Mult asteptatul PHP6 va avea suport nativ pentru Unicode, deci toate trucurile de mai sus nu vor mai fi necesare. In momentul cand scriu acest blog PHP 6 este gata 70.70%, iar cu putin noroc va fi gata in mai putin de un an.

Written by Claudiu Persoiu

11 August 2009 at 10:40 AM

Posted in PHP

Tagged with , , ,

MySQL si Unicode folosind UTF-8

without comments

O data cu globalizarea, batranul cod ASCII nu mai este potrivit. Ganditi-va ca intr-o buna zi trebuie sa dezvoltati un proiect in germana, rusa sau chiar japoneza, puteti adapta characterset-ul pentru fiecare din aceste limbi sau puteti pur si simplu sa-l dezvoltati folosind Unicode.

Pentru a folosi Unicode cu MySQL se poate folosi UTF-8.

Trebuie sa retineti ca caracterele UTF-8 au o marime variabila si sunt compatibile ASCII. In ASCII 1 caracter = 1B, in UTF-8 1 caracter poate avea intre 1 si 4 B.

Charset si collation UTF-8 pe server

In MySQL tipul caracterelor este dictat de charset.

Pentru a vedea daca este instalat pe server:

SHOW CHARSET LIKE 'utf8';

sau cu information_schema

SELECT * FROM `CHARACTER_SETS` WHERE CHARACTER_SET_NAME = 'utf8';

Daca a fost gasit charset-ul atunci putem continua.

Un alt element care apare la charset este collation, acesta se foloseste in comparatii intre string-uri la ordonare.

Pentru a vedea ce “collation” sunt disponibile pe server:

SHOW COLLATION WHERE CHARSET = 'utf8';

sau cu information_schema

SELECT * FROM `COLLATIONS` WHERE CHARACTER_SET_NAME = 'utf8';

Collation este in functie de limba in principiu, pentru a putea compara stringuri cu sau fara diacritice de exemplu, sau se mai poate folosi cel “bin” care va face ordonarea in mod binar, adica “A” este mai mare decat “a” de exemplu.

Daca nu se va specifica collation, atunci se va folosi cel marcat ca default.

UTF-8 si baza de date

La crearea unei baze de date se poate specifica charset-ul default care se va folosi la toate tabelele noi la care nu este specificat charset-ul.

De exemplu:

CREATE DATABASE db_name CHARACTER SET utf8 COLLATE utf8_romanian_ci;

Sau pentru a modifica characterset-ul default la o baza de data deja existenta:

ALTER DATABASE db_name CHARACTER SET utf8 COLLATE utf8_romanian_ci;

UTF-8, tabelele si coloanele

Pentru a modifica tabelele deja existente se foloseste ALTER TABLE.

Un tabel poate avea un charset si un collation default iar fiecare coloana poate avea propriul charset si collation.

Pentru a vedea mai multe detalii despre un tabel se pot folosi:

SHOW CREATE TABLE tab;

Pentru a seta un charset pe un table existent:

ALTER TABLE tab CHARSET = utf8 COLLATE = utf8_romanian_ci;

Pentru a modifica charset-ul pe o coloana de timpul VARCHAR(200) se foloseste:

ALTER TABLE tab MODIFY c1 VARCHAR(200) CHARSET utf8 COLLATE utf8_romanian_ci;

Marimea stringurilor

O “problema” care poate aparea este legata de marimea unui caracter, acesta poate avea marimea intre 1 si 4B. De asta pentru masurarea unui camp care are un string (cum ar fi un varchar) trebuie folosita CHAR_LENGTH(str) si nu LENGTH().

Un mic exemplu:

SET @var = 'aşadar';
SELECT CHAR_LENGTH(@var) AS 'Char', LENGTH(@var) AS 'Length';

// Rezulta: Char = 6 si Length = 7 pentru ca ş ocupa 2B

Written by Claudiu Persoiu

10 August 2009 at 1:40 PM

Posted in MySQL

Tagged with , , ,

PHP 5.3 ce aduce nou?

without comments

Pana la versiunea mult asteptata 6, PHP 5.3 este deja la RC 2.

PHP 5.3 vine cu multe lucruri noi, de fapt sunt atat de multe incat putea sa fie cu succes versiunea 6, dar de ce nu este PHP 6? Pentru ca toata lumea se asteapta ca versiunea 6 sa aiba suport Unicode, iar cand o comunitate de programatori asteapta de mai bine de 3 ani asta, nu poti pur si simplu sa le spui ca te-ai gandit sa lasi suportul pentru Unicode pentru versiunea 7.

Namespaces

Printre noutati se afla si namespaces, mi se pare o idee interesanta dar nu fantastica, initial acestea nu erau pe lista de prioritati pentru ca se considera ca problema lor se poate rezolva relativ simplu folosind prefixuri si clase.

Un exemplu de namespace:

<?php
// clasa.php

// definirea namespace-ului, in cazul asta trebuie sa fie prima instructiune din fisier
namespace teste;

// o clasa cu un conscturctor
class clasaTest {
   function __construct() {
      echo "in constrcutor";
   }
}

// o functie
function funcTest() {
   echo "in functie";
}

// o constanta
const CONSTANTA = 'global';
?>

Acelasi fisier se mai poate defini intr-un anumit namespace si in felul urmator:

<?php
// clasa.php

// definirea namespace-ului
namespace teste {

   // o clasa cu un conscturctor
   class clasaTest {
     function __construct() {
        echo "in constrcutor";
     }
   }

   // o functie
   function funcTest() {
      echo "in functie";
   }

   // o constanta
   const CONSTANTA = 'global';

}
?>

Fisierul in care fac testele:

<?php

// includem fisierul de mai sus
require('clasa.php');

$obj = new clasaTest(); // Fatal Error:clasa 'clasaTest' not found in ...

$obj2 = new teste\clasaTest(); // afisaza "in constructor"

// aparent suprascriem constanta
const CONSTANTA = 'local';

echo CONSTANTA; // afisaza "local"

echo teste\CONSTANTA; // afisza "global"

teste\funcTest(); // afisaza "in functie"

?>

iar daca vrem sa nu mai folosim operatorul “\” si numele namespace-ului:

<?php
// trebuie sa fie prima insctructiune
namespace teste;

// includem fisierul de mai sus
require('clasa.php');

$obj = new clasaTest(); // afisaza "in constructor";

// suprascriem constanta
const CONSTANTA = 'local'; // Notice: Constant teste\CONSTANTA already defined in...

echo CONSTANTA; // afisaza global

?>

Si acestea sunt functiile de baza, folosindu-le pe acestea o sa ajute portabilitatea, si scalabilitatea. Acum numele de clase si functii nu mai trebuie sa fie unice, trebuie pur si simplu sa fie in namespace-uri diferite.

Functile lambda si “closures”

Cele mai interesante facilitati mi se par functile lambda si “closures”.

Suna cunoscut? Poate pentru ca sunt foarte folosite in JavaScript:

<script language="javascript">
closure = function(text) {
   alert(text);
}

closure("hello");
</script>

Iar acum in php este posibil:

<?php
$closure = function ($text) {
   return $text;
};

echo $closure("hello");
?>

Tot la functii lambda si “closures” a mai fost introdus si “use”, care permite folosirea unor variabile din exterior:

<?php
$x = 'Claudiu';
$closure = function ($text) use ($x) {
   return $text.' '.$x;
};

echo $closure("hello"); // afisaza "hello Claudiu"
?>

Iar daca in exemplul de mai sus vrem sa modificam variabilele care sunt parametri la “use” nu trebuie decat sa le trimitem prin referinta:

<?php
$x = 'Claudiu';
$closure = function ($text) use (&$x) {
   $x = 'utilizator';
   return $text;
};

echo $closure("hello"); // afisaza "hello"

echo $x; // afisaza "utilizator"
?>

Iar ca sa luam un exemplu concret unde pot fi utile, sa zicem functia “usort“:

<?php
function cmp($a, $b)
{
    if ($a == $b) return 0;
    return ($a < $b) ? -1 : 1;
}

$a = array(3, 2, 5, 6, 1);

usort($a, "cmp");

// este echivalent cu:

$a = array(3, 2, 5, 6, 1);

usort($a, function ($a, $b){
    if ($a == $b) return 0;
    return ($a < $b) ? -1 : 1;
});
?>

Dragut, nu? Cred ca asa se vede si mult mai clar ce se intampla in functie si la ce foloseste aceasta.

De asemenea obiectele se pot comporta ca niste closures folosind noua “metoda magica” __invoke():

<?php 

class testCl {
   function __invoke() {
      return "metoda de closure";
   }
}

$obj = new testCl(); // instantiem clasa
echo $obj(); // o apelam ca pe un closure si afisaza "metoda de closure"

?>

NOWDOC

NOWDOC este similar cu HEREDOC doar ca nu interpreteaza variabilele si caracterele speciale. Cu alte cuvinte HEREDOC era echivalentul ghilimelelor duble, NOWDOC este echivalentul ghilimelelor simple:

<?php

$var = "5";

// ghilimele duble
echo "Valoarea este: $var <br>"; // "Valoarea este 5"

// ghilimele simple
echo 'Valoarea este: $var <br>'; // "Valoarea este $var"

// HEREDOC
echo <<<HEREDOC
Valoarea este: $var <br>
HEREDOC;
// "Valoarea este 5"

// NOWDOC
echo <<<'NOWDOC'
Valoarea este: $var <br>
NOWDOC;
// "Valoarea este $var"

?>

Operatorul “?”

Acest operator a fost putin “inbunatatit”:

<?php
// inainte
echo $_GET['ceva']?$_GET['ceva']:false;

// acum
echo $_GET['ceva']?:false;

?>

Cu alte cuvinte acum conditia poate fi folosita ca valoare pentru adevarat.

goto

Sincer… nuprea vad de ce era nevoie de asa ceva, dar poate nu e chiar asa rau. Si un mic exemplu:

<?php

$x = 1;

label1:
echo "la label1 $x <br>";
$x++;

if($x>3) goto label2;
goto label1;

label2:
echo "la label2";

// va afisa:
// la label1 1
// la label1 2
// la label1 3
// la label2
?>

Arata mai mult a Basic decat a PHP dar chiar functioneaza.

Mai sunt si alte noutati, am incercat sa le enumar doar pe cele care mi se pare mie mai interesante.

Din pacate toate aceste lucruri nu vor ajunge sa fie folosite cu adevarat pe scara larga decat poate peste 2-3 ani, sau chiar mai mult. Poate nu este PHP 6 dar eu cred ca toate schimbarile vor fi mai degraba asociate cu PHP 6 decat cu PHP 5, nu cred ca vrea nimeni sa riste o intreaga aplicatie care foloseste namespace-uri sau closures pentru ca nu este versiunea “noua” de PHP 5.

Written by Claudiu Persoiu

10 May 2009 at 5:42 PM

Posted in PHP

Tagged with , , , , ,