{"id":150,"date":"2016-11-05T14:24:05","date_gmt":"2016-11-05T13:24:05","guid":{"rendered":"https:\/\/blog.overgen.com\/messi89\/?p=150"},"modified":"2016-11-05T15:06:29","modified_gmt":"2016-11-05T14:06:29","slug":"laravel-excel-comment-je-suis-passe-de-600s-a-12s-pour-exporter-25k-lignes","status":"publish","type":"post","link":"https:\/\/blog.overgen.com\/messi89\/web\/laravel-excel-comment-je-suis-passe-de-600s-a-12s-pour-exporter-25k-lignes\/","title":{"rendered":"Laravel Excel : Comment je suis pass\u00e9 de 600s \u00e0 12s pour exporter 25k lignes"},"content":{"rendered":"

Hi les amis,<\/p>\n

Aujourd\u2019hui je vais vous expliquer comment exporter de gros fichiers Excel. Durant un projet avec Laravel, ou j\u2019ai eu \u00e0 exporter des informations de la base de donn\u00e9es en Excel, souvent ces donn\u00e9es d\u00e9passaient les 10k.<\/p>\n

\"excelbench\"<\/a><\/p>\n

<\/p>\n

Au d\u00e9but j\u2019ai utilis\u00e9 le Wrapper le plus connu pour Laravel (https:\/\/github.com\/Maatwebsite\/Laravel-Excel<\/a>) ce dernier utilise PHP Excel, mais rapidement j\u2019ai remarqu\u00e9 que l\u2019exportation n\u2019\u00e9tait pas possible d\u00e8s que le nombre de lignes d\u00e9passaient 2k\u2026j\u2019ai donc augment\u00e9 le temps d\u2019ex\u00e9cution des scripts et la m\u00e9moire allou\u00e9e (chose pas tr\u00e8s recommand\u00e9e surtout sur les petits serveurs et h\u00e9bergements mutualis\u00e9s) mais \u00e7a n’a rien donn\u00e9 car avec un temps de 600s et 128mb de m\u00e9moire allou\u00e9e je n’arrivais pas \u00e0 exporter plus de 10k lignes avant l’expiration du\u00a0 temps accord\u00e9 au script.<\/p>\n

Apr\u00e8s plusieurs recherches j\u2019ai trouv\u00e9 une autre librairie qui a pu optimiser l\u2019exportation de gros fichiers Excel en utilisant le concept de stream, ce concept permet d\u2019\u00e9crire sur le fichier et le rendre t\u00e9l\u00e9chargeable d\u00e8s que le premier Byte est \u00e9crit, ce qui aide \u00e0 r\u00e9duire la m\u00e9moire utilis\u00e9e et le temps d\u2019ex\u00e9cution du script, cette librairie s\u2019appelle Spout (https:\/\/github.com\/box\/spout<\/a>).<\/p>\n

J\u2019ai donc essay\u00e9 un Wrapper Laravel qui utilise cette librairie (https:\/\/github.com\/Cyber-Duck\/laravel-excel<\/a>), ce Wrapper m\u2019a permis d\u2019exporter 25k en 100s, c\u2019\u00e9tait bien mais je sentais que je pouvais faire mieux.<\/p>\n

En continuant mes recherches j\u2019ai trouv\u00e9 l\u2019instruction qui me faisait d\u00e9faut, 85% du temps d\u2019ex\u00e9cution \u00e9tait consomm\u00e9 par la conversion de la collection Eloquent vers un tableau, du coup j\u2019ai chang\u00e9 l\u2019approche utilis\u00e9e, au lieu d\u2019interroger la base de donn\u00e9es avec Eloquent qui retourne une collection, j\u2019ai utilis\u00e9 le Query Builder qui retourne un tableau d\u2019objets.<\/p>\n

Seul souci le Wrapper Laravel-Excel (https:\/\/github.com\/Cyber-Duck\/laravel-excel<\/a>) n\u2019accepte pas un tableau mais une collection\u2026pour ensuite faire une conversion vers un tableau, l\u2019op\u00e9ration qu\u2019il faut \u00e0 tout prix \u00e9viter<\/p>\n

J\u2019ai fait un fork de cette librairie, j\u2019ai ajout\u00e9 le support de tableau (loadArray()) et l\u00e0 j\u2019ai pu descendre \u00e0 12s pour mes 25k lignes.<\/p>\n

Vous pouvez trouver la version modifi\u00e9e sur mon Github (https:\/\/github.com\/messi89\/laravel-excel<\/a>), cette version permet aussi de r\u00e9cup\u00e9rer l\u2019ent\u00eate \u00e0 partir des indices du tableau et aussi de cr\u00e9er un style a cet ent\u00eate.<\/p>\n

Ce qu’il faut retenir :<\/p>\n