CLASSE ZIP POUR ZIPPER OU DÉZIPPER

Commentaire de EBArtSoft le 19/11/2006 21:14:57 administrateur CS

Tu peux supprimer les references a zlib avec ceci : http://www.1activeserverpagesstreet.com/vb/scripts/ShowCode.asp?txtCodeId=58473&lngWId=1

Remplace aisement compress/decompress

@+

Commentaire de econs le 20/11/2006 09:11:30 administrateur CS

Jack ne répond pas aux messages privés. Continue à poser des questions sur sa source. C'est plus sûr.

Commentaire de yan35 le 20/11/2006 10:36:53

Salut RAFANEL,

En relisant bien mes commentaires et ceux dans ma source tu verras qu'il y a 2 aspects à la gestion des gros fichiers :
- le premier, que j'ai complétement traité, est de pouvoir lire et écrire des fichiers ZIP de grande taille. Ce que les classes de Jack ne pouvaient pas faire car elles conservaient en mémoire le tableau des données des fichiers zippés jusqu'à écriture de la collection à la fin, ce qui finissait par saturer la mémoire et renvoyait l'erreur n° 7; d'autre part pour le dézippage, la fonction zGetCentralDirEndPos devait remplir un tableau qui saturait la mémoire lorsque le fichier à lire était trop gros, ma fonction ybGetCentralDirEndPos utilise les API ReadFile ... et je ne lis que l'élément recherché à savoir signature EndOfCentralDir pour comparaison, ce qui est beaucoup plus rapide et économe en ressources ;
- le second, que je n'ai pas encore su traité mais dont je m'affranchis par une pirouette est de zipper 1 gros fichier. En fait, il faut fournir un tableau d'octet pour rentrer dans la Zlib (sub Compress) et donc on retombe dans le même problème de capacité mémoire. Il existe surement un moyen d'entrer et ressortir de la Zlib autrement mais je n'ai pas encore trouvé et toute la doc à ce sujet est en Anglais, je le lis mais boff boff. Alors comme je ne souhaitais pas bloquer si je rencontrais un gros fichier parmi 1 série d'autres fichiers à zipper, je calcule le crc de ce gros fichier (ce qui est long !) et je l'empacte dans le Zip mais sans compression, comme ça le Zip est plus gros mais compatible avec d'autres logiciels de Zippage.

Si quelqu'un peut m'aider là-dessus, je suis preneur.
En attendant, j'espère que ma classe répondra à tes besoins.

Commentaire de yan35 le 20/11/2006 11:31:47

Merci Patrice99, mais je ne suis pas passé à vb Net et je n'en dispose pas.
Cependant, je pense que ma classe doit pouvoir gérer des fichiers > à 2 Go sur 1 partition NTFS, mais je n'ai pas encore fait le test.

Commentaire de yan35 le 27/12/2006 03:15:25

Si tu le souhaites RAFANEL, (et les autres bien sûr) voici l'adresse d'infos sur la zLib http://www.zlib.net/manual.html  
La partie que je n'ai pas encore bien appréhendée est l'utilisation de plusieurs blocks dans Deflate pour gérer les gros fichiers (à découper en plusieurs morceaux en fonction de la mémoire dispo sur la machine). J'ai bien vu qu'on pouvait le faire mais je n'ai pas eu le temps d'approfondir la méthode. Je l'ai préparée avec bigFiles_Deflate mais c'est pas encore au point et j'ai d'autres priorités vu que je compresse déjà des fichiers de 150 Mo...

Commentaire de yan35 le 12/04/2007 01:15:02

Bonjour,

Suite à 1 message de djborie65, j'ai trouvé 1 bug dans la méthode FileRemoveFromZip. Je diffuserai sa correction dans quelques temps avec d'autres bricoles, mais dans l'immédiat pour corriger ce bug qui empêche dans certains cas de fermer le fichier zip d'origine lu puis de le renommer, il faut ajouter :
Close #Fh
juste après le  Erase tabFiles
afin que le fichier lu soit refermé dans les cas où le fichier demandé à détruire n'a pas été trouvé.

Commentaire de yan35 le 13/03/2008 10:33:38

Bonjour OverBillion,
Effectivement cette classe fait appel à la Zlib.dll pour la compression et décompression, il faut donc que cette dll soit placer dans le répertoire system32 de windows pour fonctionner.
Néanmoins si tu veux placer cette dll ailleurs, il faudra que tu modifies les déclarations d'appel à la Zlib et leur indiquer le chemin complet où figure la zlib, comme suit :

origine :

Private Declare Function Compress_Byte_Long_Byte Lib "zlib.dll" Alias .....

qu'il faudra modifier  en :
Private Declare Function Compress_Byte_Long_Byte Lib "Disque:\chemin\zlib.dll" Alias .....

Ceci pour toutes les déclarations faisant appel à la zlib.

Je n'ai testé que la fonction extraction qui fonctionne en délocalisant la Dll ainsi, mais tout le reste doit suivre.

Ceci dit, je ne comprends pas trop où est le problème de placer la zlib dans windows\system32,
Pourrais-tu me dire ?
Cordialement.

Commentaire de yan35 le 14/03/2008 10:32:26

Bonjour OverBillion,

Je vois que je n'avais pas bien compris ton 1° message lors de ma réponse précédente. Comme toi je ne comprends pourquoi dans certaines situations la classe fonctionne avec la Zlib dans l'app.path, car sauf la manipulation citée dans ma réponse précédente, la zlib doit obligatoirement être dans sys32. Je ferai des essais pour voir ! mais pas tout de suite.
Cependant, tout dépend des méthodes que tu utilisais dans la classe lorsque ça fonctionnait, car seules les fonctions de compression ou d'extraction font appel à zlib, alors le simple appel du commentaire ou du catalogue du zip peut fonctionner sans la zlib et probablement d'autres fonctions que je n'ai plus en tête.
Une nouvelle version sera bientôt publiée, quand j'aurais un peu de temps et résolu un bug. Elle permettra justement, entre-autres (mais ce n'est pas la fonction la + interessante) de ne plus utiliser zlib si cette dll n'est pas présente dans sys32 ou de l'utiliser si présente, sachant que l'utilisation en pur VB (sans zlib) est beaucoup plus lente !
Cordialement

Commentaire de Black Dragon Odt le 12/10/2009 11:07:04

Salut Yan,

J'ai sauté sur ta source car je me heurte à un gros problème depuis quelques temps: je n'arrive à intégrer un fichier de grosse taille ( > 2Go) et j'ai vu dans tes commentaires que tu pouvais si ne n'est les zipper, tout du moins les empacter. Or, chez moi ça ne fonctionne pas : le programme semble ignorer ces fichiers dans la création du zip.

Si il y a une solution je suis prenneur.

Merci d'avance.

Commentaire de Black Dragon Odt le 12/10/2009 17:16:13

Bon en fait ça fonctionne. J'ai remplacé mon zlib.dll dans system32 par le tien et ça résoud le problème. Il semblerait que ta version soit bien plus récente que la mienne.

J'ai juste une erreur 7 (mémoire insuffisante) dans la procédure bigFiles à cet endroit :
        lgMax = lgmem.dwAvailPhys / 4   'mémoire physique dispo/4 pour sécu sur le reste appli et les autres applis
        If nSize > lgMax Then   'dimension des tableaux d'octets, si taille fichier > à mémoire raisonnable à utiliser
            ReDim arrByte(1 To lgMax)

... alors que j'ai 3Go de RAM et 2% utilisé ... va comprendre. J'ai remplacé /4 par /6 et ça passe. Je pense que je fait une implémentation de +2 sur erreur 7 limité de /4 => /10

En tout cas sacré bon boulot que tu as fais là ! Merci ;)

Commentaire de Black Dragon Odt le 13/10/2009 14:47:35

Re Yan.

Je me suis aussi heurté au problème de lecture de taille de très gros fichiers à cause du "long" justement. Voici le code qui retourne la vraie longueur d'un fichier même suprérieur à 4 Go ... si ça peut aider pour la suite.

En tout cas l'encapsulable d'un fichier d'environ 2go m'a pris pas mal de temps en division de la mémoire libre par 6 (environ 20 minutes) mais c'est mieux que pas d'encapsulage du tout :)

Au plaisir ;)

------------------------------------------------------------------------------------------------------------------

Private Const FILE_SHARE_READ As Long = &H1
Private Const GENERIC_READ As Long = &H80000000
Private Const OPEN_EXISTING As Long = 3
Private Const OPEN_ALWAYS As Long = 4
Private Const INVALID_HANDLE_VALUE As Long = &HFFFFFFFF
Private Declare Function APIGetFileSize Lib "kernel32.dll" Alias "GetFileSize" (ByVal hFile As Long, ByRef lpFileSizeHigh As Long) As Long
Private Declare Function CloseHandle Lib "kernel32.dll" (ByVal hObject As Long) As Long
Private Declare Function CreateFile Lib "kernel32.dll" Alias "CreateFileA" (ByVal lpFileName As String, ByVal dwDesiredAccess As Long, ByVal dwShareMode As Long, ByRef lpSecurityAttributes As Any, ByVal dwCreationDisposition As Long, ByVal dwFlagsAndAttributes As Long, ByVal hTemplateFile As Long) As Long
Private Declare Sub CopyMemory Lib "kernel32.dll" Alias "RtlMoveMemory" (ByRef Destination As Any, ByRef Source As Any, ByVal Length As Long)

Public Function GetFileSize(ByRef vsFilePath As String) As Currency
Dim hFile As Long
Dim xnFileSize(1) As Long
    hFile = CreateFile(vsFilePath, GENERIC_READ, FILE_SHARE_READ, ByVal 0&, OPEN_EXISTING, 0, 0)
    If hFile <> INVALID_HANDLE_VALUE Then
        xnFileSize(0) = APIGetFileSize(hFile, xnFileSize(1))
        CopyMemory GetFileSize, xnFileSize(0), LenB(GetFileSize)
        GetFileSize = GetFileSize * 10000
        CloseHandle hFile
    End If

End Function

Commentaire de Black Dragon Odt le 16/10/2009 15:10:30

Re Yan.

Je viens de refaire un essai et là j'ai atteint 40 minutes pour encapsalue mon fichier de 2Go. Je n'ai pas trouvé dans le code la façon d'occulter le calcul du CRC32 (si ça te revient ...). D'autre part, en ajout postérieur d'un fichier dans 1 zip contenant ce fichier de 2Go j'ai un plantage lors de l'écriture qui me shoote tout le zip (peut-être qu'en occultant le crc32 ça résoudra la problème ?).

Pour info : blackdragon@orbedutemps.net si tu peux m'envoyer la version que tu utilise

Cordialement.

Commentaire de compaore le 31/12/2009 10:20:22

BOnjour,
jai bien parcouru ta classe clszip. elle est vraiment bien elaboré et tres bien documenté.
Aussi, je voudrais la dernière version de cette classe et je voudrais bien proteger mon fichier zip par un mot de passe. c'est a dire : saisir un mot de passe pour le zid et à la decompression saisir l meme mot de pass.
merci

Commentaire de yan35 le 31/12/2009 16:18:21

Bonjour Compaore et Black Dragon Odt,
et Merci d'apprécier cette classe. Compaore Passes-moi ton mail en message privé pour que je t'adresse la dernière version, mais "brute de pommes!". En effet je n'ai pas retravaillé dessus depuis longtemps alors je ne l'ai plus bien en tête pour la diffuser sur VBF.
Oui, il manque pas mal de petites choses et notamment la protection par mot de passe. Je la ferai plus tard, quand j'y retoucherai, mais entre-temps si quelqu'un l'a fait je suis aussi preneur !
Black Dragon Odt, je regarderai tes modif avec intérêt après les fêtes.

En attendant Meilleurs voeux à tous.
Cordialement.
Yan35

Commentaire de yan35 le 09/01/2010 16:44:30

Désolé, je n'ai vraiment pas le temps de revoir ce sujet, qui, pourtant m'intéresse.
Ceci dit, effectivement en ajoutant un "cryptage" avant compression et "décryptage" après décompression on obtient le but visé mais ça doit allourdir le temps global de traitement et ça m'est plus conforme avec la norme Zip et donc éventuellement incompatible avec des logiciels tiers.

Autre piste : si on accepte de négliger la norme des fichiers zip, (je vous l'ai jointe, Black Dragon Odt et Compaore : Structures-et-métodes_zip.txt) on pourrait peut-être aussi penser à interprêter le CRC32 des fichiers avant de les écrire dans le zip, et pour la décompression lors de sa lecture. En effet en modifiant le CRC32 de chaque fichier du zip d'une valeur correspondant à 1 mot de passe, les fichiers deviendraient illisibles (enfin seulement pour l'utilisateur !). Bien sûr il s'agirait d'un bricolage qui n'aurait pas valeur de protection puissante. Je ne l'ai pas testée, je ne sais même pas si elle est réalisable (on est déjà limité par la valeur de Long), mais dans l'affirmative, elle serait trés rapide au cryptage et décryptage.

Piste pour Compaore : pour rendre le zip obtenu par ma classe incompatible avec WinZip et Winrar ... et autres logiciels tiers, ce qui est l'inverse de ce que j'ai recherché dans l'écriture de ce code, il te suffit de changer la signature : EndOFCentralDirSignature  (0x06054b50) par une autre valeur que seule la classe saura interprêter et les logiciels tiers ne reconnaitront plus le fichier zip comme un fichier zip. C'est du BRICOLAGE mais ça peut répondre à ton besoin.

@ +  Cordialement.

Commentaire de yan35 le 09/01/2010 17:40:25

Merci beaucoup, Black Dragon Odt, pour tes amabilités sur mon travail.
Je les renvoie à Jack qui a fait le plus gros boulot à l'origine.

L'endroit où tu veux faire ça me plait bien, j'ai hâte de voir.
Et quand bien même le cryptage sera basique, c'est pas un soucis.
Sachant que même 1 cryptage hyper sophistiqué ne résitera à aucun hacker chevronné. Ce n'est pas là l'essentiel, c'est seulement qu'il ferme la porte à l'utilisateur curieux qui n'ira pas plus loin.
Et dans ce cas la protection satisfera 80% de la population.

Cordialement.

Commentaire de yan35 le 12/04/2010 22:42:20

ReBonjour les Administrateurs,

J'ai trouvé comment faire la mise à jour. En fait avec un autre navigateur internet, j'obtiens bien le bouton "Terminer". Il semblerait donc qu'il n'est plus possible de mettre à jour un code à partir d'IE6. C'est le navigateur que j'utilisais quand je n'obtenais pas le bouton "Terminer". A vérifier  !  Mais si c'est le cas, il serait sympa de le préciser quelque part, car s'appliquer à faire des commentaires et possibilité d'enregistrer ou mettre à jour et de devoir tout recommencer, c'est pas au top. Ok IE6 c'est dépassé, mais quand-même !
Cordialement.