Temps d'import base existante, temps d'archivage / Méthode d'archivage initiale

Bonjour,

 

Je suis en  train de faire un essai d'archivage de mes 80go de fichiers solidworks existants.

Je travaille directement en remote sur le serveur d'archive (serveur virtualisé plutôt trés haut de gamme).

Voici une estimation des temps que j'obtiens :

- copie des fichiers SW du réseau vers la vue locale du coffre-fort : envion 10h pour 80Go soit un 2Mo/s (ce n'est pas à comparer à temps de copie de réseau vers disque car EPDM fait plus d'opérations que la simple copie : création d'un fichier dans le coffre-fort en plus de celui de la vue locale, création d'entrées dans la base SQL ..)

- premier archivage des fichiers : environ 40 fichiers pièces archivés par minute (il y a un workflow pour renseigner automatiquement l'indice du fichier dans EPDM donc certains fichiers se retrouvent à la version 5 à la fin de l'archivage)

Trouvez-vous ces temps de copie et ces temps d'archivage normaux ?

 

Le premier archivage est aussi très fastidieux, SW et les revendeurs recommandent d'importer d'abord les SLDPRT, puis les SLDASM puis les SLDDRW. Pour cela j'ai soit utilisé un dispatch (voir ma question sur le sujet) mais celui-ci s'arrête à chaque erreur/avertissement (type fichier introuvable, doublon ....) donc ce n'est pas pratique. J'ai aussi essayé d'utiliser la recherche pour filtrer et archiver un certain type de fichiers mais ayant une base trop grosse il n'est pas possible de faire cela sur l'ensemble de la base et faire cela répertoire par répertoire (j'ai 1000 plans par répertoire) est très long et pénible. Si je suis obligé d’utiliser cette dernière méthode l’archivage nécessaire avant de pouvoir utiliser EPDM va durer plusieurs jours pendant lequel je vais mettre mes collègues au chômage technique…

Y-a-t-il une méthode simple et rapide pour réaliser ce premier archivage (si en plus je peux sortir la liste des erreurs / avertissements dans un fichier en même temps ce serait le rêve).

Merci pour vos retours

 

Lors de notre passage à l'EPDM, nous avions (@Benoit.LF et moi) beaucoup de données à traiter comme toi.

Nous avions pas mal "nettoyer" en amont les données via l'utilitaire INTEGRATION pour éviter toutes erreurs lors de l'archivage EPDM.

Nous avions d'abord importé les SLDPRT+SLDDRW puis les SLDASM.

Les imports dans l'EPDM se fesait le soir et la nuit et le weekend (par paquet de 1000 références), une fois importer dans l'EPDM ces références hors EPDM étaient bloquées en lecture seule (impossible donc pour nos collègues de faire la moindre modification sur ces pièces).

De chez nous via TeamViewer, nous prenions la main sur tout ou presque les stations de travail de nos collègues pour gagner un maximun de temps.

Une fois importée et archivée, via un WF d'import (pour faire corresponde, notamment, la propriété indice avec l'indice EPDM) les pièces et mise en plan étaient en ATTENTE DE VALIDATION, et au fil de l'eau après une rapide vérification visuelle les fichiers passaient à l'état VALIDE.

En terme de temps je n'ai pas souvenir, mais de mémoire c'était assez long.

1 « J'aime »

@Flegendre

Merci pour ton retour.

Je me demandais comment arriver à ne pas bloquer le BE lors de la bascule EPDM. Ta solution de mettre les fichiers importés dans EPDM en lecture seule sur l'ancien serveur permet de répondre à cette problématique bien que cela implique un fonctionnement fortement dégradé du BE tant que la bascule complète n'a pas été faite.

Actuellement je travaille directement sur le serveur d'archive. D'après ton message il semble que vous soyez passé par plusieurs postes locaux pour faire l'archivage initial des fichiers. Tu penses que votre méthode était plus rapide que le fait de travailler sur le serveur seulement ? Peux être le fait de travailler à 2 en parallèle (attendre 1 à 2 min que le clic droit réponde sur une sélectionde 500 à 1000 fichiers c'est long) ?

Effectivement nous pasions par les postes et non directement par le serveur.

Théoriquement directement depuis le serveur tu devrais être plus rapide. Nous n'avions pas fait le test entre les 2 méthodes donc sur ce point je ne peux pas te répondre.

Idéalement c'est de tout passer dans un ou deux weekends pour géner le moins possible...

Retour sur le temps d'import de la base :

Sur une base de 42 Go de données (46096 Files, 4503 Folders), il m'aura fallu 2 jour et demi pour importer les fichiers (copier/coller dans le vault: environ 3 à 4h), puis faire le premier check in dans le répertoire dédie a l'import (environ 2j avec check in  des sldprt puis des sldasm puis des slddrw, puis de tous les autre fichiers trainant dans les répertoires (office, pdf, igs ...)).

Pour faire les check in bien utiliser l'outil de recherche d'EPDM et non pas la recherche dans l'explorateur (beaucoup plus lent et plante plus). Mes temps sont assez long car j’importe quasiment toutes mes propriétés liées aux configurations et car j’ai un worflow initial assez complique (il récupère automatiquement la révision des fichiers en fonction de la valeur de la propriété « révision »)

Avec l'outil de recherche faire des check in par lot de 2000 à 5000 fichiers (il y a des chances que le check in plant de temps à temps et comme le temps de recherche de référence est assez long, mieux vaut ne pas prendre trop de fichiers à la fois). Il y a possibilité de faire plusieurs recherches et plusieurs check in en parallèle sur la même machine. Il faut par contre que les recherches soient bien indépendantes pour éviter de faire planter un lot de check in parce que EPDM essaie de faire un check in sur un fichier qui est déjà dans le coffre-fort: sur les fichiers pièces et MEP ça marche bien en faisant des recherches type' S*.sldprt', sur les assemblages c'est plus risque car un sous assemblage peut avoir un nom qui n'a rien à voir avec l'assemblage initial

Faire toutes les manipulations d'import et de check in sur le serveur d'archive directement.

Etant en environnement virtualise j'ai booste temporairement les serveurs EPDM : passage a 4 cœurs dédies pour le serveur sql ( pas forcement hyper utile finalement car j'avais un taux d'utilisation CPU a environ 20%, 2 cœurs auraient surement suffit).

Une fois l’import et le check in initial fait dans le répertoire dédie, il faut replacer les répertoires a leurs places. Cette manipulation doit se faire UNIQUEMENT sur une machine dont le cache local est vide. Si on fait cela sur le serveur contenant tous les fichiers sur sa vue locale c’est horriblement long (il faut déplacer des Go de données et EPDM remet peut être a jour les données pendant le transfert pour que les liens soient OK a l’ouverture des fichiers). Si la vue locale est vide, il ne se passe rien sur le poste et seul serveur sql travaille pour changer l’information d’emplacement des fichiers (une seule transaction par fichier déplace).

NB : mon revendeur américain Trimech (qui a racheté Moderntools) dispose maintenant d’un outil d’analyse des répertoires SW avant import. Cet outil scanne les répertoires SW et sort une base de données contenant tous les liens entre fichiers, les propriétés contenues dans les fichiers…. (elle faisait quand même plusieurs centaine de Mo) . A partir de là il est possible de corriger l’ensemble des fichiers SW contenant des références non valides, des propriétés mal renseignées (rentrées sur le fichier au lieu de sur les configurations par exemple…) via un certain nombre d’autres outils. Je n’ai pas pu voir ces outils en fonctionnement donc je ne sais pas leur degré de facilité d’utilisation et leur ergonomie. Mon revendeur n’a rien voulu me montrer si on ne partait pas dans cette direction, vu que tout avait déjà été fait pour l’import ‘traditionnel’ je n’ai pas voulu me lance dans cette aventure. Par contre ce genre d’outil peut être utile a une société qui tient absolument à ce que 100% des données rentrées dans EPDM soient conformes (ce n’est pas notre cas vu que l’on a très peu de réemploi : on a donc rentre dans EPDM des donnes qui sont loin d’être clean mais qu’on ne nettoiera qu’en fonction d’un besoin réel).

Je ne sais pas si Axemble dispose d’outils similaires.

 

J’espère que ce topic servira aux futurs courageux admin EPDM lors de leur premier import.