Vorhandene Basisimportzeit, Archivierungszeit / Initiale Archivierungsmethode

froussel · 6. November 2015 um 14:28

Hallo

Ich bin gerade dabei, meine 80 GB an vorhandenen Solidworks-Dateien zu archivieren.

Ich arbeite direkt remote auf dem Archivserver (virtualisierter Server, eher sehr high-end).

Hier ist eine Schätzung der Zeiten, die ich bekomme:

- Kopieren von SW-Dateien aus dem Netzwerk in die lokale Ansicht des Tresors: ca. 10 Stunden für 80 GB oder 2 MB/s (dies ist nicht mit der Kopierzeit vom Netzwerk auf die Festplatte zu vergleichen, da EPDM mehr Operationen durchführt als das einfache Kopieren: Erstellen einer Datei im Tresor zusätzlich zu der in der lokalen Ansicht, Erstellen von Einträgen in der SQL-Datenbank ..)

- Erste Archivierung von Dateien: ca. 40 archivierte Teiledateien pro Minute (es gibt einen Workflow zum automatischen Ausfüllen des Dateiindex in EPDM, so dass einige Dateien am Ende der Archivierung bei Version 5 landen)

Finden Sie diese Kopier- und Archivzeiten normal?

Auch die Erstarchivierung gestaltet sich sehr mühsam, SW und Reseller empfehlen, zuerst die SLDPRTs, dann die SLDASMs und dann die SLDDRWs zu importieren. Dafür habe ich entweder einen Dispatch verwendet (siehe meine Frage zu diesem Thema), aber es stoppt bei jedem Fehler/jeder Warnung (Datei nicht gefunden, Duplikat ....), also ist es nicht praktisch. Ich habe auch versucht, die Suche zu verwenden, um eine bestimmte Art von Dateien zu filtern und zu archivieren, aber mit einer zu großen Datenbank ist es nicht möglich, dies für die gesamte Datenbank zu tun, und dies Verzeichnis für Verzeichnis zu tun (ich habe 1000 Pläne pro Verzeichnis) ist sehr lang und schmerzhaft. Wenn ich gezwungen bin, die letztere Methode zu verwenden, wird die Archivierung, die erforderlich ist, bevor ich EPDM verwenden kann, mehrere Tage dauern, in denen ich meine Kollegen in die technische Arbeitslosigkeit setze...

Gibt es eine einfache und schnelle Methode, um diese erste Archivierung durchzuführen (wenn ich gleichzeitig auch die Liste der Fehler/Warnungen in einer Datei bekommen kann, wäre es der Traum).

Vielen Dank für Ihr Feedback

flegendre · 9. November 2015 um 07:31

Während unserer Zeit bei EPDM hatten wir (@Benoit.LF und ich) wie Sie eine Menge Daten zu verarbeiten .

Wir hatten im Vorfeld eine ganze Reihe von "Aufräumarbeiten" der Daten über das Dienstprogramm INTEGRATION, um Fehler bei der EPDM-Archivierung zu vermeiden.

Wir haben zuerst SLDPRT+SLDDRW und dann SLDASM importiert.

Importe in das EPDM erfolgten abends, nachts und an Wochenenden (in Packungen mit 1000 Referenzen ), nach dem Import in das EPDM wurden diese Nicht-EPDM-Referenzen im schreibgeschützten Modus blockiert (so dass es für unsere Kollegen unmöglich war, die geringste Änderung an diesen Teilen vorzunehmen).

Von zu Hause aus übernahmen wir über TeamViewer die Kontrolle über alle oder fast alle Arbeitsplätze unserer Kollegen, um so viel Zeit wie möglich zu sparen.

Nach dem Import und der Archivierung über ein Import-WF (um insbesondere die Indexeigenschaft mit dem EPDM-Index abzugleichen ) warteten die Teile und Zeichnungen auf die Validierung, und im Laufe der Zeit gingen die Dateien nach einer schnellen visuellen Überprüfung in den Status GÜLTIG.

Zeitlich weiß ich es nicht mehr, aber aus dem Gedächtnis war es ziemlich lang.

froussel · 9. November 2015 um 08:10

@Flegendre

Vielen Dank für Ihr Feedback.

Ich habe mich gefragt, wie ich vermeiden kann, dass der BE während der EPDM-Umstellung blockiert wird. Ihre Lösung, die in EPDM importierten Dateien auf dem alten Server schreibgeschützt zu machen, ermöglicht es Ihnen, auf dieses Problem zu reagieren, obwohl dies einen stark beeinträchtigten Betrieb der BU impliziert, solange das vollständige Failover nicht durchgeführt wurde.

Aktuell arbeite ich direkt auf dem Archivserver. Laut Ihrer Nachricht scheint es, dass Sie mehrere lokale Stationen durchlaufen haben, um die erste Archivierung der Dateien durchzuführen. Glauben Sie, dass Ihre Methode schneller war als die Arbeit am Server allein? Vielleicht ist die Tatsache, mit 2 Personen parallel zu arbeiten (1 bis 2 Minuten auf den Rechtsklick zu warten, um auf eine Auswahl von 500 bis 1000 Dateien zu antworten, eine lange Zeit)?

flegendre · 9. November 2015 um 09:25

In der Tat sind wir über die Workstations und nicht direkt über den Server gegangen.

Theoretisch direkt vom Server aus müsste man schneller sein. Wir hatten den Test zwischen den 2 Methoden nicht gemacht, daher kann ich Ihnen in diesem Punkt nicht antworten.

Im Idealfall ist es, alles an ein oder zwei Wochenenden auszugeben, um so wenig Ärger wie möglich zu bekommen...

froussel · 14. Dezember 2015 um 15:15

Zurück zum Importzeitpunkt der Datenbank:

Bei einer Datenbank mit 42 GB Daten (46096 Dateien, 4503 Ordner) habe ich zweieinhalb Tage gebraucht, um die Dateien zu importieren (Kopieren/Einfügen im Tresor: ca. 3 bis 4 Stunden), dann den ersten Check-in in dem für den Import vorgesehenen Verzeichnis durchzuführen (ca. 2 Tage mit Einchecken des sldprt, dann des sldasm, dann des slddrw, Dann alle anderen Dateien, die in den Verzeichnissen herumliegen (Office, PDF, IGS ...)).

Um den Check-in durchzuführen, verwenden Sie das EPDM-Suchwerkzeug und nicht die Suche im Explorer (viel langsamer und stürzt häufiger ab). Meine Zeiten sind ziemlich lang, weil ich fast alle meine Eigenschaften im Zusammenhang mit den Konfigurationen importiere und weil ich einen ziemlich komplizierten anfänglichen Arbeitsablauf habe (es ruft automatisch die Revision der Dateien entsprechend dem Wert der Eigenschaft " Revision " ab)

Mit dem Suchwerkzeug werden Batch-Check-ins von 2000 bis 5000 Dateien durchgeführt (es besteht die Möglichkeit, dass die Check-in-Anlagen von Zeit zu Zeit und da die Referenzsuchzeit ziemlich lang ist, ist es besser, nicht zu viele Dateien auf einmal zu nehmen). Es besteht die Möglichkeit, mehrere Suchen und mehrere Check-Ins parallel auf demselben Rechner durchzuführen. Auf der anderen Seite müssen die Suchen unabhängig sein, um einen Absturz einer Reihe von Eincheckvorgängen zu vermeiden, da EPDM versucht, eine Datei einzuchecken, die sich bereits im Safe befindet: Bei Teilen und MEP-Dateien funktioniert es gut, indem es Suchen wie 'S*.sldprt' durchführt, Bei Baugruppen ist dies riskanter, da eine Unterbaugruppe einen Namen haben kann, der nichts mit der ursprünglichen Baugruppe zu tun hat

Führen Sie alle Import- und Check-in-Manipulationen direkt auf dem Archivserver durch.

Da ich mich in einer virtualisierten Umgebung befand, habe ich die EPDM-Server vorübergehend aufgestockt: Umstellung auf 4 dedizierte Kerne für den SQL-Server (nicht unbedingt sehr nützlich am Ende, da ich eine CPU-Auslastung von ca. 20% hatte, 2 Kerne hätten sicherlich gereicht).

Sobald der Import und das erste Einchecken in das dedizierte Verzeichnis abgeschlossen sind, müssen Sie die Verzeichnisse wieder an ihren Platz setzen. Dies sollte NUR auf einem Computer mit einem leeren lokalen Cache erfolgen. Wenn Sie dies auf dem Server tun, der alle Dateien in seiner lokalen Ansicht enthält, ist es schrecklich lang (Sie müssen GB an Daten verschieben und EPDM kann die Daten während der Übertragung aktualisieren, so dass die Links beim Öffnen der Dateien in Ordnung sind). Wenn die lokale Ansicht leer ist, geschieht nichts auf der Arbeitsstation, und nur der SQL-Server arbeitet daran, die Dateispeicherortinformationen zu ändern (nur eine Transaktion pro verschobener Datei).

NB: Mein amerikanischer Wiederverkäufer Trimech (der Moderntools gekauft hat) hat jetzt ein Tool, um SW-Verzeichnisse vor dem Import zu analysieren. Dieses Tool scannt SW-Verzeichnisse und gibt eine Datenbank aus, die alle Verknüpfungen zwischen Dateien und die in den Dateien enthaltenen Eigenschaften enthält. (es waren immer noch mehrere hundert MB). Von dort aus ist es möglich, alle SW-Dateien mit ungültigen Referenzen, falsch ausgefüllten Eigenschaften (die in der Datei statt in den Konfigurationen eingegeben wurden...) mit einer Reihe anderer Tools zu korrigieren. Ich konnte diese Werkzeuge nicht in Betrieb sehen, daher weiß ich nicht, wie einfach sie zu bedienen sind und wie ergonomisch sie sind. Mein Händler wollte mir nichts zeigen, wenn wir nicht in diese Richtung gingen, da für den "traditionellen" Import bereits alles erledigt war, wollte ich mich nicht auf dieses Abenteuer einlassen. Auf der anderen Seite kann diese Art von Tool für ein Unternehmen nützlich sein, das unbedingt möchte, dass 100 % der in EPDM eingegebenen Daten konform sind (dies ist bei uns nicht der Fall, da wir nur sehr wenig Wiederverwendung haben: Wir haben daher EPDM-Daten eingegeben, die alles andere als sauber sind, die wir aber nur nach einem echten Bedarf bereinigen werden).

Ich weiß nicht, ob Axemble ähnliche Tools hat.

Ich hoffe, dass dieses Thema für zukünftige mutige EPDM-Administratoren nützlich sein wird, wenn sie zum ersten Mal importieren.