Hartmut Beyer
VD17-Dump

Repository

 {
  "ppn":"005973309",
  "vdn":"VD17 3:693602L",
  "permalink":"https://kxp.k10plus.de/DB=1.28/CMD?ACT=SRCHA&IKT=8079&TRM=%273:693602L%27",
  "bbg":"Aau",
  "recType":"Monographie",
  "catRule":"rak",
  "date":"1686",
  "lang":"ger",
  "title":"Theologische Send-Schreiben Von dem rechten Kirchen-gehen/ An Magr: G. S. einen Hoff-Prediger.. Darinnen auß wahrem Grunde und Verstand der Heyl: Schrifft/ wie auch nach der fürnehmsten alten und neuen Theologen ihren Zeugnissen/ kurtzlich dargethan und erwiesen wird/ wie weit/ und wie weit nicht/ das Kirchen-gehen einem Gott-suchenden Menschen nützlich und nöthig sey ; Darbey noch ein Brieff/ in welchem zu sehen/ was der rechte Adel seye",
  "resp":"Auffgesetzet von numehro Weyland Abraham von Franckenberg ... nebenst einem Verzeicnus seiner Schrifften.",
  "format":"8°",
  "pages":"[6] Bl., 95 S",
  "normPages":"107",
  "digi":"http://nbn-resolving.de/urn:nbn:de:gbv:3:1-538155",
  "gat":"Brief;Legende",
  "persons":[
   {
    "persName":"Frankenberg, Abraham",
    "role":"creator",
    "gnd":"118855050",
    "dateBirth":"1593",
    "dateDeath":"1652"
   }
  ],
  "publishers":[
   {
    "persName":"Balthasar, Wilhelm",
    "role":"publisher",
    "gnd":"1037612523"
   },
   {
    "persName":"Balthasar, Jacob",
    "role":"publisher",
    "gnd":"1037541766"
   }
  ],
  "places":[
   {
    "placeName":"Amsterdam",
    "relation":"Erscheinungsort"
   }
  ],
  "copies":[
   {
    "place":"Halle (Saale)",
    "bib":"Universitäts- und Landesbibliothek Sachsen-Anhalt",
    "isil":"DE-3",
    "eln":"0003",
    "iln":"65",
    "shelfmark":"S Tsch D0845",
    "epn":"005930863"
   },
   {
    "place":"Hannover",
    "bib":"Gottfried Wilhelm Leibniz Bibliothek - Niedersächsische Landesbibliothek",
    "isil":"DE-35",
    "eln":"0035",
    "iln":"72",
    "shelfmark":"T-A 57",
    "epn":"008409072"
   }
  ]
 }
sudo git clone https://github.com/hbeyer/pylib
import logging
import pickle
from lib import sru
from lib import isil
from lib import xmlreader as xr
from lib import pica
logging.basicConfig(level=logging.INFO)

# Festlegen der Speicherpfade und der Datensätze pro JSON-Datei
source_folder = "{Ordner mit den PICAXML-Dateien}/"
source_folder_ac = "{Ordner mit den PICAXML-Dateien für Gesamtaufnahmen mehrbändiger Werke (Ac-Sätze)}/"
target_folder = "{Ordner zum Speichern der JSON-Dateien}/"
size = 1000
limit = 350000

# Laden der Ac-Sätze und Extrahieren der Gattungsbegriffe
req = sru.Request_VD17()
num = req.prepare("pica.bbg=Ac*")
print(req.url)
print(req.numFound)
req.download(source_folder_ac)

res = {}
reader = xr.DownloadReader(source_folder_ac, "record", "info:srw/schema/5/picaXML-v1.0")

for count, node in enumerate(reader):
    rec = pica.RecordVD17(node)
    gatt = [gat for gat in rec.gatt]
    if gatt == []:
        continue
    res[rec.ppn] = gatt
    if count > 100000:
        break

with open('gattungen-ac', 'wb') as file:
    pickle.dump(res, file)

# Download der PICA-XML-Daten
req = sru.Request_VD17()
num = req.prepare("pica.bbg=(Aa* or Af*)")
print(req.url)
print(req.numFound)
req.download(source_folder)

# Auslesen und Abspeichern in JSON
with open('gattungen-ac','rb') as file:
    gatt_ac = pickle.load(file)

reader = xr.DownloadReader(source_folder, "record", "info:srw/schema/5/picaXML-v1.0")

content = []
fnn = []
setn = 1
count = 0

for no, node in enumerate(reader):
    rec = pica.RecordVD17(node)
    if rec.get_rec_type() in ["Teilband", "Teilband mit eigenem Titel"]:
        try:
            rec.gatt = gatt_ac[rec.ppn_sup]
        except:
            #logging.info(f"Keine Gattungsbegriffe bei PPN {rec.ppn_sup}")
            pass
    content.append(rec)
    count += 1
    if count >= size:
        recl = pica.RecordList(content)
        fn = f"vd17-{str(setn).zfill(3)}"
        recl.to_json(target_folder + fn)
        logging.info(f"{no + 1} Datensätze abgespeichert")
        content = []
        setn += 1
        count = 0
    if no > limit:
        break
if content != []:
    recl = pica.RecordList(content)
    fn = f"vd17-{str(setn).zfill(3)}"
    recl.to_json(target_folder + fn)
    logging.info(f"{no + 1} Datensätze abgespeichert")