Fixed bug #1017: assert failure in isamb for delete of records. Problem
was that root ptr of sort ISAMB was not properly flushed to disk when it
changed.

Make directory config it it is not there

Removed a few YLOG_LOG messages. This could be enough to fix bug #1012.

Update with latest changes.

Describe the @type action for DOM filter

Minor change in link to CQL material in YAZ

For RPN queries the index type (w,p,..) may be specified verbatim
as structure attribute with string value, e.g. @attr 4=w .

ChangeLog in dist

Use yaz_iconv flushing.

Remove debug msg

Use non-const char return value for strtok work

WRBUF updates.

Changed some types in mod_dom.c ; mostly 'xmlChar *' to 'const char *'.
The use of const is more appropriate than non-const becuase these
string references point to xmlNode content - and we are not allowed
to change that. Added buffer safe PI attribute reading for mod_dom.c by
implementing function attr_content_pi. Function index_value_of still has
potential buffer flows. The record extraction system now has a new member,
action, which may be modified by a record filter to signal
delete/replace/insert. This is only honoured if update is used (in which
case the outer system already has said "we don't care whether it's insert
or replace anyway). Added mod_dom test for the use for @type=delete .

Changed record update API . It is now handled by function
zebra_record_update which does insert/replace/delete/update of
records . This function replaces zebra_record_{insert,delete} and
zebra_admin_exchange_record.

Fixed bug #944: Allow extraction of multiple records per ES update.
Based on patch from Hans-Werner Hilse.

Debian package 2.0.13-1

changed <dom> and <input> parser such that the following conditions actually work:
1) no <input> element at all
2) empty <input> element
3) <input> element starting with an <xslt> instruction (that is, <xmlreader> and/or <marc> not mandatory any more.
Needed to make new define DOM_INPUT_DOM besides DOM_INPUT_MARC and DOM_INPUT_XMLREADER
Still missing detection of <xmlreader> or <marc> after all <xslt> nodes.
And more important: when finding errors here, it's kind of lam just to emit an warning, one should stop processing!

For MARC indexing, skip until record separator is met.

Bump to 2.0.13

corrected typo

added example of MARCXML indexing with chopping of sort indexes cccording to 'ind2' field containing integer

Added mod_dom to win32 makefile

Towards 2.0.12

Fixed bug with indexing of attributes for rec.grs-class of filters. If
xpath was enabled xelm a/@b would be ignored.

Added always the XML parsing flag XML_PARSE_NONET to any  XML_PARSE_XINCLUDE to avoid spoofing Zebra to fetch megabyte from an external xincluded url. pretty normal safety thing to do, we just did forget before.

removed documentation of non-working 'insert', 'update' 'delete' functionality in Alvis filter
removed 'update' instruction from example OAI indexing stylesheet

Fixed bug #931: lem 'zebra::index::field' hangs if not specified 'storeKeys: 1' in zebra.cfg.

Fixed bug #943: Searches with localid always find a hit.

Avoid mixed stmt/var declare

added missing extra dist target

Fixed bug #946: Coredump on MARC display.

Added missing xsl for dom1 test.

added tests for bug #883 'Need an 'ignore' value for the z:type
attribute in the canonical indexing format'
resolved bug #883
tested as well on gutenberg collection
zebra-setup/gutenberg
case closed, see
http://bugzilla.indexdata.dk/show_bug.cgi?id=883

Fixes for perform_convert: use xmlParseMemory instead of xmlParseMemory
to avoid reading beyond end of buffer. Ensure conversions are stopped
if XSLT conversion fail(s).

removed section on special record retrieval features, which need a rewrite - only commented out.
added section on debugging of DOM filter configurations
added a bullet point on semantics of DOM filter explaining that records not emerging record and index instructions are discarted, i.e. dropped on the floor. This meets Seb's wishes for the gutenberg collection

removed quick start and examples, which are very GRS-1 centric.
These need re-writing in terms of the DOM filter

Allow record filters to return 'skip' this record (RECCTRL_EXTRACT_SKIP).
Make dom filter return 'skip' if no zebra 'record' node exists in
indexing document. Bug #883.

Fix handling of record retrieval in the case of  open failure of external
record file (storedata:0).

added nice debug output of all xmlreader and xslt XML stuff when running with
zebra/index/zebraidx -c zebra.cfg  -s  update water.rdf
Don't do thins on huge data - the logs will be at least 4-6 times the size of the input data !!

closing bug #928 by dropping DOM document to xmlbuffer and re-reading into DOM each time a XSLT transform did occur. Yes, ugly, ugly, but no other possibility.
Added output of XML after each transformation on YLOG_DEBUG level, run indexer with '-v debug' to see all transformations

removed general warning log of indexing process. this can be seen by running the indexer with '-v debug' anyhow.

Avoid sprintf with NULL %s value (Solaris dislikes it)

Fixed bug #929: Unfinished transaction in non-shadow does not get a
warn.

Deal with two common places for corrupt Explain database

Proper cleanup (isamb_close) for bad headers

Use xmlGetLineNo instead of xmlGetNodePath for errors/warnings

For each element macro.

For dom filter, in input element construct, parse @inputcharset instead
of @charset .

Wrap log messages for dom filter. This uses yaz_vsnprintf. Requires
YAZ 2.1.49 or later.

Fix dist: do not put domfilter.eps in dist.

added more instructions to DOM filter docs, spell checked both DOM and Alvis filter docs

added missing dependendy of index.html to all PNG files

added missing domfilter.eps to make rules, such that it is included in the distribution tarball

Remove PDF files from EXTRA_DIST/doc_DATA (as done for yaz, metaproxy
for quite some time). Avoid rule option '--export-area-drawing' for
inkscape for generating .png (it doesnt work with sarge). Bug #916.

zebra.pdf depends on domfilter.pdf

more info on DOM filter config

added domfilter.svg to distribution tarball, now make dist runs again

added more content on dom filter pipelines

started explaining each dom filter pipeline

added figure of workflow on DOM XML filter

small changes to format

added proper namespace in example config

some more changes, more to come

added initial DOM XML filter documentation. Much is missing yet ...

Fixed bug #898: xslt tests fails on several platforms. Problem was
that test for zs:index node crashed for absent namespace (href==NULL).
Added all .xslt-files in use in est/xslt tests.
Also fixed memory leak in use of xmlGetNodePath.

Fixed minor memory leak

changed to respect correct index instructions in new DOM filter

optimized code such that the RecWord structure recword is only
initialized once for each to-be-indexed record, and not once for each
to-be-indexed term - at the expense of a bit of pointer passing when
recursively transversing the XML DOM tree

removed dead code pieces which are reminisences from the original
alvis-style parsin and indexing stuff. Now only new dom indexing code
is present.

pretty formatting warning messages, always giving the file name and
the XML node path as informative parameters along

rewritten mod_dom instruction parsing code hooked into mod_dom indexing
new stylesheets added, one for PI based indexing, and one for <z:index> based indexing
segmentation fault traced and fixed
test framework updated to use new mod_dom parsing

added 'static' declaration to functiondefinitions

changing attribute 'action' to 'type' for better confrmance with Alvis
filter syntax

indenting entire file according to the rules stated in the very end of
the file, using emacs M-x indent-region, and manual line breaking afterwards

continued hooking in tinfo and recctr, still need to do real indexing

removed wanings by zillions of (const char *) casts and the like

removed the crappy PI and <z:index> parsing code comitted yesterday
replaced with clean parsing logic developped outside mod_dom.c
needs to take care of all new warnings due to stricter compile flags
finally, needs to be hooked into actual indexing of records

removed unnecessary out-commented code lines

facturized DOM XML indexing code out into function
static void extract_doc_alvis(struct filter_info *tinfo,
                              struct recExtractCtrl *recctr,
                              xmlDocPtr doc)
This is the function to be re-written using both PI and <z:index> instructions,
and also fixing the bug of index type 'p' and '0' chop-over of merged content.

experimental processing-instruction based indexing XSLT added

avoiding unnecesasary unused namespace declarations in output documents

added parsing function 'parse_pi_zebra_20' for processing-instruction parsing and 'format_pi_zebra_err' for error or wanrning formatting. Those are yet not called, and need to be build into the XML parsing in the DOM module.

Fixed bug #884: Entity declarations in input are lost at retrieval time.

Fixed serious bug in mf_open which made it fail to see an already existing
metafile. The bug was introduced in mfile 1.70.

buildconf.sh part of dist.

corrected DEPRECIATED to DEPRECATED

added debian libidzebra-2.0-mod-dom package

making 'dox' target phony

Implemented new filter 'dom'. See test/xslt/dom-config*xml for examples.
This, like alvis, performs indexing and retrieval using XSLT. But Unlike
alvis, it allows multiple XSLT steps to be performed and does ISO2709

The configuration, fileverboselimit, has a value of 1000. When
reached a message is logged. Bug #845.

Omit sort info: bug #844.

More compact statistics

dropped section on future directions

spll checked

fromatting of feature tables updated

feature table updated

cleaning a bit. more cleaning needed

more feature info. tables still look like a grande disaster, but the content is there - more or less. needs pretty formating and tweaking

Fixed bug in zebrasrv: the default module path and default module path
was not set recognized.

Use YAZ_BIB1_SYSTEM_ERROR_IN_PRESENTING_RECORDS everywhere where
this diagnostic is returned. Put more appropriate addinfo in case
of filter load failure during retrieval.