constructor and destructor wrappers for ICU transliterator services added

non-compiling tests temporarily removed with #if 0  ...  #endif

added first examples of ICU transliterator token normalization

test_icu_I18N.c

started ICU transliterator integration for more complex normalization rules than lowercasing

danish tokenization unit test added, counting error in tokenizer corrected

Factor relevance charset normalization out to a separate implementation
in charsets.c.

fixed tokenization counting error, added more english tokenization
unit tests

Replacing trie with linear search using linked list. The trie is
both overkill and does not handle null-terminated strings. This change
is one step towards a configurable character set system (which may
use ICU as driver).

Changed string chop right; problem is that a pointer could point to
one element before the start of an array (only one element after is
portable).

ICU tokenizer works now

Updated query handling.

removed now superflous expwerimental file. useful contetn moved to icu_I18N.c

remove now unnecessary ICU bug experimenting file, useful content moved into icu_I18N.c

pretty-formatted all ICU code and removed dead code sections

updated ICU casemap wrappers to use dynamic buffers, all ICU tests succeed

moved working ICU sorting into YAZ unittest test_icu_I18N.c
commented casemapping out for the time beeing, need to integrate with new dynamic ICU buffers

updatet error reporting to only report when strings are actually
sorted wrongly

corrected error handeling in UErrorCode icu_utf16_from_utf8() to
mirror the error handeling in UErrorCode icu_utf16_from_utf8_cstr();

unnecessary comments and print statements removed

ICU sorting works correct now. Had forgotten to pass on the correct length of the destination buffer. Dynamic destination bugger resizing works as well.

buffer stuff ok now, correct resizing
added printout of sort keys to see what get's wrong here ..

changed error handeling, which had nasty side effects

tweaking .. using dynamic allocated buffers. Now sorting fails again, but using static buffers as in icu_bug.c it works ..

Minor changes to make it easier for for the server side scipt to init session.

added ICU experiment which sorts correctly given all locales tried.

tweaking, still no good results with danish sorting

Added some more locales which fail. Something is very rotten in the kingdom of Denmark! Need to find out what wents wrong ...

Added sorting test for ICU - only used in test_icu_I18N.c so far.
English and german sorting tests perform fine (including german special characters), but sorting of danish special characters fails. Very suspect. Needs more investigation! See  test_icu_I18N_sortmap() in test_icu_I18N.c for details

moved ICU helper function declarations from icu_I18N.h header file to icu_I18N.c source file

cleaned ICU case folding/mapping tests

Fixed compilation of test test_icu_I18N (syntax error).

Handle situation where IDF becomes 0 because all records contain a term (occurs
frequently when records result from a search).

This actually suggests that there may be a better technique than IDF for balancing
our TF, but I'll be darned if I know what it is.

Handle records with null-value for string sortkey

Added Paratext to demo

Added new resources. Configuration changes

Varous display changes to MK demo

checked in test for ICU uppercase lowercase, title and foldcase char mapping

Hardcoded motd in index.html. Cleared in onFormSubmit. This should be read from a file
or something, but what?

added autoconf checks on ICU internationalization libs and established first test framework on ICU. Tests are still empty, to be added later.

Factorized char normalization code out to normalize7bit.[hc] .

Removed unnecessary tests and assert
on service conf_metadata, as  those are now
satisfied on service creation time (in config.c in function
conf_metadata_assign()) once under startup, and not every time a new
record is to be parsed.

Removed unneeded logging when  service->merge == Metadata_merge_no .

Replaced manual record allocation with call to record constructor.

Replaced loop to find conf_metadata field_id with call to
conf_service_metadata_field_id().

Replaced manual record_metadata allocation with call to
record_metadata_create(se->nmem).

All these changes have been made with safety guards following this idom:
#if 0
  //oldcode
#else
  /newcode
#endif
such that they can be reverted easy if need might be. The #if guards will of
course disapear, when we have confirmed that the code behaves exaactly the
same as before.

added struct record_metadata * record_metadata_create(NMEM nmem)

in conf_metadata_assign() enforcing that merge_range is always
type_year _and_ enforcing that type_year is always range_merge, thus
setting contrains correctly at beginning of a server session setting
processing.
Removing these then unnecessary tests from ingest_record(), where
there will produce warnings logs nobody can do anything about at that
time, and where they are run for each ingested record.
Less code, less performed if statements, no unnecessary warning logs.

enforcing that years type metadata is always range merged

started facturizing 7 bit ascii normalizing functions out of logic.c into normalization7bit.[hc]
later to be replaced by ICU normalization
still many bits need to be identified and moved

added setting sortkey on clusters, needs still nice wrapping in cluster interfaces

using more of the record functions, adding record_metadata creator

using record creator functions in production code in ingest_record()

renamed local variables to more expressive names

renaming position to field_id

simplified to one title string sorting only, still crashes

comed to the point where I can start testing sorting of records in the recordslist.
But there is a nasty segfault in  reclist_sort(list, sort_parms) which needs to be sorted out before proceeding - prpbably a global parameter referenced someplace. just checking in to save the work so far, continuing tomorrow

added test_reclists to CVS ignores

forgotten to commit Makefile.am, which contains instructions for new test_reclists.c

added interface for adding sort parameters for record lists, use like this
reclist_sortparms_insert(nmem, &sort_parms, service, "title", 1)
adde unit test of the same

breaking too long source code lines, otherwise no changes

broken too long source code lines, otherwise no changes

function reclist_insert() does not change mergekey, so parameter signature changed to const char *merge_key

removed unnecessary header includes

protected from dereferencing of empty pointer

changed prototype of
union data_types * data_types_assign(NMEM nmem,
                                     union data_types * data1,
                                     union data_types data2)
to
union data_types * data_types_assign(NMEM nmem,
                                     union data_types ** data1,
                                     union data_types data2)
to make sure that side effects are transmitted outside.
added tests for side effects.
added code for proper initialization of
record->metadata[i] and record->sortkeys[i] - valgrind my your friend!

adding additional checks for correct side conditions on next metadata in record

Added edu.xml; based on edu.pz.

Functions connection_destroy, connection_release defined in connectin.h.

Annotate a little

Added descriptive text about dynamic settings. Todo, create links from
places marked XXX

Refactor stuff from logic.c: connection stuff in connection.[ch],
client stuff to client.[ch]. host definitions in host.h. Global
parameters to parameters.h.,

finalized helper utilities for record class, and added unit tests

reverting to exit call, as it might be dangerous to have a dictionary which is not in order. Still, this place needs attention, as sending a wrong setting bt WS effectively kills the server.

uupps - removed an exit() too fast without thought, reverting

more records constructor work, no yet finished

removed some of the most obvious exit() statements, which are now with the dynamic settings system a very easy way to kill the srver: just send a malformed settings file, and it's dead. Still many other exit() needs attention.

Allow any number of worker threads for sel_thread. Added optional parameter
work_destroy handler for sel_thread_create. This will only be called
sel_thread_destroy, in the case of non-empty work queues. Three resolver
threads now running - seems to make resolving many.xml slightly faster.

Saving seven keystrokes

Prefix resolved message

Rename test functions a bit

Added these target settings based on their .pz-equivalents.

Added ID for partintro

Connections now wait for hosts to be resolved. Delayed connect attempt
is handled by connect_resolver_host. All connection with bad addresses
(unresolved ones) are destroyed with connection_destroy. Connect
failures leave the connections in the open. If that's to be changed
connection_destroy should be called if connection_connect returns -1.

Notes on implementation status of a couple of settings

Per-session databases and configuration. This was implemented
by Sebastian.

Removed load_simpletargets

Perform getaddrinfo in separate thread for a given struct host.

Changed new code to use session_setting_oneval

Made load of XSLT normalization stylesheet dynamic

*** empty log message ***

started record constructors. still unfnished, but yet only used in test_relevance.c

Collapsing charset into native encoding. It simplifies implementation, and the
two are closely related anyway.

problems with ajaxError catching all exceptions solved
pz2.js will now throw an exception if the protocol version is not supported
smarter error handling in general

splitting record specific definition out from pazpar2.h header to record.h header, thus preparing for implementation of record constructors in the coming record.c file

Minor

Select thread system now passes a simple test using IOCHANSs.

Fix hard-coded 30 second limit. Unfortunately we have a lot of
these select loops around - all more or less buggy.

Linking with threads

added metadata and sortkey assign functions (to conf_service objects)
in parse_service, seperated code in three groups: xml parsing, parsed value logic, and assignment to conf_service, using the new creator and assign functions.

sel_thread_result reads from pipe

Started work on select thread system.

Allows definition/override of pz:cclmap:* settings via settings ws.
CCL parser allocated/deallocated on the fly at query time

Removed query from session structure. It is no longer needed, since a pquery
is associated with each client.

added ignore of session*.xml files