Removed to logf calls from tight inside loops
[idzebra-moved-to-github.git] / index / zebraapi.c
1 /*
2  * Copyright (C) 1995-2002, Index Data
3  * All rights reserved.
4  *
5  * $Id: zebraapi.c,v 1.54 2002-04-05 12:49:51 adam Exp $
6  */
7
8 #include <assert.h>
9 #include <stdio.h>
10 #ifdef WIN32
11 #include <io.h>
12 #include <process.h>
13 #include <direct.h>
14 #else
15 #include <unistd.h>
16 #endif
17
18 #include <yaz/diagbib1.h>
19 #include "index.h"
20 #include <charmap.h>
21
22 static Res zebra_open_res (ZebraHandle zh);
23 static void zebra_close_res (ZebraHandle zh);
24
25 static void zebra_chdir (ZebraService zh)
26 {
27     const char *dir = res_get (zh->global_res, "chdir");
28     if (!dir)
29         return;
30     logf (LOG_DEBUG, "chdir %s", dir);
31 #ifdef WIN32
32     _chdir(dir);
33 #else
34     chdir (dir);
35 #endif
36 }
37
38 static void zebra_flush_reg (ZebraHandle zh)
39 {
40     zebraExplain_flush (zh->reg->zei, 1, zh);
41     
42     extract_flushWriteKeys (zh);
43     zebra_index_merge (zh);
44 }
45
46 static struct zebra_register *zebra_register_open (ZebraService zs, 
47                                                    const char *name,
48                                                    int rw, int useshadow,
49                                                    Res res,
50                                                    const char *reg_path);
51 static void zebra_register_close (ZebraService zs, struct zebra_register *reg);
52
53 static int zebra_begin_read (ZebraHandle zh);
54 static void zebra_end_read (ZebraHandle zh);
55
56 ZebraHandle zebra_open (ZebraService zs)
57 {
58     ZebraHandle zh;
59
60     if (!zs)
61         return 0;
62
63     zh = (ZebraHandle) xmalloc (sizeof(*zh));
64     yaz_log (LOG_LOG, "zebra_open zs=%p returns %p", zs, zh);
65
66     zh->service = zs;
67     zh->reg = 0;          /* no register attached yet */
68     zh->sets = 0;
69     zh->destroyed = 0;
70     zh->errCode = 0;
71     zh->errString = 0;
72     zh->res = 0;
73
74     zh->reg_name = xstrdup ("");
75     zh->path_reg = 0;
76     zh->num_basenames = 0;
77     zh->basenames = 0;
78
79     zh->trans_no = 0;
80
81     zh->lock_normal = 0;
82     zh->lock_shadow = 0;
83
84     zh->admin_databaseName = 0;
85
86     zebra_mutex_cond_lock (&zs->session_lock);
87
88     zh->next = zs->sessions;
89     zs->sessions = zh;
90
91     zebra_mutex_cond_unlock (&zs->session_lock);
92
93     return zh;
94 }
95
96 ZebraService zebra_start (const char *configName)
97 {
98     Res res;
99
100     yaz_log (LOG_LOG, "zebra_start %s", configName);
101
102     if (!(res = res_open (configName, 0)))
103         yaz_log (LOG_WARN, "Cannot read resources `%s'", configName);
104     else
105     {
106         ZebraService zh = xmalloc (sizeof(*zh));
107
108         yaz_log (LOG_LOG, "Read resources `%s'", configName);
109         
110         zh->global_res = res;
111         zh->configName = xstrdup(configName);
112         zh->sessions = 0;
113         
114         zebra_chdir (zh);
115         
116         zebra_mutex_cond_init (&zh->session_lock);
117         if (!res_get (zh->global_res, "passwd"))
118             zh->passwd_db = NULL;
119         else
120         {
121             zh->passwd_db = passwd_db_open ();
122             if (!zh->passwd_db)
123                 logf (LOG_WARN|LOG_ERRNO, "passwd_db_open failed");
124             else
125                 passwd_db_file (zh->passwd_db,
126                                 res_get (zh->global_res, "passwd"));
127         }
128         zh->path_root = res_get (zh->global_res, "root");
129         return zh;
130     }
131     return 0;
132 }
133
134 static
135 struct zebra_register *zebra_register_open (ZebraService zs, const char *name,
136                                             int rw, int useshadow, Res res,
137                                             const char *reg_path)
138 {
139     struct zebra_register *reg;
140     int record_compression = REC_COMPRESS_NONE;
141     char *recordCompression = 0;
142
143     reg = xmalloc (sizeof(*reg));
144
145     assert (name);
146     reg->name = xstrdup (name);
147
148     reg->seqno = 0;
149     reg->last_val = 0;
150
151     assert (res);
152
153     yaz_log (LOG_LOG, "zebra_register_open rw = %d useshadow=%d p=%p",
154              rw, useshadow, reg);
155
156     reg->dh = data1_create ();
157     if (!reg->dh)
158         return 0;
159     reg->bfs = bfs_create (res_get (res, "register"), reg_path);
160     if (!reg->bfs)
161     {
162         data1_destroy(reg->dh);
163         return 0;
164     }
165     if (useshadow)
166         bf_cache (reg->bfs, res_get (res, "shadow"));
167     data1_set_tabpath (reg->dh, res_get(res, "profilePath"));
168     data1_set_tabroot (reg->dh, reg_path);
169     reg->recTypes = recTypes_init (reg->dh);
170     recTypes_default_handlers (reg->recTypes);
171
172     reg->zebra_maps = zebra_maps_open (res, reg_path);
173     reg->rank_classes = NULL;
174
175     reg->key_buf = 0;
176
177     reg->keys.buf_max = 0;
178     reg->keys.buf = 0;
179
180     reg->records = 0;
181     reg->dict = 0;
182     reg->sortIdx = 0;
183     reg->isams = 0;
184     reg->matchDict = 0;
185     reg->isam = 0;
186     reg->isamc = 0;
187     reg->isamd = 0;
188     reg->zei = 0;
189     reg->matchDict = 0;
190     
191     zebraRankInstall (reg, rank1_class);
192
193     recordCompression = res_get_def (res, "recordCompression", "none");
194     if (!strcmp (recordCompression, "none"))
195         record_compression = REC_COMPRESS_NONE;
196     if (!strcmp (recordCompression, "bzip2"))
197         record_compression = REC_COMPRESS_BZIP2;
198
199     if (!(reg->records = rec_open (reg->bfs, rw, record_compression)))
200     {
201         logf (LOG_WARN, "rec_open");
202         return 0;
203     }
204     if (rw)
205     {
206         reg->matchDict = dict_open (reg->bfs, GMATCH_DICT, 20, 1, 0);
207     }
208     if (!(reg->dict = dict_open (reg->bfs, FNAME_DICT, 40, rw, 0)))
209     {
210         logf (LOG_WARN, "dict_open");
211         return 0;
212     }
213     if (!(reg->sortIdx = sortIdx_open (reg->bfs, rw)))
214     {
215         logf (LOG_WARN, "sortIdx_open");
216         return 0;
217     }
218     if (res_get_match (res, "isam", "s", ISAM_DEFAULT))
219     {
220         struct ISAMS_M_s isams_m;
221         if (!(reg->isams = isams_open (reg->bfs, FNAME_ISAMS, rw,
222                                       key_isams_m(res, &isams_m))))
223         {
224             logf (LOG_WARN, "isams_open");
225             return 0;
226         }
227     }
228     else if (res_get_match (res, "isam", "i", ISAM_DEFAULT))
229     {
230         if (!(reg->isam = is_open (reg->bfs, FNAME_ISAM, key_compare, rw,
231                                   sizeof (struct it_key), res)))
232         {
233             logf (LOG_WARN, "is_open");
234             return 0;
235         }
236     }
237     else if (res_get_match (res, "isam", "c", ISAM_DEFAULT))
238     {
239         struct ISAMC_M_s isamc_m;
240         if (!(reg->isamc = isc_open (reg->bfs, FNAME_ISAMC,
241                                     rw, key_isamc_m(res, &isamc_m))))
242         {
243             logf (LOG_WARN, "isc_open");
244             return 0;
245         }
246     }
247     else if (res_get_match (res, "isam", "d", ISAM_DEFAULT))
248     {
249         struct ISAMD_M_s isamd_m;
250         
251         if (!(reg->isamd = isamd_open (reg->bfs, FNAME_ISAMD,
252                                       rw, key_isamd_m(res, &isamd_m))))
253         {
254             logf (LOG_WARN, "isamd_open");
255             return 0;
256         }
257     }
258     reg->zei = zebraExplain_open (reg->records, reg->dh,
259                                   res, rw, reg,
260                                   explain_extract);
261     if (!reg->zei)
262     {
263         logf (LOG_WARN, "Cannot obtain EXPLAIN information");
264         return 0;
265     }
266     reg->active = 2;
267     yaz_log (LOG_LOG, "zebra_register_open ok p=%p", reg);
268     return reg;
269 }
270
271 void zebra_admin_shutdown (ZebraHandle zh)
272 {
273     zebra_mutex_cond_lock (&zh->service->session_lock);
274     zh->service->stop_flag = 1;
275     zebra_mutex_cond_unlock (&zh->service->session_lock);
276 }
277
278 void zebra_admin_start (ZebraHandle zh)
279 {
280     ZebraService zs = zh->service;
281     zh->errCode = 0;
282     zebra_mutex_cond_lock (&zs->session_lock);
283     zebra_mutex_cond_unlock (&zs->session_lock);
284 }
285
286 static void zebra_register_close (ZebraService zs, struct zebra_register *reg)
287 {
288     yaz_log(LOG_LOG, "zebra_register_close p=%p", reg);
289     reg->stop_flag = 0;
290     zebra_chdir (zs);
291     if (reg->records)
292     {
293         zebraExplain_close (reg->zei, 0);
294         dict_close (reg->dict);
295         if (reg->matchDict)
296             dict_close (reg->matchDict);
297         sortIdx_close (reg->sortIdx);
298         if (reg->isams)
299             isams_close (reg->isams);
300         if (reg->isam)
301             is_close (reg->isam);
302         if (reg->isamc)
303             isc_close (reg->isamc);
304         if (reg->isamd)
305             isamd_close (reg->isamd);
306         rec_close (&reg->records);
307     }
308
309     recTypes_destroy (reg->recTypes);
310     zebra_maps_close (reg->zebra_maps);
311     zebraRankDestroy (reg);
312     bfs_destroy (reg->bfs);
313     data1_destroy (reg->dh);
314
315     xfree (reg->key_buf);
316     xfree (reg->name);
317     xfree (reg);
318     yaz_log (LOG_LOG, "zebra_register_close 2");
319 }
320
321 void zebra_stop(ZebraService zs)
322 {
323     if (!zs)
324         return ;
325     yaz_log (LOG_LOG, "zebra_stop");
326
327     zebra_mutex_cond_lock (&zs->session_lock);
328     while (zs->sessions)
329     {
330         zebra_close (zs->sessions);
331     }
332         
333     zebra_mutex_cond_unlock (&zs->session_lock);
334
335     zebra_mutex_cond_destroy (&zs->session_lock);
336
337     if (zs->passwd_db)
338         passwd_db_close (zs->passwd_db);
339
340     res_close (zs->global_res);
341     xfree (zs->configName);
342     xfree (zs->path_root);
343     xfree (zs);
344 }
345
346 void zebra_close (ZebraHandle zh)
347 {
348     ZebraService zs;
349     struct zebra_session **sp;
350
351     if (!zh)
352         return;
353
354     zs = zh->service;
355     yaz_log (LOG_LOG, "zebra_close zh=%p", zh);
356     if (!zh)
357         return ;
358     resultSetDestroy (zh, -1, 0, 0);
359
360
361     if (zh->reg)
362         zebra_register_close (zh->service, zh->reg);
363     zebra_close_res (zh);
364
365     xfree (zh->admin_databaseName);
366     zebra_mutex_cond_lock (&zs->session_lock);
367     zebra_lock_destroy (zh->lock_normal);
368     zebra_lock_destroy (zh->lock_shadow);
369     sp = &zs->sessions;
370     while (1)
371     {
372         assert (*sp);
373         if (*sp == zh)
374         {
375             *sp = (*sp)->next;
376             break;
377         }
378         sp = &(*sp)->next;
379     }
380 //    if (!zs->sessions && zs->stop_flag)
381 //      zebra_register_deactivate(zs);
382     zebra_mutex_cond_unlock (&zs->session_lock);
383     xfree (zh->reg_name);
384     xfree (zh);
385     yaz_log (LOG_LOG, "zebra_close zh=%p end", zh);}
386
387 struct map_baseinfo {
388     ZebraHandle zh;
389     NMEM mem;
390     int num_bases;
391     char **basenames;
392     int new_num_bases;
393     char **new_basenames;
394     int new_num_max;
395 };
396
397 static Res zebra_open_res (ZebraHandle zh)
398 {
399     Res res = 0;
400     char fname[512];
401     if (zh->path_reg)
402     {
403         sprintf (fname, "%.200s/zebra.cfg", zh->path_reg);
404         res = res_open (fname, zh->service->global_res);
405         if (!res)
406             res = zh->service->global_res;
407     }
408     else if (*zh->reg_name == 0)
409     {
410         res = zh->service->global_res;
411     }
412     else
413     {
414         yaz_log (LOG_WARN, "no register root specified");
415         return 0;  /* no path for register - fail! */
416     }
417     return res;
418 }
419
420 static void zebra_close_res (ZebraHandle zh)
421 {
422     if (zh->res != zh->service->global_res)
423         res_close (zh->res);
424     zh->res = 0;
425 }
426
427 static int zebra_select_register (ZebraHandle zh, const char *new_reg)
428 {
429     if (zh->res && strcmp (zh->reg_name, new_reg) == 0)
430         return 0;
431     if (!zh->res)
432     {
433         assert (zh->reg == 0);
434         assert (*zh->reg_name == 0);
435     }
436     else
437     {
438         if (zh->reg)
439         {
440             resultSetInvalidate (zh);
441             zebra_register_close (zh->service, zh->reg);
442             zh->reg = 0;
443         }
444         zebra_close_res(zh);
445     }
446     xfree (zh->reg_name);
447     zh->reg_name = xstrdup (new_reg);
448
449     xfree (zh->path_reg);
450     zh->path_reg = 0;
451     if (zh->service->path_root)
452     {
453         zh->path_reg = xmalloc (strlen(zh->service->path_root) + 
454                                 strlen(zh->reg_name) + 3);
455         strcpy (zh->path_reg, zh->service->path_root);
456         if (*zh->reg_name)
457         {
458             strcat (zh->path_reg, "/");
459             strcat (zh->path_reg, zh->reg_name);
460         }
461     }
462     zh->res = zebra_open_res (zh);
463     
464     if (zh->lock_normal)
465         zebra_lock_destroy (zh->lock_normal);
466     zh->lock_normal = 0;
467
468     if (zh->lock_shadow)
469         zebra_lock_destroy (zh->lock_shadow);
470     zh->lock_shadow = 0;
471
472     if (zh->res)
473     {
474         char fname[512];
475         const char *lock_area  =res_get (zh->res, "lockDir");
476         
477         if (!lock_area && zh->path_reg)
478             res_put (zh->res, "lockDir", zh->path_reg);
479         sprintf (fname, "norm.%s.LCK", zh->reg_name);
480         zh->lock_normal =
481             zebra_lock_create (res_get(zh->res, "lockDir"), fname, 0);
482         
483         sprintf (fname, "shadow.%s.LCK", zh->reg_name);
484         zh->lock_shadow =
485             zebra_lock_create (res_get(zh->res, "lockDir"), fname, 0);
486
487     }
488     return 1;
489 }
490
491 void map_basenames_func (void *vp, const char *name, const char *value)
492 {
493     struct map_baseinfo *p = (struct map_baseinfo *) vp;
494     int i, no;
495     char fromdb[128], todb[8][128];
496     
497     no =
498         sscanf (value, "%127s %127s %127s %127s %127s %127s %127s %127s %127s",
499                 fromdb, todb[0], todb[1], todb[2], todb[3], todb[4],
500                 todb[5], todb[6], todb[7]);
501     if (no < 2)
502         return ;
503     no--;
504     for (i = 0; i<p->num_bases; i++)
505         if (p->basenames[i] && !strcmp (p->basenames[i], fromdb))
506         {
507             p->basenames[i] = 0;
508             for (i = 0; i < no; i++)
509             {
510                 if (p->new_num_bases == p->new_num_max)
511                     return;
512                 p->new_basenames[(p->new_num_bases)++] = 
513                     nmem_strdup (p->mem, todb[i]);
514             }
515             return;
516         }
517 }
518
519 void map_basenames (ZebraHandle zh, ODR stream,
520                     int *num_bases, char ***basenames)
521 {
522     struct map_baseinfo info;
523     struct map_baseinfo *p = &info;
524     int i;
525
526     info.zh = zh;
527     info.num_bases = *num_bases;
528     info.basenames = *basenames;
529     info.new_num_max = 128;
530     info.new_num_bases = 0;
531     info.new_basenames = (char **)
532         odr_malloc (stream, sizeof(*info.new_basenames) * info.new_num_max);
533     info.mem = stream->mem;
534
535     res_trav (zh->service->global_res, "mapdb", &info, map_basenames_func);
536     
537     for (i = 0; i<p->num_bases; i++)
538         if (p->basenames[i] && p->new_num_bases < p->new_num_max)
539         {
540             p->new_basenames[(p->new_num_bases)++] = 
541                 nmem_strdup (p->mem, p->basenames[i]);
542         }
543     *num_bases = info.new_num_bases;
544     *basenames = info.new_basenames;
545     for (i = 0; i<*num_bases; i++)
546         logf (LOG_LOG, "base %s", (*basenames)[i]);
547 }
548
549 int zebra_select_database (ZebraHandle zh, const char *basename)
550 {
551     return zebra_select_databases (zh, 1, &basename);
552 }
553
554 int zebra_select_databases (ZebraHandle zh, int num_bases,
555                             const char **basenames)
556 {
557     int i;
558     const char *cp;
559     int len = 0;
560     char *new_reg = 0;
561     
562     if (num_bases < 1)
563     {
564         zh->errCode = 23;
565         return -1;
566     }
567     for (i = 0; i < zh->num_basenames; i++)
568         xfree (zh->basenames[i]);
569     xfree (zh->basenames);
570     
571     zh->num_basenames = num_bases;
572     zh->basenames = xmalloc (zh->num_basenames * sizeof(*zh->basenames));
573     for (i = 0; i < zh->num_basenames; i++)
574         zh->basenames[i] = xstrdup (basenames[i]);
575
576     cp = strrchr(basenames[0], '/');
577     if (cp)
578     {
579         len = cp - basenames[0];
580         new_reg = xmalloc (len + 1);
581         memcpy (new_reg, basenames[0], len);
582         new_reg[len] = '\0';
583     }
584     else
585         new_reg = xstrdup ("");
586     for (i = 1; i<num_bases; i++)
587     {
588         const char *cp1;
589
590         cp1 = strrchr (basenames[i], '/');
591         if (cp)
592         {
593             if (!cp1)
594             {
595                 zh->errCode = 23;
596                 return -1;
597             }
598             if (len != cp1 - basenames[i] ||
599                 memcmp (basenames[i], new_reg, len))
600             {
601                 zh->errCode = 23;
602                 return -1;
603             }
604         }
605         else
606         {
607             if (cp1)
608             {
609                 zh->errCode = 23;
610                 return -1;
611             }
612         }
613     }
614     zebra_select_register (zh, new_reg);
615     xfree (new_reg);
616     if (!zh->res)
617     {
618         zh->errCode = 109;
619         return -1;
620     }
621     return 0;
622 }
623
624 void zebra_search_rpn (ZebraHandle zh, ODR decode, ODR stream,
625                        Z_RPNQuery *query, const char *setname, int *hits)
626 {
627     zh->hits = 0;
628     *hits = 0;
629
630     if (zebra_begin_read (zh))
631         return;
632     resultSetAddRPN (zh, decode, stream, query, 
633                      zh->num_basenames, zh->basenames, setname);
634
635     zebra_end_read (zh);
636
637     *hits = zh->hits;
638 }
639
640 void zebra_records_retrieve (ZebraHandle zh, ODR stream,
641                              const char *setname, Z_RecordComposition *comp,
642                              oid_value input_format, int num_recs,
643                              ZebraRetrievalRecord *recs)
644 {
645     ZebraPosSet poset;
646     int i, *pos_array;
647
648     if (!zh->res)
649     {
650         zh->errCode = 30;
651         zh->errString = odr_strdup (stream, setname);
652         return;
653     }
654
655     if (zebra_begin_read (zh))
656         return;
657
658     pos_array = (int *) xmalloc (num_recs * sizeof(*pos_array));
659     for (i = 0; i<num_recs; i++)
660         pos_array[i] = recs[i].position;
661     poset = zebraPosSetCreate (zh, setname, num_recs, pos_array);
662     if (!poset)
663     {
664         logf (LOG_DEBUG, "zebraPosSetCreate error");
665         zh->errCode = 30;
666         zh->errString = nmem_strdup (stream->mem, setname);
667     }
668     else
669     {
670         for (i = 0; i<num_recs; i++)
671         {
672             if (poset[i].term)
673             {
674                 recs[i].errCode = 0;
675                 recs[i].format = VAL_SUTRS;
676                 recs[i].len = strlen(poset[i].term);
677                 recs[i].buf = poset[i].term;
678                 recs[i].base = poset[i].db;
679             }
680             else if (poset[i].sysno)
681             {
682                 recs[i].errCode =
683                     zebra_record_fetch (zh, poset[i].sysno, poset[i].score,
684                                         stream, input_format, comp,
685                                         &recs[i].format, &recs[i].buf,
686                                         &recs[i].len,
687                                         &recs[i].base);
688                 recs[i].errString = NULL;
689             }
690             else
691             {
692                 char num_str[20];
693
694                 sprintf (num_str, "%d", pos_array[i]);  
695                 zh->errCode = 13;
696                 zh->errString = odr_strdup (stream, num_str);
697                 break;
698             }
699         }
700         zebraPosSetDestroy (zh, poset, num_recs);
701     }
702     zebra_end_read (zh);
703     xfree (pos_array);
704 }
705
706 void zebra_scan (ZebraHandle zh, ODR stream, Z_AttributesPlusTerm *zapt,
707                  oid_value attributeset,
708                  int *position, int *num_entries, ZebraScanEntry **entries,
709                  int *is_partial)
710 {
711     if (zebra_begin_read (zh))
712     {
713         *entries = 0;
714         *num_entries = 0;
715         return;
716     }
717     rpn_scan (zh, stream, zapt, attributeset,
718               zh->num_basenames, zh->basenames, position,
719               num_entries, entries, is_partial);
720     zebra_end_read (zh);
721 }
722
723 void zebra_sort (ZebraHandle zh, ODR stream,
724                  int num_input_setnames, const char **input_setnames,
725                  const char *output_setname, Z_SortKeySpecList *sort_sequence,
726                  int *sort_status)
727 {
728     if (zebra_begin_read (zh))
729         return;
730     resultSetSort (zh, stream->mem, num_input_setnames, input_setnames,
731                    output_setname, sort_sequence, sort_status);
732     zebra_end_read(zh);
733 }
734
735 int zebra_deleleResultSet(ZebraHandle zh, int function,
736                           int num_setnames, char **setnames,
737                           int *statuses)
738 {
739     int i, status;
740     if (zebra_begin_read(zh))
741         return Z_DeleteStatus_systemProblemAtTarget;
742     switch (function)
743     {
744     case Z_DeleteRequest_list:
745         resultSetDestroy (zh, num_setnames, setnames, statuses);
746         break;
747     case Z_DeleteRequest_all:
748         resultSetDestroy (zh, -1, 0, statuses);
749         break;
750     }
751     zebra_end_read (zh);
752     status = Z_DeleteStatus_success;
753     for (i = 0; i<num_setnames; i++)
754         if (statuses[i] == Z_DeleteStatus_resultSetDidNotExist)
755             status = statuses[i];
756     return status;
757 }
758
759 int zebra_errCode (ZebraHandle zh)
760 {
761     return zh->errCode;
762 }
763
764 const char *zebra_errString (ZebraHandle zh)
765 {
766     return diagbib1_str (zh->errCode);
767 }
768
769 char *zebra_errAdd (ZebraHandle zh)
770 {
771     return zh->errString;
772 }
773
774 int zebra_auth (ZebraHandle zh, const char *user, const char *pass)
775 {
776     ZebraService zs = zh->service;
777     if (!zs->passwd_db || !passwd_db_auth (zs->passwd_db, user, pass))
778     {
779         logf(LOG_APP,"AUTHOK:%s", user?user:"ANONYMOUS");
780         return 0;
781     }
782
783     logf(LOG_APP,"AUTHFAIL:%s", user?user:"ANONYMOUS");
784     return 1;
785 }
786
787 void zebra_admin_import_begin (ZebraHandle zh, const char *database)
788 {
789     zebra_begin_trans (zh);
790     xfree (zh->admin_databaseName);
791     zh->admin_databaseName = xstrdup(database);
792 }
793
794 void zebra_admin_import_end (ZebraHandle zh)
795 {
796     zebra_end_trans (zh);
797 }
798
799 void zebra_admin_import_segment (ZebraHandle zh, Z_Segment *segment)
800 {
801     int sysno;
802     int i;
803     for (i = 0; i<segment->num_segmentRecords; i++)
804     {
805         Z_NamePlusRecord *npr = segment->segmentRecords[i];
806         const char *databaseName = npr->databaseName;
807
808         if (!databaseName)
809             databaseName = zh->admin_databaseName;
810         printf ("--------------%d--------------------\n", i);
811         if (npr->which == Z_NamePlusRecord_intermediateFragment)
812         {
813             Z_FragmentSyntax *fragment = npr->u.intermediateFragment;
814             if (fragment->which == Z_FragmentSyntax_notExternallyTagged)
815             {
816                 Odr_oct *oct = fragment->u.notExternallyTagged;
817                 printf ("%.*s", (oct->len > 100 ? 100 : oct->len) ,
818                         oct->buf);
819                 
820                 sysno = 0;
821                 extract_rec_in_mem (zh, "grs.sgml",
822                                     oct->buf, oct->len,
823                                     databaseName,
824                                     0 /* delete_flag */,
825                                     0 /* test_mode */,
826                                     &sysno /* sysno */,
827                                     1 /* store_keys */,
828                                     1 /* store_data */,
829                                     0 /* match criteria */);
830             }
831         }
832     }
833 }
834
835 void zebra_admin_create (ZebraHandle zh, const char *database)
836 {
837     ZebraService zs;
838
839     zebra_begin_trans (zh);
840
841     zs = zh->service;
842     /* announce database */
843     if (zebraExplain_newDatabase (zh->reg->zei, database, 0 
844                                   /* explainDatabase */))
845     {
846         zh->errCode = 224;
847         zh->errString = "Database already exist";
848     }
849     zebra_end_trans (zh);
850 }
851
852 int zebra_string_norm (ZebraHandle zh, unsigned reg_id,
853                        const char *input_str, int input_len,
854                        char *output_str, int output_len)
855 {
856     WRBUF wrbuf;
857     if (!zh->reg->zebra_maps)
858         return -1;
859     wrbuf = zebra_replace(zh->reg->zebra_maps, reg_id, "",
860                           input_str, input_len);
861     if (!wrbuf)
862         return -2;
863     if (wrbuf_len(wrbuf) >= output_len)
864         return -3;
865     if (wrbuf_len(wrbuf))
866         memcpy (output_str, wrbuf_buf(wrbuf), wrbuf_len(wrbuf));
867     output_str[wrbuf_len(wrbuf)] = '\0';
868     return wrbuf_len(wrbuf);
869 }
870
871
872 void zebra_set_state (ZebraHandle zh, int val, int seqno)
873 {
874     char state_fname[256];
875     char *fname;
876     long p = getpid();
877     FILE *f;
878
879     sprintf (state_fname, "state.%s.LCK", zh->reg_name);
880     fname = zebra_mk_fname (res_get(zh->res, "lockDir"), state_fname);
881     f = fopen (fname, "w");
882
883     yaz_log (LOG_LOG, "%c %d %ld", val, seqno, p);
884     fprintf (f, "%c %d %ld\n", val, seqno, p);
885     fclose (f);
886     xfree (fname);
887 }
888
889 void zebra_get_state (ZebraHandle zh, char *val, int *seqno)
890 {
891     char state_fname[256];
892     char *fname;
893     FILE *f;
894
895     sprintf (state_fname, "state.%s.LCK", zh->reg_name);
896     fname = zebra_mk_fname (res_get(zh->res, "lockDir"), state_fname);
897     f = fopen (fname, "r");
898     *val = 'o';
899     *seqno = 0;
900
901     if (f)
902     {
903         fscanf (f, "%c %d", val, seqno);
904         fclose (f);
905     }
906     xfree (fname);
907 }
908
909 static int zebra_begin_read (ZebraHandle zh)
910 {
911     int dirty = 0;
912     char val;
913     int seqno;
914
915     assert (zh->res);
916
917     (zh->trans_no)++;
918
919     if (zh->trans_no != 1)
920     {
921         zebra_flush_reg (zh);
922         return 0;
923     }
924     if (!zh->res)
925     {
926         (zh->trans_no)--;
927         zh->errCode = 109;
928         return -1;
929     }
930     zebra_get_state (zh, &val, &seqno);
931     if (val == 'd')
932         val = 'o';
933
934     if (!zh->reg)
935         dirty = 1;
936     else if (seqno != zh->reg->seqno)
937     {
938         yaz_log (LOG_LOG, "reopen seqno cur/old %d/%d",
939                  seqno, zh->reg->seqno);
940         dirty = 1;
941     }
942     else if (zh->reg->last_val != val)
943     {
944         yaz_log (LOG_LOG, "reopen last cur/old %d/%d",
945                  val, zh->reg->last_val);
946         dirty = 1;
947     }
948     if (!dirty)
949         return 0;
950
951     if (val == 'c')
952         zebra_lock_r (zh->lock_shadow);
953     else
954         zebra_lock_r (zh->lock_normal);
955     
956     if (zh->reg)
957         zebra_register_close (zh->service, zh->reg);
958     zh->reg = zebra_register_open (zh->service, zh->reg_name,
959                                    0, val == 'c' ? 1 : 0,
960                                    zh->res, zh->path_reg);
961     if (!zh->reg)
962     {
963         zh->errCode = 109;
964         return -1;
965     }
966     zh->reg->last_val = val;
967     zh->reg->seqno = seqno;
968
969     return 0;
970 }
971
972 static void zebra_end_read (ZebraHandle zh)
973 {
974     (zh->trans_no)--;
975
976     if (zh->trans_no != 0)
977         return;
978
979     zebra_unlock (zh->lock_normal);
980     zebra_unlock (zh->lock_shadow);
981 }
982
983 void zebra_begin_trans (ZebraHandle zh)
984 {
985     int pass;
986     int seqno = 0;
987     char val = '?';
988     const char *rval;
989
990     assert (zh->res);
991
992     (zh->trans_no++);
993     if (zh->trans_no != 1)
994     {
995         return;
996     }
997     
998     yaz_log (LOG_LOG, "zebra_begin_trans");
999 #if HAVE_SYS_TIMES_H
1000     times (&zh->tms1);
1001 #endif
1002     
1003     /* lock */
1004     rval = res_get (zh->res, "shadow");
1005
1006     for (pass = 0; pass < 2; pass++)
1007     {
1008         if (rval)
1009         {
1010             zebra_lock_r (zh->lock_normal);
1011             zebra_lock_w (zh->lock_shadow);
1012         }
1013         else
1014         {
1015             zebra_lock_w (zh->lock_normal);
1016             zebra_lock_w (zh->lock_shadow);
1017         }
1018         
1019         zebra_get_state (zh, &val, &seqno);
1020         if (val == 'c')
1021         {
1022             yaz_log (LOG_LOG, "previous transaction didn't finish commit");
1023             zebra_unlock (zh->lock_shadow);
1024             zebra_unlock (zh->lock_normal);
1025             zebra_commit (zh);
1026             continue;
1027         }
1028         else if (val == 'd')
1029         {
1030             if (rval)
1031             {
1032                 BFiles bfs = bfs_create (res_get (zh->res, "shadow"),
1033                                          zh->path_reg);
1034                 yaz_log (LOG_LOG, "previous transaction didn't reach commit");
1035                 bf_commitClean (bfs, rval);
1036                 bfs_destroy (bfs);
1037             }
1038             else
1039             {
1040                 yaz_log (LOG_WARN, "your previous transaction didn't finish");
1041             }
1042         }
1043         break;
1044     }
1045     if (pass == 2)
1046     {
1047         yaz_log (LOG_FATAL, "zebra_begin_trans couldn't finish commit");
1048         abort();
1049         return;
1050     }
1051     zebra_set_state (zh, 'd', seqno);
1052
1053     zh->reg = zebra_register_open (zh->service, zh->reg_name,
1054                                    1, rval ? 1 : 0, zh->res,
1055                                    zh->path_reg);
1056
1057     zh->reg->seqno = seqno;
1058 }
1059
1060 void zebra_end_trans (ZebraHandle zh)
1061 {
1062     char val;
1063     int seqno;
1064     const char *rval;
1065
1066     zh->trans_no--;
1067     if (zh->trans_no != 0)
1068         return;
1069
1070     yaz_log (LOG_LOG, "zebra_end_trans");
1071     rval = res_get (zh->res, "shadow");
1072
1073     zebra_flush_reg (zh);
1074
1075     zebra_register_close (zh->service, zh->reg);
1076     zh->reg = 0;
1077
1078     zebra_get_state (zh, &val, &seqno);
1079     if (val != 'd')
1080     {
1081         BFiles bfs = bfs_create (rval, zh->path_reg);
1082         yaz_log (LOG_LOG, "deleting shadow stuff val=%c", val);
1083         bf_commitClean (bfs, rval);
1084         bfs_destroy (bfs);
1085     }
1086     if (!rval)
1087         seqno++;
1088     zebra_set_state (zh, 'o', seqno);
1089
1090     zebra_unlock (zh->lock_shadow);
1091     zebra_unlock (zh->lock_normal);
1092
1093 #if HAVE_SYS_TIMES_H
1094     times (&zh->tms2);
1095     logf (LOG_LOG, "user/system: %ld/%ld",
1096                     (long) (zh->tms2.tms_utime - zh->tms1.tms_utime),
1097                     (long) (zh->tms2.tms_stime - zh->tms1.tms_stime));
1098
1099 #endif
1100 }
1101
1102 void zebra_repository_update (ZebraHandle zh)
1103 {
1104     zebra_begin_trans (zh);
1105     logf (LOG_LOG, "updating %s", zh->rGroup.path);
1106     repositoryUpdate (zh);    
1107     zebra_end_trans (zh);
1108 }
1109
1110 void zebra_repository_delete (ZebraHandle zh)
1111 {
1112     logf (LOG_LOG, "deleting %s", zh->rGroup.path);
1113     repositoryDelete (zh);
1114 }
1115
1116 void zebra_repository_show (ZebraHandle zh)
1117 {
1118     repositoryShow (zh);
1119 }
1120
1121 int zebra_commit (ZebraHandle zh)
1122 {
1123     int seqno;
1124     char val;
1125     const char *rval;
1126     BFiles bfs;
1127
1128     if (!zh->res)
1129     {
1130         zh->errCode = 109;
1131         return -1;
1132     }
1133     rval = res_get (zh->res, "shadow");    
1134     if (!rval)
1135     {
1136         logf (LOG_WARN, "Cannot perform commit");
1137         logf (LOG_WARN, "No shadow area defined");
1138         return 0;
1139     }
1140
1141     zebra_lock_w (zh->lock_normal);
1142     zebra_lock_r (zh->lock_shadow);
1143
1144     bfs = bfs_create (res_get (zh->res, "register"), zh->path_reg);
1145
1146     zebra_get_state (zh, &val, &seqno);
1147
1148     if (rval && *rval)
1149         bf_cache (bfs, rval);
1150     if (bf_commitExists (bfs))
1151     {
1152         zebra_set_state (zh, 'c', seqno);
1153
1154         logf (LOG_LOG, "commit start");
1155 #ifndef WIN32
1156         sleep (2);
1157 #endif
1158         bf_commitExec (bfs);
1159 #ifndef WIN32
1160         sync ();
1161 #endif
1162         logf (LOG_LOG, "commit clean");
1163         bf_commitClean (bfs, rval);
1164         seqno++;
1165         zebra_set_state (zh, 'o', seqno);
1166     }
1167     else
1168     {
1169         logf (LOG_LOG, "nothing to commit");
1170     }
1171     bfs_destroy (bfs);
1172
1173     zebra_unlock (zh->lock_shadow);
1174     zebra_unlock (zh->lock_normal);
1175     return 0;
1176 }
1177
1178 int zebra_init (ZebraHandle zh)
1179 {
1180     const char *rval;
1181     BFiles bfs = 0;
1182
1183     if (!zh->res)
1184     {
1185         zh->errCode = 109;
1186         return -1;
1187     }
1188     rval = res_get (zh->res, "shadow");
1189
1190     bfs = bfs_create (res_get (zh->service->global_res, "register"),
1191                       zh->path_reg);
1192     if (rval && *rval)
1193         bf_cache (bfs, rval);
1194     
1195     bf_reset (bfs);
1196     bfs_destroy (bfs);
1197     zebra_set_state (zh, 'o', 0);
1198     return 0;
1199 }
1200
1201 int zebra_compact (ZebraHandle zh)
1202 {
1203     BFiles bfs;
1204     if (!zh->res)
1205     {
1206         zh->errCode = 109;
1207         return -1;
1208     }
1209     bfs = bfs_create (res_get (zh->res, "register"), zh->path_reg);
1210     inv_compact (bfs);
1211     bfs_destroy (bfs);
1212     return 0;
1213 }
1214
1215 int zebra_record_insert (ZebraHandle zh, const char *buf, int len)
1216 {
1217     int sysno = 0;
1218     zebra_begin_trans (zh);
1219     extract_rec_in_mem (zh, "grs.sgml",
1220                         buf, len,
1221                         "Default",  /* database */
1222                         0 /* delete_flag */,
1223                         0 /* test_mode */,
1224                         &sysno /* sysno */,
1225                         1 /* store_keys */,
1226                         1 /* store_data */,
1227                         0 /* match criteria */);
1228     zebra_end_trans (zh);
1229     return sysno;
1230 }
1231
1232 void zebra_set_group (ZebraHandle zh, struct recordGroup *rg)
1233 {
1234     memcpy (&zh->rGroup, rg, sizeof(*rg));
1235 }
1236
1237 void zebra_result (ZebraHandle zh, int *code, char **addinfo)
1238 {
1239     *code = zh->errCode;
1240     *addinfo = zh->errString;
1241 }
1242