index/reckeys.c

   1 /* This file is part of the Zebra server.
   2    Copyright (C) 1994-2009 Index Data
   3
   4 Zebra is free software; you can redistribute it and/or modify it under
   5 the terms of the GNU General Public License as published by the Free
   6 Software Foundation; either version 2, or (at your option) any later
   7 version.
   8
   9 Zebra is distributed in the hope that it will be useful, but WITHOUT ANY
  10 WARRANTY; without even the implied warranty of MERCHANTABILITY or
  11 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
  12 for more details.
  13
  14 You should have received a copy of the GNU General Public License
  15 along with this program; if not, write to the Free Software
  16 Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
  17
  18 */
  19
  20 #include <stdio.h>
  21 #include <stdlib.h>
  22 #include <string.h>
  23 #include <assert.h>
  24 #include <ctype.h>
  25
  26 #include "reckeys.h"
  27 #include <yaz/nmem.h>
  28 #include <yaz/xmalloc.h>
  29
  30 struct zebra_rec_key_entry {
  31     char *buf;
  32     size_t len;
  33     struct it_key key;
  34     struct zebra_rec_key_entry *next;
  35 };
  36
  37 struct zebra_rec_keys_t_ {
  38     size_t buf_used;
  39     size_t buf_max;
  40     size_t fetch_offset;
  41     char *buf;
  42     void *encode_handle;
  43     void *decode_handle;
  44     char owner_of_buffer;
  45     zint custom_record_id;
  46
  47     NMEM nmem;
  48     size_t hash_size;
  49     struct zebra_rec_key_entry **entries;
  50 };
  51
  52
  53 struct zebra_rec_key_entry **zebra_rec_keys_mk_hash(zebra_rec_keys_t p,
  54                                                     const char *buf,
  55                                                     size_t len,
  56                                                     const struct it_key *key)
  57 {
  58     unsigned h = 0;
  59     size_t i;
  60     int j;
  61 #if 0
  62     h = key->mem[key->len-1];
  63 #else
  64     for (i = 0; i<len; i++)
  65         h = h * 65509 + buf[i];
  66     for (j = 0; j<key->len; j++)
  67         h = h * 65509 + CAST_ZINT_TO_INT(key->mem[j]);
  68 #endif
  69     return &p->entries[h % (unsigned) p->hash_size];
  70 }
  71
  72 static void init_hash(zebra_rec_keys_t p)
  73 {
  74     p->entries = 0;
  75     nmem_reset(p->nmem);
  76     if (p->hash_size)
  77     {
  78         size_t i;
  79         p->entries = nmem_malloc(p->nmem, p->hash_size * sizeof(*p->entries));
  80         for (i = 0; i<p->hash_size; i++)
  81             p->entries[i] = 0;
  82     }
  83 }
  84
  85 zebra_rec_keys_t zebra_rec_keys_open(void)
  86 {
  87     zebra_rec_keys_t p = xmalloc(sizeof(*p));
  88     p->buf_used = 0;
  89     p->buf_max = 0;
  90     p->fetch_offset = 0;
  91     p->buf = 0;
  92     p->owner_of_buffer = 1;
  93     p->encode_handle = iscz1_start();
  94     p->decode_handle = iscz1_start();
  95
  96     p->custom_record_id = 0;
  97     p->nmem = nmem_create();
  98     p->hash_size = 32767;
  99     p->entries = 0;
 100
 101     init_hash(p);
 102
 103     return p;
 104 }
 105
 106 void zebra_rec_keys_set_buf(zebra_rec_keys_t p, char *buf, size_t sz,
 107                             int copy_buf)
 108 {
 109     if (p->owner_of_buffer)
 110         xfree(p->buf);
 111     p->buf_used = sz;
 112     p->buf_max = sz;
 113     if (!copy_buf)
 114     {
 115         p->buf = buf;
 116     }
 117     else
 118     {
 119         if (!sz)
 120             p->buf = 0;
 121         else
 122         {
 123             p->buf = xmalloc(sz);
 124             memcpy(p->buf, buf, sz);
 125         }
 126     }
 127     p->owner_of_buffer = copy_buf;
 128 }
 129
 130 void zebra_rec_keys_get_buf(zebra_rec_keys_t p, char **buf, size_t *sz)
 131 {
 132     *buf = p->buf;
 133     *sz = p->buf_used;
 134
 135     p->buf = 0;
 136     p->buf_max = 0;
 137     p->buf_used = 0;
 138 }
 139
 140 void zebra_rec_keys_close(zebra_rec_keys_t p)
 141 {
 142     if (!p)
 143         return;
 144
 145     if (p->owner_of_buffer)
 146         xfree(p->buf);
 147     if (p->encode_handle)
 148         iscz1_stop(p->encode_handle);
 149     if (p->decode_handle)
 150         iscz1_stop(p->decode_handle);
 151     nmem_destroy(p->nmem);
 152     xfree(p);
 153 }
 154
 155 int zebra_rec_keys_add_hash(zebra_rec_keys_t keys,
 156                             const char *str, size_t slen,
 157                             const struct it_key *key)
 158 {
 159     struct zebra_rec_key_entry **kep_first
 160         = zebra_rec_keys_mk_hash(keys, str, slen, key);
 161     struct zebra_rec_key_entry **kep = kep_first;
 162     while (*kep)
 163     {
 164         struct zebra_rec_key_entry *e = *kep;
 165         if (slen == e->len && !memcmp(str, e->buf, slen) &&
 166             !key_compare(key, &e->key))
 167         {
 168             *kep = (*kep)->next; /* out of queue */
 169             e->next = *kep_first; /* move to front */
 170             *kep_first = e;
 171
 172             return 0;
 173         }
 174         kep = &(*kep)->next;
 175     }
 176     *kep = nmem_malloc(keys->nmem, sizeof(**kep));
 177     (*kep)->next = 0;
 178     (*kep)->len = slen;
 179     memcpy(&(*kep)->key, key, sizeof(*key));
 180     (*kep)->buf = nmem_malloc(keys->nmem, slen);
 181     memcpy((*kep)->buf, str, slen);
 182     return 1;
 183 }
 184
 185 void zebra_rec_keys_write(zebra_rec_keys_t keys,
 186                           const char *str, size_t slen,
 187                           const struct it_key *key)
 188 {
 189     char *dst;
 190     const char *src = (char*) key;
 191
 192     assert(keys->owner_of_buffer);
 193
 194     if (key->mem[1]) /* record_id custom */
 195     {
 196         keys->custom_record_id = key->mem[1];
 197     }
 198 #if 1
 199     if (!zebra_rec_keys_add_hash(keys, str, slen, key))
 200     {
 201 #if 0
 202         yaz_log(YLOG_LOG, "dup key slen=%d %.*s "
 203                 "ord=" ZINT_FORMAT " seq=" ZINT_FORMAT,
 204                 slen, slen, str, key->mem[0], key->mem[key->len-1]);
 205 #endif
 206         return;  /* key already there . Omit it */
 207     }
 208 #endif
 209     if (keys->buf_used+1024 > keys->buf_max)
 210     {
 211         char *b = (char *) xmalloc (keys->buf_max += 128000);
 212         if (keys->buf_used > 0)
 213             memcpy (b, keys->buf, keys->buf_used);
 214         xfree (keys->buf);
 215         keys->buf = b;
 216     }
 217     dst = keys->buf + keys->buf_used;
 218
 219     iscz1_encode(keys->encode_handle, &dst, &src);
 220
 221     memcpy (dst, str, slen);
 222     dst += slen;
 223     *dst++ = '\0';
 224     keys->buf_used = dst - keys->buf;
 225 }
 226
 227 void zebra_rec_keys_reset(zebra_rec_keys_t keys)
 228 {
 229     assert(keys);
 230     keys->buf_used = 0;
 231
 232     iscz1_reset(keys->encode_handle);
 233
 234     init_hash(keys);
 235 }
 236
 237 int zebra_rec_keys_rewind(zebra_rec_keys_t keys)
 238 {
 239     assert(keys);
 240     iscz1_reset(keys->decode_handle);
 241
 242
 243     keys->fetch_offset = 0;
 244     if (keys->buf_used == 0)
 245         return 0;
 246     return 1;
 247 }
 248
 249 int zebra_rec_keys_empty(zebra_rec_keys_t keys)
 250 {
 251     if (keys->buf_used == 0)
 252         return 1;
 253     return 0;
 254 }
 255
 256 int zebra_rec_keys_read(zebra_rec_keys_t keys,
 257                         const char **str, size_t *slen,
 258                         struct it_key *key)
 259 {
 260     assert(keys);
 261     if (keys->fetch_offset == keys->buf_used)
 262         return 0;
 263     else
 264     {
 265         const char *src = keys->buf + keys->fetch_offset;
 266         char *dst = (char*) key;
 267
 268         assert (keys->fetch_offset < keys->buf_used);
 269
 270         /* store the destination key */
 271         iscz1_decode(keys->decode_handle, &dst, &src);
 272
 273         /* store pointer to string and length of it */
 274         *str = src;
 275         *slen = strlen(src);
 276         src += *slen + 1;
 277
 278         keys->fetch_offset = src - keys->buf;
 279     }
 280     return 1;
 281 }
 282
 283 zint zebra_rec_keys_get_custom_record_id(zebra_rec_keys_t keys)
 284 {
 285     return keys->custom_record_id;
 286 }
 287
 288 /*
 289  * Local variables:
 290  * c-basic-offset: 4
 291  * indent-tabs-mode: nil
 292  * End:
 293  * vim: shiftwidth=4 tabstop=8 expandtab
 294  */
 295