Creating search terms, and passing them around in searches. Not yet actually
[idzebra-moved-to-github.git] / include / rset.h
index e0838e3..0b529a7 100644 (file)
@@ -1,4 +1,4 @@
-/* $Id: rset.h,v 1.33 2004-09-01 15:01:32 heikki Exp $
+/* $Id: rset.h,v 1.38 2004-10-20 14:32:28 heikki Exp $
    Copyright (C) 1995,1996,1997,1998,1999,2000,2001,2002
    Index Data Aps
 
@@ -40,6 +40,28 @@ extern "C" {
 typedef struct rsfd *RSFD; /* Rset "file descriptor" */
 typedef struct rset *RSET; /* Result set */
 
+
+/** 
+ * rset_term is all we need to know of a term to do ranking etc. 
+ * As far as the rsets are concerned, it is just a dummy pointer to
+ * be passed around.
+ */
+
+struct rset_term {
+    char *name;
+    int  nn;
+    char *flags;
+    int  count;
+    int  type;
+};
+
+typedef struct rset_term *TERMID; 
+TERMID rset_term_create (const char *name, int length, const char *flags,
+                                    int type, NMEM nmem);
+
+
+
+/** rsfd is a "file descriptor" for reading from a rset */
 struct rsfd {  /* the stuff common to all rsfd's. */
     RSET rset;  /* ptr to the rset this FD is opened to */
     void *priv; /* private parameters for this type */
@@ -47,6 +69,13 @@ struct rsfd {  /* the stuff common to all rsfd's. */
 };
 
 
+/** 
+ * rset_control has function pointers to all the important functions
+ * of a rset. Each type of rset will have its own control block, pointing
+ * to the functions for that type. They all have their own create function
+ * which is not part of the control block, as it takes different args for
+ * each type.
+ */
 struct rset_control
 {
     char *desc; /* text description of set type (for debugging) */
@@ -54,19 +83,27 @@ struct rset_control
     void (*f_delete)(RSET ct);
     RSFD (*f_open)(RSET ct, int wflag);
     void (*f_close)(RSFD rfd);
-    void (*f_rewind)(RSFD rfd);
-    int (*f_forward)(RSFD rfd, void *buf, const void *untilbuf);
+    int (*f_forward)(RSFD rfd, void *buf, TERMID *term, const void *untilbuf);
     void (*f_pos)(RSFD rfd, double *current, double *total);
        /* returns -1,-1 if pos function not implemented for this type */
-    int (*f_read)(RSFD rfd, void *buf);
+    int (*f_read)(RSFD rfd, void *buf, TERMID *term);
     int (*f_write)(RSFD rfd, const void *buf);
 };
 
-int rset_default_forward(RSFD rfd, void *buf, 
+/** rset_default_forward implements a generic forward with a read-loop */
+int rset_default_forward(RSFD rfd, void *buf, TERMID *term,
                      const void *untilbuf);
 
+/**
+ * key_control contains all there is to know about the keys stored in 
+ * an isam, and therefore operated by the rsets. Other than this info,
+ * all we assume is that all keys are the same size, and they can be
+ * memcpy'd around
+ */
 struct key_control {
     int key_size;
+    int scope;  /* default for what level we operate (book/chapter/verse) on*/
+                /* usual sysno/seqno is 2 */
     int (*cmp) (const void *p1, const void *p2);
     void (*key_logdump_txt) (int logmask, const void *p, const char *txt);
     zint (*getseq)(const void *p);
@@ -75,6 +112,12 @@ struct key_control {
     /* FIXME - decode and encode, and lots of other stuff */
 };
 
+/**
+ * A rset is an ordered sequence of keys, either directly from an underlaying
+ * isam, or from one of the higher-level operator rsets (and, or, ...).
+ * Actually, it is "virtual base class", no pure rsets exist in the system,
+ * they all are of some derived type.
+ */
 typedef struct rset
 {
     const struct rset_control *control;
@@ -85,17 +128,35 @@ typedef struct rset
     char my_nmem; /* Should the nmem be destroyed with the rset?  */
                   /* 1 if created with it, 0 if passed from above */
     RSFD free_list; /* all rfd's allocated but not currently in use */
+    int scope;    /* On what level do we count hits and compare them? */
+    TERMID term; /* the term thing for ranking etc */
 } rset;
-/* rset is a "virtual base class", which will never exist on its own */
-/* all instances are rsets of some specific type, like rsisamb, or rsbool */
-/* They keep their own stuff behind the priv pointer. */
+/* rset is a "virtual base class", which will never exist on its own 
+ * all instances are rsets of some specific type, like rsisamb, or rsbool
+ * They keep their own stuff behind the priv pointer.  */
+
+/* On the old sysno-seqno type isams, the scope was hard-coded to be 2.
+ * This means that we count hits on the sysno level, and when matching an
+ * 'and', we consider it a match if both term occur within the same sysno.
+ * In more complex isams we can specify on what level we wish to do the
+ * matching and counting of hits. For example, we can have book / chapter /
+ * verse, and a seqno. Scope 2 means then "give me all verses that match",
+ * 3 would be chapters, 4 books. 
+ * The resolution tells how much of the occurences we need to return. If we 
+ * are doing some sort of proximity, we need to get the seqnos of all
+ * occurences, whereas if we are only counting hits, we do not need anything
+ * below the scope. Again 1 is seqnos, 2 sysnos (or verses), 3 books, etc.
+ */
 
 RSFD rfd_create_base(RSET rs);
 void rfd_delete_base(RSFD rfd);
 
 RSET rset_create_base(const struct rset_control *sel, 
                       NMEM nmem,
-                      const struct key_control *kcontrol);
+                      const struct key_control *kcontrol,
+                      int scope,
+                      TERMID term);
+
 void rset_delete(RSET rs);
 RSET rset_dup (RSET rs);
 
@@ -108,19 +169,17 @@ RSET rset_dup (RSET rs);
 /* void rset_close(RSFD rfd); */
 #define rset_close(rfd) (*(rfd)->rset->control->f_close)(rfd)
 
-/* void rset_rewind(RSFD rfd); */
-#define rset_rewind(rfd) (*(rfd)->rset->control->f_rewind)((rfd))
-
-/* int rset_forward(RSFD rfd, void *buf, void *untilbuf); */
-#define rset_forward(rfd, buf, untilbuf) \
-    (*(rfd)->rset->control->f_forward)((rfd),(buf),(untilbuf))
+/* int rset_forward(RSFD rfd, void *buf, TERMID term, void *untilbuf); */
+#define rset_forward(rfd, buf, term, untilbuf) \
+    (*(rfd)->rset->control->f_forward)((rfd),(buf),(term),(untilbuf))
 
 /* int rset_pos(RSFD fd, double *current, double *total); */
 #define rset_pos(rfd,cur,tot) \
     (*(rfd)->rset->control->f_pos)( (rfd),(cur),(tot))
 
-/* int rset_read(RSFD rfd, void *buf); */
-#define rset_read(rfd, buf) (*(rfd)->rset->control->f_read)((rfd), (buf))
+/* int rset_read(RSFD rfd, void *buf, TERMID term); */
+#define rset_read(rfd, buf, term) \
+    (*(rfd)->rset->control->f_read)((rfd), (buf), (term))
 
 /* int rset_write(RSFD rfd, const void *buf); */
 #define rset_write(rfd, buf) (*(rfd)->rset->control->f_write)((rfd), (buf))
@@ -129,39 +188,56 @@ RSET rset_dup (RSET rs);
 #define rset_type(rs) ((rs)->control->desc)
 
 RSET rstemp_create( NMEM nmem, const struct key_control *kcontrol,
+                    int scope, 
                     const char *temp_path);
 
 RSET rsnull_create(NMEM nmem, const struct key_control *kcontrol);
 
 RSET rsbool_create_and( NMEM nmem, const struct key_control *kcontrol,
+                        int scope, 
                         RSET rset_l, RSET rset_r);
 
 RSET rsbool_create_or ( NMEM nmem, const struct key_control *kcontrol,
+                        int scope,
                         RSET rset_l, RSET rset_r);
 
 RSET rsbool_create_not( NMEM nmem, const struct key_control *kcontrol,
+                        int scope,
                         RSET rset_l, RSET rset_r);
 
-RSET rsbetween_create( NMEM nmem, const struct key_control *kcontrol,
+RSET rsbetween_create(  NMEM nmem, const struct key_control *kcontrol,
+                        int scope, 
                         RSET rset_l, RSET rset_m, RSET rset_r, 
                         RSET rset_attr);
 
-RSET rsmultior_create( NMEM nmem, const struct key_control *kcontrol,
-                      int no_rsets, RSET* rsets);
+RSET rsmultior_create(  NMEM nmem, const struct key_control *kcontrol,
+                        int scope, 
+                        int no_rsets, RSET* rsets);
+
+RSET rsmultiand_create( NMEM nmem, const struct key_control *kcontrol,
+                        int scope, 
+                        int no_rsets, RSET* rsets);
 
 RSET rsprox_create( NMEM nmem, const struct key_control *kcontrol,
+                        int scope, 
                     int rset_no, RSET *rset,
                     int ordered, int exclusion,
                     int relation, int distance);
 
 RSET rsisamb_create( NMEM nmem, const struct key_control *kcontrol,
-                     ISAMB is, ISAMB_P pos);
+                        int scope, 
+                     ISAMB is, ISAMB_P pos,
+                     TERMID term);
 
 RSET rsisamc_create( NMEM nmem, const struct key_control *kcontrol,
-                     ISAMC is, ISAMC_P pos);
+                        int scope, 
+                     ISAMC is, ISAMC_P pos,
+                     TERMID term);
 
 RSET rsisams_create( NMEM nmem, const struct key_control *kcontrol,
-                     ISAMS is, ISAMS_P pos);
+                        int scope,
+                     ISAMS is, ISAMS_P pos,
+                     TERMID term);