From 10f5ec1040f922bab50bb9367241eee551800e30 Mon Sep 17 00:00:00 2001 From: orbiter Date: Sat, 22 Nov 2008 00:12:50 +0000 Subject: [PATCH] reverted last commit (more testing needed) git-svn-id: https://svn.berlios.de/svnroot/repos/yacy/trunk@5356 6c8d7289-2bf4-0310-a012-ef5d649a1542 --- htroot/CrawlProfileEditor_p.java | 33 ++++++++++--------- htroot/CrawlStart_p.html | 2 +- .../kelondro/kelondroChunkIterator.java | 12 ++++--- 3 files changed, 25 insertions(+), 22 deletions(-) diff --git a/htroot/CrawlProfileEditor_p.java b/htroot/CrawlProfileEditor_p.java index 44c9ab5f0..345abd311 100644 --- a/htroot/CrawlProfileEditor_p.java +++ b/htroot/CrawlProfileEditor_p.java @@ -60,22 +60,23 @@ public class CrawlProfileEditor_p { private static final ArrayList labels = new ArrayList(); static { - labels.add(new eentry(entry.NAME, "Name", true, eentry.STRING)); - labels.add(new eentry(entry.START_URL, "Start URL", true, eentry.STRING)); - labels.add(new eentry(entry.FILTER_MUSTMATCH, "General Filter", false, eentry.STRING)); - labels.add(new eentry(entry.DEPTH, "General Depth", false, eentry.INTEGER)); - labels.add(new eentry(entry.RECRAWL_IF_OLDER, "Recrawl If Older", false, eentry.INTEGER)); - labels.add(new eentry(entry.DOM_FILTER_DEPTH, "Domain Filter Depth", false, eentry.INTEGER)); - labels.add(new eentry(entry.DOM_MAX_PAGES, "Domain Max. Pages", false, eentry.INTEGER)); - labels.add(new eentry(entry.CRAWLING_Q, "CrawlingQ / '?'-URLs", false, eentry.BOOLEAN)); - labels.add(new eentry(entry.INDEX_TEXT, "Index Text", false, eentry.BOOLEAN)); - labels.add(new eentry(entry.INDEX_MEDIA, "Index Media", false, eentry.BOOLEAN)); - labels.add(new eentry(entry.STORE_HTCACHE, "Store in HTCache", false, eentry.BOOLEAN)); - labels.add(new eentry(entry.STORE_TXCACHE, "Store in TXCache", false, eentry.BOOLEAN)); - labels.add(new eentry(entry.REMOTE_INDEXING, "Remote Indexing", false, eentry.BOOLEAN)); - labels.add(new eentry(entry.XSSTOPW, "Static stop-words", false, eentry.BOOLEAN)); - labels.add(new eentry(entry.XDSTOPW, "Dynamic stop-words", false, eentry.BOOLEAN)); - labels.add(new eentry(entry.XPSTOPW, "Parent stop-words", false, eentry.BOOLEAN)); + labels.add(new eentry(entry.NAME, "Name", true, eentry.STRING)); + labels.add(new eentry(entry.START_URL, "Start URL", true, eentry.STRING)); + labels.add(new eentry(entry.FILTER_MUSTMATCH, "Must-Match Filter", false, eentry.STRING)); + labels.add(new eentry(entry.FILTER_MUSTNOTMATCH, "Must-Not-Match Filter", false, eentry.STRING)); + labels.add(new eentry(entry.DEPTH, "Crawl Depth", false, eentry.INTEGER)); + labels.add(new eentry(entry.RECRAWL_IF_OLDER, "Recrawl If Older", false, eentry.INTEGER)); + labels.add(new eentry(entry.DOM_FILTER_DEPTH, "Domain Filter Depth", false, eentry.INTEGER)); + labels.add(new eentry(entry.DOM_MAX_PAGES, "Domain Max. Pages", false, eentry.INTEGER)); + labels.add(new eentry(entry.CRAWLING_Q, "CrawlingQ / '?'-URLs", false, eentry.BOOLEAN)); + labels.add(new eentry(entry.INDEX_TEXT, "Index Text", false, eentry.BOOLEAN)); + labels.add(new eentry(entry.INDEX_MEDIA, "Index Media", false, eentry.BOOLEAN)); + labels.add(new eentry(entry.STORE_HTCACHE, "Store in HTCache", false, eentry.BOOLEAN)); + labels.add(new eentry(entry.STORE_TXCACHE, "Store in TXCache", false, eentry.BOOLEAN)); + labels.add(new eentry(entry.REMOTE_INDEXING, "Remote Indexing", false, eentry.BOOLEAN)); + labels.add(new eentry(entry.XSSTOPW, "Static stop-words", false, eentry.BOOLEAN)); + labels.add(new eentry(entry.XDSTOPW, "Dynamic stop-words", false, eentry.BOOLEAN)); + labels.add(new eentry(entry.XPSTOPW, "Parent stop-words", false, eentry.BOOLEAN)); } public static serverObjects respond(final httpRequestHeader header, final serverObjects post, final serverSwitch env) { diff --git a/htroot/CrawlStart_p.html b/htroot/CrawlStart_p.html index 85bdb6357..99ae6f672 100644 --- a/htroot/CrawlStart_p.html +++ b/htroot/CrawlStart_p.html @@ -116,7 +116,7 @@ : - + This filter must not match to allow that the page is accepted for crawling. diff --git a/source/de/anomic/kelondro/kelondroChunkIterator.java b/source/de/anomic/kelondro/kelondroChunkIterator.java index a5c18609a..8800923e3 100644 --- a/source/de/anomic/kelondro/kelondroChunkIterator.java +++ b/source/de/anomic/kelondro/kelondroChunkIterator.java @@ -24,6 +24,8 @@ package de.anomic.kelondro; +import java.io.BufferedInputStream; +import java.io.DataInputStream; import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundException; @@ -32,9 +34,6 @@ import java.util.Iterator; import java.util.concurrent.ArrayBlockingQueue; import java.util.concurrent.BlockingQueue; import java.util.concurrent.Callable; -import java.util.concurrent.ExecutorService; -import java.util.concurrent.Executors; -import java.util.concurrent.Future; public class kelondroChunkIterator implements Iterator { @@ -50,9 +49,11 @@ public class kelondroChunkIterator implements Iterator { * @throws FileNotFoundException */ - /* + private final DataInputStream stream; private byte[] nextBytes; + private int recordsize; + public kelondroChunkIterator(final File file, final int recordsize, final int chunksize) throws FileNotFoundException { assert (file.exists()); assert file.length() % recordsize == 0; @@ -95,9 +96,9 @@ public class kelondroChunkIterator implements Iterator { public void remove() { throw new UnsupportedOperationException(); } - */ + /* ExecutorService service = Executors.newFixedThreadPool(2); filechunkProducer producer; filechunkSlicer slicer; @@ -142,6 +143,7 @@ public class kelondroChunkIterator implements Iterator { public void remove() { throw new UnsupportedOperationException(); } + */ private static class filechunkSlicer implements Callable {