שיפור מהירות החיפוש

[יושבספר]

מנוע החיפוש של "גוגל" מסוגלת לחפש נתונים במהירות גבוהה מאד, בין היתר, בגלל שמירת החיפושים הקודמים של המשתמשים.
שיטה זו משכללת את גוגל תדיר, כיון שמהירות החיפוש מביא שימוש רב יותר בתכנה ובהתאמה לשכלולה.

אם ינקטו באוצר החכמה בהתנהלות דומה, ניתן יהיה לשפר את מהירות החיפוש בצורה ניכרת.

[אוצר החכמה]

כיוון שבשונה מחיפוש דרך גוגל רוב המשתמשים באוצר החכמה משתמשים בדיסק הפרטי שלהם ולא מחפשים דרך האינטרנט, העניין לא כ"כ מעשי.

[דניאל]

אין אפשרות שאצל כל אחד ישתפר החיפוש לפי חיפושים שהוא ערך?

[אוצר החכמה]

זה עניין אחר ואכן אנו בודקים אפשרות כזאת ואם יש בה אכן תועלת.

[עזרה]

כשעבדתי במקוון שמתי לב שכל חיפוש שעשיתי נשמר בהיסטוריה של גוגל ומאז הייתי הולך להיסטוריה ומעלה אותו משם.

ולגבי הדיסקים, לדעתי יש בזה גם חסרונות ולא הייתי מציע שזה יהיה ברירת המחדל שלו.

[יושבספר]

כיוון שבשונה מחיפוש דרך גוגל רוב המשתמשים באוצר החכמה משתמשים בדיסק הפרטי שלהם ולא מחפשים דרך האינטרנט, העניין לא כ"כ מעשי.

ניתן עדיין לעדכן את הדיסק בכל עדכון בהיסטוריית החיפוש של שאר משתמשי האוצר.

[אוצר החכמה]

א. הכוונה בחיפושים של שנה קודמת, אני די מסופק על ערך הדברים בפרט שנוספים ספרים וכן האינדקס מתחדש כל שנה הרבה פעמים עם שינויים גם בספרים הישנים.
ב. אני גם מסופק על הסכמת המשתמשים, שכן יש לא מעט שאינם ששים לחלוק את פעולותיהם עם אחרים ואם ייודע להם שמפשפשים בפעולותיהם לא יהיו מרוצים, וא"כ נצטרך לשאול כ"א לרצונו וכולי.
ג. אני חושב שאחת הסיבות שהחיפוש באוצה"ח יותר איטי הוא עניין המרחק בין מילים, אבל זה הכרח הנובע באופן מהותי מאפיו של המידע.

[אוהב אוצר]

מסכים לכל מילה.

[עזרה]

צודק הרב אצוה"ח שלא ניתן להשתמש בהיסטוריית חיפוש מבלי לבקש רשות וברוב המקרים הוא דיסקרטי.

אמנם עדיין יש לשקול להוסיף אופציה של היסטוריית חיפוש.
בנוסף על המאגרים שלי.
ופעמים אין ספור אני משתמש עם היסטוריית חיפוש של גוגל והוא מאוד מאוד שימושי.
--
ואם כבר היסטוריית חיפוש.

עצה טובה קמ"ל.

משום מה גוגל אינם נותנים להעתיק ולהדביק מועדפים וסימניות כמו באספלור, ולא ניתן לדעת איך כותבים את הקישור ששמרנו אותו בסימניות בגוגל.
ונוכחתי לראות שניתן להתגבר על זה על ידי העתק קישור מהיסטוריית חיפוש.

http://www.otzar.org/wotzar/Book.aspx?103967&
ספר אב בחכמה מתוך היסטוריית חיפוש.

אב בחכמה / יודלביץ, אברהם אהרן בן בנימין בונם / תרפ"ז
ספר אב בחכמה מתוך מועדפים של גוגל.

כמו כן ניתן להתגבר על זה באופן חלקי על ידי ייצוא של מועדפים וסימניות לקובץ HTM

[אוצר החכמה]

אני חשבתי על מנגונני האצה מורכבים, אבל אולי תפרט למה את זקוק נעבר לשני סוגי ההיסטוריה שיש כבר באוצר.

[עזרה]

אם הבנתי נכון, כוונת כבודו לומר שאין צריך להוסיף על 'המאגרים' ועל זה אמרתי שהיסטוריה עדיף מן 'מאגרים' שהרי לא תמיד אני זוכר להכניס ספר זה או אחר למאגרים ובשביל זה טוב שיהיה היסטוריה.

אך באמת שלא ירדתי לסוף דעתו, שהרי עד עתה דיברנו שההיסטוריה הם אלו המאיצים את החיפוש, ובאמת שזה אינו, ההיסטוריה מועילה רק לקצר את זמן הגישה לספר פלוני אלמוני, אך לא על עצם החיפוש שבנוי מאינדקס וקיטלוג.
בגוגל יש משהו אחר.
שהוא משלים את המלה על פי ההיסטוריה שלך אך לא על כך דובר.

[אוצר החכמה]

איני יודע אם הבנתי את הכוונה,אולי אני שקוע קצת יותר מדי ברעיונות פיתוח.

בתכנה יש שני סוגים של היסטוריה. האחד שזוכר את הטקסט שחיפשת (זה ההיסטוריה הרגילה) אבל כאשר אתהבוחר את אותה מחרוזת חיפוש ולוחץ חיפוש החיפוש מתבצע מחדש.

סוג אחר יש שזוכר את החיפוש ותוצאותיו כלומר כשאתה בוחר בו מייד אתה מקבל את התוצאות שקיבלת ללא שנעשה שוב חיפוש.

אני בוחן אלגוריתם שיאיץ את החיפוש באופן מורכב, כלומר שאם חיפשת מילה או צירוף מילים ועכשיו אתה מחפש צירוף דומה אבל לא זהה, התבססות על החיפוש הקודם תאיץ את החיפוש החדש, אני עדיין לא בטוח בקשר לתועלת מצד אחד ועלויות זמן אחרות מצד אחר.
חשבתי שאתם מתכוונים לרעיון כזה, אבל כעת לא נ"ל שזה היה הנושא.

האם התכוונתם להשלמת החיפוש של גוגל?
באחת הגירסאות (לפני כמה שנים) עשיתי השלמת חיפוש ע"פ החיפושים הקודמים וכשטענו שזה רק מבלבל ביטלתי את זה. אולי זו
היתה שגיאה וצריך להחזירו. (אז לא היו רגילים בזה מגוגל)

[עזרה]

לדעתי ניתן להאיץ את החיפוש באופן די פשוט.

א. חיפוש ללא כוכביות וכדומה.
שזה חיפוש פשוט כהרף עין, ומנסיון, השתמשתי באדובי אקרובט מתקדם קיטלוג על 4 דיסקים של TB ותוך שניות הוא מראה לי אותם, ומדובר באלפים.

ב. השני, זהו החיפוש המורכב שיש באוצה"ח, עם פלוס וכוכבית וכו' שזה יישאר כמות שהוא.

ג. ולגבי השלמת המלה, היום שיש את זה בגוגל כפי שכבודו כתב, לדעתי כו"ע ישמחו אם יחזירו אותו.

[אוצר החכמה]

חיפוש ללא כוכביות זו הגדרה שלך כמשתמש (תמיד מורחב או לא)

[רחמים]

מה ששמתי לב שבאותו חיפוש ללא פלוסים לפני המילים ועם פלוסים יש הבדל מאוד משמעותי מבחינת המהירות.
אני חושב שאם בתוך האינדקס של החיפוש יופיע מידע על כל מילה אילו קידומות קיימות עבורה בתוך הספר זה ימהר מאוד את החיפוש, כלומר במקום שבזמן שהמשתמש מחפש התכנה תחפש עבור כל מילה את כל צורות הקידומות שלה, פשוט בתוך האינדקס כבר יהיה מידע אלו צורות קימות עבור מילה זו ואיפה הן ממוקמות בתוך הספר וכך מיד אפשר לעבור לשלב של בדיקת מרחקים בין מילים.

[אוצר החכמה]

זה נקודה חשובה, אבל מבדיקות שערכתי לא נראה לי שכאן מונח העיכוב, המרכיב המרכזי של הזמן הוא הגישה הפיסית לדיסק (מדובר בהרבה מאד חומר כידוע לכולם) כלומר הצורך לשלוף את המידע מנקודות שונות והצורך של ראש הדיסק לנוע לשם כך, כאשר משתמשים ב + וכדומה האינפרמציה יותר מפוזרת וזה הסיבה לעיכוב. למערכת יש קש לדיסק וזה אחד הגורמים המשפיעים על העניין כך שהחישוב של תנועת ראש הדיסק בפועל מסובך למדי . בתקופה האחרונה אנחנו בודקים האם אירגון שונה של האינפורמציה יעזור, המערכת המארגנת באופן שונה נמצאת כרגע בסיום הפיתוח, ורק אחרי בדיקות מקיפות נדע להעריך את רמת ההשפעה.

[אוצר בלום]

חיפוש ללא כוכביות זו הגדרה שלך כמשתמש (תמיד מורחב או לא)

גם באשכול מקביל כתבתם דבר דומה ואני מתחיל לחשוב שלא ירדתי לעומק דעתכם.

הרי 'תמיד מורחב' נותן רק 'כתיב מלא וחסר' וכן 'ראשי תיבות', אך לא אותיות שימוש ולא אותיות מתחלפות.

אצלי עכ"פ רוב החיפושים דורשים את הפרמטרים הללו, כי כאשר אני מחפש לדוגמה את המילה 'תפילה' אני רוצה לקבל גם תוצאות של 'בתפילה', 'התפילה', וכן 'חפילה' וכד'.

זו אחת הסיבות לחשיבות שיהיה ניתן להגדיר אופציות אלו כברירת מחדל כפי שהציע יושבספר באשכול ההוא.

אמנם הצעתם שם בשיתוף עם 'צמא לדעת' איזו שהיא הרחבה שנותנת מענה לזה, אך ההוראות להתקנת אותה הרחבה שכללו מילים כמו 'קימפול', 'קובצי ini' וכד' הרתיעו אדם צר אופקים שכמותי.

[אוצר החכמה]

שם זה עניין אחר, ואנסה להבהיר אותו בעז"ה.
אבל כאן הלא הוא הציע חיפוש ללא כוכביות וללא שום שינוי מהמילים שבחרת לצורך האצה, וע"ז כתבתי לו שאם יבטל את תמיד מורחב (וכמובן לא יוסיף + *, כמו שהציע) יקבל את מה שרצה.

[עזרה]

כוונתי הייתה, אם ישנו אפשרות ליצור שתי קבצי INX האחד, טקסט נקי כמות שהוא, ובשני עם כל הפלוסים והכוכבית. - לענ"ד מתוך קובץ INX נקי החיפוש יתבצע מהר יותר.

ואפשר שלזה כיוון רחמים.

[אוצר החכמה]

+הגר"א שקול ל בהגר"א להגר"א והגר"א וכולי. טבלת המיקומים (האינדקס) שהיא ענקית גם כעת לא מחזיקה מיקום נפרד ל +הגר"א (מה שהיה מנפח אותה בצורה בלתי מתקבלת על הדעת, שלא לדבר על כוכביות) אלא יודעת מה הוא מיקום כל הנתונים האלה ואוספת אותם כל אחד ממקומו, וכמו שכתבתי איסוף זה מהווה מרכיב מרכזי בזמן העבודה.

כפי שהזכרתי כעת אנו חוקרים אפשרות לאירגון נתונים יותר יעיל בתקווה שיאיץ, בגירסה 9 התחלנו לבדוק רעיון נוסף ומשום מה לא הגיע לכלל מימוש. נראה איך יתפתחו העניינים.

[רחמים]

מבדיקות שעשיתי במנוע חיפוש שבניתי עולה המסקנה הבאה:
בתחילה צורת האינדקס היתה שכל קובץ שנכנס לאינדקס מקבל קובץ אינדקס נפרד, ואז החיפושים היו איטיים יחסית
לאחר מכן עשיתי שכל האינדקס יהיה באותו הקובץ כלומר כל הקבצים הנ''ל מחוברים יחד וכך אנו מרווחים שלא צריך סיסובים רבים של הדיסק ואכן מהירות החיפוש עלתה בצורה משמעותית , וכמובן כדי לדעת איפה מתחיל כל ספר בתוך הקובץ הגדול יש קובץ קטן נפרד שמכיל כעין תוכן ענינים של הקובץ הגדול, ולמעשה אפשר לחבר תוכן ענינים זה לראש הקובץ הגדול ג''כ.

והרעיון שכתבתי מקודם היה שבטבלת המיקומים (האינדקס) ליד כל מילה יופיע המקום שלה וגם המיקומים של הפלוסים שלה ללא הטקסט של הפלוסים לדוגמא יהיה כתוב 'שלום' וליד זה רשימה של מספרים ואח''כ יהיה תת מדור עם מספרים שמיצגים את מיקומים של מילים כמו 'בשלום' לשלום' וכו' כך שהכל במקום אחד ואין צורך לאסוף את זה ממקומות מרוחקים.