W-shingling - W-shingling

Yilda tabiiy tilni qayta ishlash a w-shingling to'plamidir noyob shingil (shuning uchun n-gramm ) har biri tutashganlardan tashkil topgan ketma-ketliklar ning nishonlar ichida a hujjat, undan keyin aniqlash uchun ishlatilishi mumkin hujjatlar o'rtasidagi o'xshashlik. Belgisi w tanlangan yoki echilgan har bir shingildagi nishonlar miqdorini bildiradi.

Shuning uchun "atirgul - atirgul - atirgul" hujjati maksimal darajada bo'lishi mumkin tokenlangan quyidagicha:

(a, gul, is, a, gul, is, a, rose)

The o'rnatilgan barcha qo'shni 4 belgidan iborat ketma-ketliklar (Shunday qilib 4 =nshunday qilib 4-gramm)

{(a, rose, is, a), (rose, is, a, rose), (is, a, rose, is), (a, rose, is, a), (rose, is, a, rose) } Keyin ularni qisqartirish yoki {/ a, rose, is, a), (rose, is, a, rose), (is, a, rose, is)} ga qisqartirish mumkin.

O'xshashlik

Belgilangan shingle o'lchamlari uchun ikkita hujjat darajasi A va B bir-biriga o'xshashligini ularning shingillari kattaliklarining nisbati sifatida ifodalash mumkin ' kesishish va birlashma, yoki

${ displaystyle r (A, B) = {{| S (A) cap S (B) |} over {| S (A) cup S (B) |}}})$

qaerda | A | A to'plamining kattaligi. O'xshashlik [0,1] oralig'idagi raqam bo'lib, bu erda 1 ikkita hujjat bir xil ekanligini ko'rsatadi. Ushbu ta'rif bilan bir xil Jakkard koeffitsienti namunalar to'plamlarining o'xshashligi va xilma-xilligini tavsiflovchi.

Shuningdek qarang

• Konchilik kontseptsiyasi (hujjatning o'xshashligini hisoblashning muqobil usuli, hisoblashning murakkabligi bilan, lekin bu o'lchov inson hujjat o'xshashligini anglashni yanada yaqinlashtiradigan bo'lsa)
• N-gramm
• k-mer
• MinHash
• Rolling xash
• Rabinning barmoq izi
• Vektorli kosmik model
• So'zlar sumkasi modeli

Adabiyotlar

• (Manber 1993) Katta fayl tizimida o'xshash fayllarni topish. Hali "shingling" atamasini ishlatmaydi.
• (Broder, Glassman, Manasse va Zweig 1997) Internetning sintaktik klasteri. SRC Texnik eslatma № 1997-015.

Tashqi havolalar

• Manning, Kristofer D.; Raghavan, Prabhakar; Shutze, Xinrix (2008 yil 7-iyul). "w-shingling". Axborotni qidirishga kirish. Kembrij universiteti matbuoti. ISBN  978-1-139-47210-4.