KR100285265B1

KR100285265B1 - 데이터 베이스 관리 시스템과 정보 검색의 밀결합을 위하여 서브 인덱스와 대용량 객체를 이용한 역 인덱스 저장 구조

Info

Publication number: KR100285265B1
Application number: KR1019980005930A
Authority: KR
Inventors: 황규영; 박병권; 한욱신; 이영구
Original assignee: 윤덕용; 한국과학기술원
Priority date: 1998-02-25
Filing date: 1998-02-25
Publication date: 2001-04-02
Also published as: US6349308B1; KR19990070838A

Abstract

본 발명은 다수개의 포스팅 리스트가 저장되는 공간을 확보하고 키워드 입력에 따라 대응하는 포스팅 리스트의 저장공간으로 인덱스시키는 역 인덱스 구조에 관한 것으로 특히, 정보 검색과 데이터 베이스 시스템이 밀겹합된 환경에서 문서의 추가, 삭제, 수정 및 검색 성능을 높이고자 포스팅 리스트에서 특정 문서의 포스팅을 빨리 찾을 수 있고 포스팅 리스트가 문서 식별자 순의 정렬을 효율적으로 유지할 수 있는 역 인덱스 저장 구조에 관한 것으로 그 기술적 해결 수단은 포스팅 리스트를 대용량 객체에 저장하되, 각각의 포스팅 리스트에 문서 식별자를 인덱스시키는 각각의 서브 인덱스를 일대일 매칭 연결시킨 것이다.

Description

데이터 베이스 관리 시스템과 정보 검색의 밀결합을 위하여 서브 인덱스와 대용량 객체를 이용한 역 인덱스 저장 구조

본 발명은 정보 검색과 데이터 베이스 시스템이 밀결합된 환경에서 문서의 추가, 삭제, 수정 및 검색 성능을 높이고자 포스팅 리스트에서 특정 문서의 포스팅을 빨리 찾을 수 있고 포스팅 리스트가 문서 식별자 순의 정렬을 효율적으로 유지할 수 있는 역 인덱스 저장 구조에 관한 것이다.

일반적으로, 컴퓨터 시스템의 발전과 더불어 정보의 저장형식이 서적이나 마이크로 필림등의 형태에서 CD 롬이나 LD 등의 디지털적인 저장매체의 형태로 전환되고 있는데, 상술한 바와 같은 디지털 저장매체들의 장점은 대용량의 활자 데이터나 영상 및 음향에 대한 데이터가 저장되면서도 매우 콤펙트(compact)한 저장매체의 부피를 유지할 수 있다는 점이다.

또한, 통신분야의 발전에 힘입어 어떤 특정인이 소장하고 있는 정보의 범위는 줄어들고 불특정 다수의 사람들과 공유하는 경우가 늘어나고 있다. 즉, 매우 특정한 정보(개인적 사생활, 연구, 국가기밀, 사기밀 등등)를 제외하고는 통신망에 연결된 가입자 간에 서버측에서 저장되어 있는 정보들을 공유하게 되는 것이다.

한편, 전자신문, 전자도서관, 전자상거래 등 전자문서를 통한 정보의 교환이 활발해지면서 방대한 양의 전자문서가 새로이 생성, 수정되거나 소멸되고 있다. 따라서 방대한 전자문서에 대한 신속한 검색을 제공할 수 있는 정보검색 시스템의 중요성이 높아지고 있는데, 이러한 정보검색 시스템은 문서로부터 키워드들을 추출하고 추출된 키워드를 바탕으로 구축한 인덱스를 사용하여 사용자의 질의에 적합한 문서를 검색해 주기 위한 것으로 효율적인 인덱스 구조가 중요시 되어졌다.

이에 따라, 근래 정보검색 시스템에서 가장 널리 사용되고 있는 인덱스 구조는 키워드가 주어졌을 때 그것이 나타나는 문서들을 찾아주는 역 인덱스(inverted index) 방식으로, 이를 위하여 역 인덱스는 각 키워드 별로 포스팅 리스트(posting list)를 유지하고 있다.

이때, 상술한 포스팅 리스트란 포스팅의 리스트를 칭하는 것으로, 포스팅은 그 키워드가 발생한 어떤 한 문서의 식별자와 그 문서 내에서의 발생위치 정보로 구성되기 때문에 포스팅 리스트는 그 키워드가 발생한 문서의 빈도에 따라 매우 긴 것에서부터 매우 짧은 것에 이르기까지 다양하다. 또한, 그리고 같은 키워드라도 문서마다 발생위치 정보가 다르기 때문에 각 포스팅의 길이도 일정하지 않다.

따라서, 역 인덱스는 문서의 추가, 삭제, 수정에 따라 효율적으로 갱신될 수 있는 저장 구조를 가져야 한다. 문서가 추가되면 새로운 포스팅을 추가하여야 하므로 포스팅 리스트의 길이가 늘어나고, 문서가 삭제되면 삭제된 문서의 포스팅을 삭제하여야 하므로 포스팅 리스트의 길이가 줄어든다. 그리고, 문서가 수정되면 기존 문서의 포스팅을 삭제하고 수정된 문서의 포스팅을 삽입하여야 하므로 포스팅 리스트의 길이가 변한다. 따라서, 길이가 가변적인 포스팅 리스트의 저장을 효율적으로 지원할 수 있는 역 인덱스 저장 구조가 필요하게 된다.

상술한 필요성에 따라 역 인덱스를 저장하기 위한 가장 간단한 방법은 키워드와 포스팅을 레코드 구조로 하는 데이터 베이스 테이블을 사용하는 방법이다. 그러나, 이 방법은 동일한 키워드가 발생 빈도 만큼 중복 저장되므로 많은 저장 공간을 필요로 할 뿐만 아니라 질의 성능이 떨어지는 것으로 알려져 있다.

그러므로, 데이터 베이스 테이블을 이용하지 않고 역 인덱스를 인덱스 구조에 저장하는 방법 즉, 키워드에 대한 인덱스를 구축하고 단말 노드의 포인터 필드에서 포스팅 리스트를 가리키는 방법들이 많이 연구되고 있는데, 그 대표적인 역 인덱스 저장 구조가 첨부한 제1도에 도시되어 있다.

첨부한 제1도에서 참조번호 10은 키워드에 대한 인덱스를 나타내고, 참조번호 11은 포스팅 리스트가 저장된 저장 공간을 나타낸다.

따라서, 첨부한 제1도에 도시되어 있는 역 인덱스 저장구조는 앞서 언급한 데이터 베이스 테이블 사용 방식이 아니므로, 저장 공간 효율과 질의 성능 면에서 더 우수함을 실험을 통하여 알수 있는데, 문서의 동적 추가로 인하여 포스팅 리스트의 크기가 지속적으로 증가할 경우에 번호 11의 저장 공간을 할당하는 방법에 관한 많은 연구가 진행되고 있다.

그러나, 현재까지 제안되어진 방식들은 문서의 동적 추가에 따른 포스팅 리스트 크기의 증가만 고려하고, 동적 수정이나 삭제에 따른 축소는 고려하지 않았으며 더욱이, 포스팅 리스트에서 특정 문서의 포스팅을 빨리 찾는 문제와 문서의 추가, 삭제, 수정에 따라 포스팅 리스트가 동적으로 갱신되는 환경에서 포스팅 리스트가 문서 식별자 순 정렬을 유지하는 방법에 대해서도 고려하지 않았다.

그 결과, 특정 문서에 대한 키워드 검색 성능과 문서의 동적 수정, 삭제 성능이 크게 떨어진다.

상술한 문제점을 해소하기 위한 본 발명의 목적은 정보 검색과 데이터 베이스 시스템이 밀결합된 환경에서 문서의 추가, 삭제, 수정 및 검색 성능을 높이고자 포스팅 리스트에서 특정 문서의 포스팅을 빨리 찾을 수 있고 포스팅 리스트가 문서 식별자 순의 정렬을 효율적으로 유지할 수 있는 서브 인덱스와 대용량 객체를 이용한 역 인덱스 저장 구조를 제공하는 데 있다.

제1도는 종래 역 인덱스 방식의 저장 구조.

제2도는 본 발명에 따른 역 인덱스 저장구조가 구현되는 시스템의 대략적인 간략 구성 예시도.

제3도는 본 발명에 따른 역 인덱스 방식의 저장 구조.

제4도는 제3도에 도시되어 있는 서브 인덱스에서 오프셋 방식을 이용한 예를 도시한 예시도.

제5도는 본 발명에 따른 역 인덱스 방식의 저장 구조를 이용한 포스팅 추가의 과정예시도.

제6도는 본 발명에 따른 역 인덱스 방식의 저장 구조를 이용한 포스팅 삭제의 과정예시도.

제7도는 본 발명에 따른 역 인덱스 방식의 저장 구조를 이용한 포스팅 검색의 과정예시도.

제8(a)도 내지 제8(b)도는 본 발명에 따른 역 인덱스 방식의 저장 구조와 데이터베이스 시스템간의 데이터 매칭 관계를 나타내는 예시도.

* 도면의 주요부분에 대한 부호의 설명

15 : CPU 10 : 메모리

25 : 응용 프로그램 30 : 데이터 베이스 관리 시스템 영역

35 : 데이터 베이스 질의 처리 영역 40 : 정보검색 시스템 영역

45 : 데이터 베이스 객체 버퍼 50 : 포스팅 리스트 버퍼

55 : 문서 데이터 베이스

상기 목적을 달성하기 위한 본 발명의 특징은, 다수개의 포스팅 리스트가 저장되는 공간을 확보하고 키워드 입력에 따라 대응하는 포스팅 리스트의 저장공간으로 인덱스시키는 역 인덱스 구조에 있어서, 포스팅 리스트를 대용량 객체에 저장하되, 각각의 포스팅 리스트에 문서 식별자를 인덱스시키는 각각의 서브 인덱스를 일대일 매칭 연결시키는 데 있다.

상기 목적을 달성하기 위한 본 발명의 부가적인 특징으로 상기 서브 인덱스는 포스팅 리스트와 연결되어 문서 식별자를 인덱스시키는데 있어 오프셋 배열을 이용하여 간접적으로 가르키는 데 있다.

상기 목적을 달성하기 위한 본 발명의 부가적인 특징으로 상기 서브 인덱스는 상기 대용량 객체에 저장된 각각의 포스팅 리스트에 연결시 일정 길이이상의 포스팅 리스트에 선택적으로 연결가능한 데 있다.

상기 목적을 달성하기 위한 본 발명의 부가적인 특징으로 상기 포스팅 리스트는 객체 식별자와 문서식별자 및 발생위치정보를 저장하는 물리계층으로 이루어지는 데 있다.

상기 목적을 달성하기 위한 본 발명의 다른 특징은, 객체 식별자와 문서식별자 및 발생위치정보를 저장하는 물리계층으로 이루어지는 다수개의 포스팅 리스트가 대용량 객체에 저장되고, 오프셋 배열을 이용하여 간접적으로 문서 식별자를 인덱스시키는 다수개의 서브 인덱스를 각각의 포스팅 리스트에 일대일 매칭 연결시켜 놓은 서브 인덱스와 대용량 객체를 이용한 역 인덱스 저장 구조상에서의 새로운 포스팅 삽입 방법에 있어서: 새로운 포스팅의 오프셋 배열을 위한 공간이 부족하지 않은가를 검색하는 제1단계와; 상기 제1단계에서 오프셋 배열을 위한 공간이 부족하다고 판단되면 현재 오프셋 배열의 크기를 두배로 확장하는 제2단계와, 상기 제1단계에서 오프셋 배열을 위한 공간이 부족하지 않다고 판단되거나 상기 제2단계를 수행한 이후의 경우 비어 있는 오프셋 배열에 새로운 포스팅의 문서 식별자의 원소를 하나 할당 받으며 새로운 포스팅의 문서 식별자가 현재까지의 문서 식별자들 보다 큰 가를 판단하는 제3단계와, 상기 제3단계를 통해 새로운 포스팅의 문서 식별자가 현재까지의 문서 식별자들 보다 크다고 판단되는 경우 새로운 포스팅을 기존의 포스팅 리스트의 끝에 추가하는 제4단계와, 상기 제3단계를 통해 새로운 포스팅의 문서 식별자가 현재까지의 문서 식별자들 보다 크지 않다고 판단되는 경우 서브인덱스의 탐색을 통해 결정된 바이트 오프셋에 새로운 포스팅을 삽입하는 제5단계, 및 상기 제4단계 또는 제5단계를 수행한 후 새로운 포스팅과 바이트 오프셋이 바뀌어진 모든 포스팅들의 바이트 오프셋을 기록하고 있는 오프셋 배열 원소들의 값을 수정한 후 추가된 문서의 식별자와 할당 받은 오프셋 배열 원소번호를 서브 인덱스에 삽입하는 제7단계를 포함하는 데 있다.

상기 목적을 달성하기 위한 본 발명의 또 다른 특징은, 객체 식별자와 문서 식별자 및 발생위치정보를 저장하는 물리계층으로 이루어지는 다수개의 포스팅 리스트가 대용량 객체에 저장되고, 오프셋 배열을 이용하여 간접적으로 문서 식별자를 인덱스시키는 다수개의 서브 인덱스를 각각의 포스팅 리스트에 일대일 매칭 연결시켜 놓은 서브 인덱스와 대용량 객체를 이용한 역 인덱스 저장 구조상에서의 포스팅 삭제 방법에 있어서: 서브 인덱스를 탐색하여 삭제된 문서의 식별자가 포함된 포스팅의 저장 위치를 알아내어 해당 포스팅을 삭제하는 제1단계와, 상기 제1단계에서 삭제된 포스팅과 저장 위치가 바뀌어 진 모든 포스팅들의 바이트 오프셋을 기록하고 있는 오프셋 배열 원소들의 값을 수정하는 제2단계, 및 상기 제2단계에서 삭제된 포스팅의 오프셋 배열 원소를 가리키던 서브 인덱스 엔트리를 삭제하는 제3단계를 포함하는 데 있다.

상기 목적을 달성하기 위한 본 발명의 또 다른 특징은, 객체 식별자와 문서 식별자 및 발생위치정보를 저장하는 물리계층으로 이루어지는 다수개의 포스팅 리스트가 대용량 객체에 저장되고, 오프셋 배열을 이용하여 간접적으로 문서 식별자를 인덱스시키는 다수개의 서브 인덱스를 각각의 포스팅 리스트에 일대일 매칭 연결시켜 놓은 서브 인덱스와 대용량 객체를 이용한 역 인덱스 저장 구조상에서의 포스팅 검색 방법에 있어서: 입력되는 키워드를 기준으로 키워드 인덱스를 탐색하여서 해당 키워드에 대응하는 포스팅 리스트가 저장되어 있는 대용량 객체를 검색하는 제1단계와, 특정 문서 식별자가 존재하는 가를 판단하는 제2단계와, 상기 제2단계에서 특정 문서 식별자가 존재하는 경우 주어진 특정 문서 내에 주어진 키워드가 포함되는 지를 검색하기 위해 서브 인덱스를 탐색하여 주어진 특정 문서의 포스팅을 찾게되고 검색된 특정 문서의 포스팅을 읽어 반환하는 제3단계, 및 상기 제2단계에서 특정 문서 식별자가 존재하지 않는 경우 대용량 객체 내에 저장된 포스팅 리스트를 순차적으로 읽어 반환하는 제4단계를 포함하는 데 있다.

상기 목적을 달성하기 위한 본 발명의 또 다른 특징은, 객체 식별자와 문서 식별자 및 발생위치정보를 저장하는 물리계층으로 이루어지는 다수개의 포스팅 리스트가 대용량 객체에 저장되고, 오프셋 배열을 이용하여 간접적으로 문서 식별자를 인덱스시키는 다수개의 서브 인덱스를 각각의 포스팅 리스트에 일대일 매칭 연결시켜 놓은 서브 인덱스와 대용량 객체를 이용한 역 인덱스 저장 구조와 매칭되는 데이터 베이스 시스템의 구조에 있어서: 데이터 베이스 시스템에는 문서식별자와 문서번호와 작성자와 작성날짜 및 본문으로 구성된 다수개의 데이터 베이스 객체가 존재하고, 상기 데이터 베이스 객체는 어드레스의 개념으로 객체 식별자와 문자식별자를 사용하여 포스팅 리스트내의 포스팅과 일대일 매칭관계를 이루는 물리적 형태를 갖는 데 있다.

이하, 첨부한 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 살펴보기로 한다.

우선, 본 발명에서 달성하고자 하는 기술적 요지를 간략히 설명하면, 전자문서의 동적 추가, 삭제, 수정이 빈번한 환경에서는 문서에 대한 일관성 있는 관리가 중요하며 이를 위해서는 동시성 제어와 파손 회복 기능 등 데이터 베이스 관리 시스템 기능이 필요하다.

또한, 문서에 대한 검색은 문서가 가진 정형 데이터에 대한 검색과 비정형 데이터에 대한 검색으로 이루어지는데, 상술한 정형 데이터에 대한 검색은 데이터 베이스 관리 시스템이 잘 지원하고 있으며, 상기 비정형 데이터에 대한 검색은 정보검색 시스템이 잘 지원하고 있다. 따라서, 문서에 대한 일관성 있는 관리와 통합 검색을 위해서는 정보검색을 데이터 베이스 관리 시스템과 밀결합하는 것이 필요하다.

그러므로, 밀결합된 시스템에서는 데이터 베이스에 문서가 동적으로 추가, 삭제, 수정될 때 역 인덱스 구조가 효율적으로 갱신될 수 있어야 하고 역 인덱스를 통한 정보검색과 정형 데이터에 대한 데이터 베이스 검색이 통합 처리될 수 있어야 한다.

상술한 바와 같은 역 인덱스 구조의 필요성에 의해 제안되어진 본 발명에 따른 역 인덱스 저장구조는 첨부한 제2도에 도시되어 있는 하드웨어적인 환경속에 적용되는데, 첨부한 제3도에는 본 발명에 따라 새롭게 제안되는 역 인덱스 저장구조가 도시되어 있다.

첨부한 제3도에 도시되어 있는 본 발명에 따른 역 인덱스 저장구조는 종래의 역 인덱스 구조에서 포스팅 리스트를 대용량 객체에 저장하고, 각각에 대하여 문서 식별자를 이용한 서브 인덱스를 구비시키고 있다는 것이다.

즉, 첨부한 제3도에서 참조번호 20은 키워드를 키 값으로 하는 B⁺트리 인덱스로서, 키워드가 주어지면 그 키워드의 포스팅 리스트가 저장되어 있는 대용량 객체(참조번호 21)를 찾아준다. 대용량 객체란 전문 텍스트(full text), 이미지(image), 오디오(audio), 비디오(video) 데이터와 같이 저장되는 객체의 크기가 디스크 페이지 크기를 초과하는 객체이며, 한 키워드에 대한 포스팅 리스트를 하나의 대용량 객체로 간주한다.

상술한 바와 같이 대용량 객체를 이용하여 포스팅 리스트를 저장하면 다양하고 가변적인 길이 특성을 가진 포스팅 리스트의 관리가 대용량 객체 관리 기법에 의하여 자동적으로 이루어진다. Biliris는 다양한 대용량 객체 관리기법들 중에서 EXODUS 저장 시스템의 기법이 대용량 객체의 크기 변화를 가장 유연하게 지원할 수 있음을 분석을 통해 밝히고 있다. 따라서, 본 발명에서는 EXODUS의 대용량 객체 관리기법을 도입하였다(첨고문서:Biliris, A., “The Performance of Three Databace Storage Structures for Managing Large Objects,” In Proc. Intl. Conf. on Management of Data, ACM SIGMOD, pp 276-285, NewYork, 1992).

또한, 첨부한 제3도의 참조번호 22는 본 발명에서 고안한 서브 인덱스로서 각 대용량 객체마다 구축되어 있다. 상기 서브 인덱스(22)는 대용량 객체 내에 저장되어 있는 포스팅 리스트에 대하여 문서 식별자를 키로 하여 구축되는 인덱스로서 포스팅 리스트가 문서 식별자 순의 정렬을 자동적으로 유지하도록 하고 포스팅 리스트에서 특정 문서의 포스팅을 빨리 찾을 수 있도록 하기 위한 인덱스이다.

즉, 문서가 수정되었을 때 서브 인덱스를 통하여 수정된 문서의 포스팅을 문서 식별자 순으로 포스팅 리스트에 빠르게 삽입할 수 있고, 문서가 삭제되었을 때 서브 인덱스를 통하여 삭제된 문서의 포스팅을 포스트 리스트에서 빠르게 삭제할 수 있으며, 특정 문서에 대한 키워드 검색을 할 때 서브 인덱스를 통하여 특정 문서의 식별자가 포함된 포스팅을 포스팅 리스트에서 빠르게 검색할 수 있다.

따라서 서브 인덱스를 이용하면 문서의 수정, 삭제나 특정 문서에 대한 키워드 검색 성능이 높아진다. 이러한 서브 인덱스는 항상 구축하는 것이 아니고 오버 헤드를 줄이기 위하여 일정 길이 이상의 포스팅 리스트에 대해서만 구축되게 할수 있으며 B⁺트리로 구현할 수도 있다.

상술한 바와 같이 본 발명에 의해 제안된 역 인덱스 구조에 있어 서브 인덱스의 자세한 저장 구조를 첨부한 제4도를 참조하여 살펴보면, 서브 인덱스의 키는 문서 식별자가 되고 서브 인덱스가 가리키는 것은 대용량 객체 내에서 각 포스팅이 저장되어 있는 위치이다.

그러나, 서브 인덱스가 각 포스팅의 저장 위치를 직접 가리키게 되면 대용량 객체 중간에 새로온 포스팅을 삽입하거나 기존 포스팅을 삭제할 때, 이후에 저장된 모든 포스팅들의 저장 위치가 바뀌게 되므로 이들을 가리키는 서브 인덱스 엔트리들을 모두 갱신하여야 한다.

따라서, 본 발명에서는 이를 해결하기 위하여 포스팅 리스트의 앞 부분에 오프셋 배열(offset array)을 유지한다. 상기 오프셋 배열의 각 원소는 해당 포스팅의 저장 위치를 가리키고 있다. 저장 위치는 오프셋 배열 끝에서부터의 바이트 오프셋 값이다. 그러므로, 오프셋 배열의 크기가 변하더라도 포스팅의 저장 위치 즉, 바이트 오프셋 값은 변하지 않는다. 또한, 서브 인덱스는 각 포스팅의 저장 위치를 가리키고 있는 오프셋 배열의 원소를 가리킴으로써 포스팅의 저장 위치가 바뀌더라도 서브 인덱스는 영향을 받지 않게 된다.

상기 제3도와 제4도에 도시되어 있는 바와 같은 구조의 역 인덱스 구조를 이용하여 문서가 추가되거나 수정되었을 때 새로운 포스팅 한 개를 삽입하는 알고리즘은 첨부한 제5도에 도시되어 있다.

제5도의 내용을 살펴보면, 스텝 S101에서 새로운 포스팅의 저장을 위한 오프셋 배열을 위한 공간이 부족하지 않은가를 판단하게 되는데, 상기 스텝 S101에서 오프셋 배열을 위한 공간이 부족하다고 판단되면 스텝 S102로 진행한다. 상기 스텝 S102에서는 오프셋 배열을 위한 공간 확보를 위하여 현재 오프셋 배열의 크기를 두배로 확장하게 된다.

이후, 상기 스텝 S101에서 오프셋 배열을 위한 공간이 부족하지 않다고 판단되거나 상기 스텝 S102에서 현재 오프셋 배열의 크기를 두배로 확장한 경우 스텝 S103으로 진행하는데, 스텝 S103에서는 비어 있는 오프셋 배열에 새로운 포스팅의 문서 식별자의 원소를 하나 할당 받는다.

상기 스텝 S103에서 새로운 원소를 비어 있는 오프셋 배열에 할당하는 과정중에 스텝 S104에서는 새로운 포스팅의 문서 식별자가 현재까지의 문서 식별자들보다 큰 지를 비교하는데, 비교치가 기존의 문서 식별자들 보다 크다면 스텝 S106으로 진행하여 새로운 포스팅을 포스팅 리스트의 끝에 추가하게 된다.

만약, 상기 스텝 S104에서 비교치가 기존의 문서 식별자들 보다 크기 않다고 판단되면 스텝 S105로 진행하고, 상기 스텝 S106에서는 서브 인덱스의 탐색을 통해 결정된 바이트 오프셋에 새로운 포스팅을 삽입한다. 이때, 삽입된 포스팅 뒤에 저장된 모든 포스팅들의 바이트 오프셋은 삽입된 포스팅의 크기 만큼 커지게 된다. 단 여기서 대용량 객체의 관리 방법에 의해 포스팅의 물리적 위치 자체는 변하지 않는다.

상술한 스텝 S105나 스텝 S106의 과정을 통하여 새로운 포스팅이 삽입 또는 추가되어진 후 스텝 S107에서는 삽입(또는 추가)한 포스팅과 바이트 오프셋이 바뀌어진 모든 포스팅들의 바이트 오프셋을 기록하고 있는 오프셋 배열 원소들의 값을 수정한다.

이후, 마지막으로 스텝 S108에서는 추가된 문서의 식별자와 할당 받은 오프셋 배열 원소번호를 서브 인덱스에 삽입한다.

상술한 과정을 통하여 새로운 포스팅 한 개를 삽입하는 과정을 살펴보았는데, 특정 문서가 삭제되는 경우 즉, 문서가 삭제되었을 때 삭제된 문서의 식별자를 포함하고 있는 포스팅 한 개를 포스팅 리스트에서 삭제하는 과정은 첨부한 제6도에 도시되어 있는 바와 같다.

스텝 S201에서 서브 인덱스를 탐색하여 삭제된 문서의 식별자가 포함된 포스팅의 저장 위치를 알아내고, 스텝 S202에서 해당 포스팅을 삭제한다.

이때, 삭제된 포스팅 뒤에 저장된 모든 포스팅들의 바이트 오프셋은 삭제된 포스팅의 크기 만큼 작아지게 된다. 단 여기서도 삽입 때와 마찬가지로 포스팅의 물리적 위치 자체는 변하지 않는다.

따라서, 스텝 S203에서는 삭제된 포스팅과 저장 위치가 바뀌어 진 모든 포스팅들의 바이트 오프셋을 기록하고 있는 오프셋 배열 원소들의 값을 수정하고, 스텝 S204에서는 삭제된 포스팅의 오프셋 배열 원소를 가리키던 서브 인덱스 엔트리를 삭제한다. 이때, 삭제된 포스팅을 가르키던 오프셋 배열 원소는 새로운 포스팅의 삽입시 재 사용될 수 있다.

상술한 제5도와 제6도에 도시되어 있는 바와 같은 과정을 통하여 문서의 추가 또는 삭제가 가능한 본 발명에 따른 역 인덱스 저장 구조를 이용하여 문서를 검색하는 과정은 첨부한 제7도에 도시되어 있는 것이다.

먼저, 스텝 S301에서 주어진 키워드를 키 값으로 하여 키워드 인덱스를 탐색하여서 주어진 키워드의 포스팅 리스트가 저장되어 있는 대용량 객체를 찾는다.

이후, 스텝 S302에서는 특정 문서 식별자가 주어진 경우와 주어지지 않은 경우로 나누어 문서 식별자가 존재하는 경우 스텝 S303으로 진행하게 되는데, 스텝 S303에서는 특정 문서 식별자가 주어진 경우의 스텝들로서 주어진 특정 문서 내에 주어진 키워드가 포함되는 지를 검색하여야 하므로 서브 인덱스를 탐색하여 주어진 특정 문서의 포스팅을 찾게되고, 스텝 S304에서는 검색된 특정 문서의 포스팅을 읽어 반환한다.

반면에, 특정 문서 식별자가 주어지지 않은 경우에는 스텝 S305로 진행하는 데, 스텝 S305에서는 주어진 키워드가 발생한 모든 문서의 포스팅을 반환하여야 하므로 대용량 객체 내에 저장된 포스팅 리스트를 순차적으로 읽어 반환한다.

이상과 같은 과정을 통해 새로운 문서의 추가나 특정 문서의 삭제 및 검색과정을 살펴보았다.

이제, 문서 식별자와 객체 식별자를 이용하여 정보검색과 데이터 베이스 검색을 통합 처리하는 방법을 첨부한 제8(a)도와 제8(b)도의 내용을 참조하여 살펴보기로 한다.

제7(a)도에 도시되어 있는 내용은 본 발명에 따른 역 인덱스 구조중 포스팅 리스트와 데이터 베이스 시스템상의 데이터 베이스 객체 사이에 매칭관계를 나타내는 것으로, 객체 식별자와 문서식별자 및 발생위치정보로 이루어지는 것이 포스팅 리스트이며, 문서식별자와 문서번호와 작성자와 작성날짜 및 본문으로 구성된 것이 데이터 베이스 객체이다.

이때, 상기 데이터 베이스 객체는 어드레스의 개념으로 객체 식별자와 문서 식별자를 사용하게 되는데, 포스팅 리스트의 포스팅과 일대일 매칭관계를 이루는 물리적 형태를 갖는다.

상기 제8(a)도에 도시되어 있는 바와 같은 매칭관계를 갖는 포스팅 리스트와 데이터 베이스 객체간의 상호 연결 및 사용관계는 첨부한 제8(b)도에 예시되어 있다.

제8(b)도는 두 개의 포스팅과 두 개의 데이터 베이스 객체가 존재한다는 가정아래 도시되어 있는 것으로, 포스팅1(400a)과 포스팅2(400b)는 문서 식별자와 객체 식별자를 함께 저장하고 있고 문서 식별자에 따라 물리적으로 정렬되어 있으며 각각의 객체 식별자는 객체 1(500b)과 객체2(500a)를 가리킨다.

또한, 객체 1(500b)과 객체2(500a)는 문서 식별자를 저장하고 있으며 그 각각의 값은 포스팅1(400a)과 포스팅2(400b)의 문서 식별자 값과 같다. 정보검색 질의를 처리하여 포스팅을 얻게 되면 포스팅에 저장된 객체 식별자를 통해 대응하는 데이터 베이스 객체를 읽어서 데이터 베이스 질의를 처리할 수 있고, 반대로 데이터 베이스 질의를 처리하여 데이터 베이스 객체를 얻게 되면 해당하는 문서 식별자를 키 값으로 하여 서브 인덱스를 탐색함으로써 정보검색 질의를 처리할 수 있으므로 정보검색과 데이터 베이스 검색을 통합 처리할 수 있다.

상술한 바와 같이 동작하는 본 발명에 따른 서브 인덱스와 대용량 객체를 이용한 역 인덱스 저장 구조를 제공하면 다음과 같은 장점을 얻을수 있다.

첫째, 역 인덱스의 동적 갱신을 효율적으로 지원할 수 있다. 한 키워드의 포스팅 리스트를 하나의 대용량 객체로 간주하고 대용량 객체 관리기법을 사용하여 관리함으로써 문서가 동적으로 추가, 삭제, 수정되어 포스팅 리스트의 길이가 다양하게 변하더라도 최소한의 비용으로 저장 공간을 관리할 수 있다. 즉, 대용량 객체 중간에 포스팅을 삽입, 삭제하더라도 삽입/삭제된 포스팅 전후의 다른 포스팅들은 물리적으로 움직일 필요가 없다.

둘째, 문서의 삭제 성능을 높여준다. 서브 인덱스를 이용하면 삭제된 문서의 식별자가 포함된 포스팅을 포스팅 리스트에서 빨리 찾아 삭제할 수 있으므로 문서 삭제 기능을 높일 수 있다. 특히, 길이가 긴 포스팅 리스트를 가진 키워드는 대부분의 문서에 포함되어 있으므로 긴 포스팅 리스트에서의 포스팅 삭제는 문서 삭제 성능에 중요한 요소가 된다.

셋째, 문서의 수정 성능을 높여준다. 문서의 수정은 기존 문서를 삭제하고 수정된 문서를 추가하는 것이므로 문서의 삭제 성능이 향상되면 수정 성능도 향상된다. 또한, 포스팅 리스트에 수정된 문서의 포스팅을 삽입할 때 문서 식별자 순의 정렬을 유지하기 위하여 기존 문서 식별자 위치에 삽입하여야 한다. 이 경우 서브 인덱스를 통하여 삽입하면 자동적으로 문서 식별자 순의 정렬이 유지되므로 문서 수정 성능을 높일 수 있다.

넷째, 특정 문서에 대한 키워드 검색 성능을 높여준다. 서브 인덱스를 이용하면 특정 키워드에 해당하는 포스팅 리스트에서 특정 문서의 포스팅을 빨리 찾을 수 있으므로 특정 문서 내에 특정 키워드가 포함되었는지의 검색 성능을 높일 수 있다.

다섯째, 데이터 베이스 검색과 정보검색의 통합 처리를 가능하게 한다. 정보 검색이 밀결합된 데이터 베이스 관리 시스템에서는 문서의 정형 데이터에 대한 데이터 베이스 검색과 문서의 내용에 대한 정보검색이 통합 처리될 수 있어야 하는데 새로운 역 인덱스 저장 구조에서는 포스팅의 문서 식별자 자리에 문서의 정형 데이터를 저장하고 있는 데이터 베이스 객체의 식별자를 유지함으로써 정보검색과 데이터 베이스 검색을 통합 처리할 수 있다.

Claims

다수개의 포스팅 리스트가 저장되는 공간을 확보하고 키워드 입력에 따라 대응하는 포스팅 리스트의 저장공간으로 인덱스시키는 역 인덱스 구조에 있어서, 객체 식별자와 문서식별자 및 발생위치정보를 저장하는 물리계층으로 이루어지는 다수개의 포스팅 리스트를 대용량 객체에 저장하되, 오프셋 배열을 이용하여 간접적으로 문서 식별자를 인덱스시키는 다수개의 서브 인덱스를 각각의 포스팅 리스트에 일대일 매칭 연결시키는 것을 특징으로 하는 서브 인덱스와 대용량 객체를 이용한 역 인덱스 저장 구조.
제1항에 있어서, 상기 서브 인덱스는 상기 대용량 객체에 저장된 각각의 포스팅 리스트에 연결시 일정 길이 이상의 포스팅 리스트에 선택적으로 연결가능한 것을 특징으로 하는 서브 인덱스와 대용량 객체를 이용한 역 인덱스 저장 구조.
객체 식별자와 문서식별자 및 발생위치정보를 저장하는 물리계층으로 이루어지는 다수개의 포스팅 리스트가 대용량 객체에 저장되고, 오프셋 배열을 이용하여 간접적으로 문서 식별자를 인덱스시키는 다수개의 서브 인덱스를 각각의 포스팅 리스트에 일대일 매칭 연결시켜 놓은 서브 인덱스와 대용량 객체를 이용한 역 인덱스 저장 구조상에서의 새로운 포스팅 삽입 방법에 있어서, 새로운 포스팅의 오프셋 배열을 위한 공간이 부족하지 않은가를 검색하는 제1단계와; 상기 제1단계에서 오프셋 배열을 위한 공간이 부족하다고 판단되면 현재 오프셋 배열의 크기를 두배로 확장하는 제2단계와; 상기 제1단계에서 오프셋 배열을 위한 공간이 부족하지 않다고 판단되거나 상기 제2단계를 수행한 이후의 경우 비어 있는 오프셋 배열에 새로운 포스팅의 문서 식별자의 원소를 하나 할당 받으며 새로운 포스팅의 문서 식별자가 현재까지의 문서 식별자들 보다 큰 가를 판단하는 제3단계와; 상기 제3단계를 통해 새로운 포스팅의 문서 식별자가 현재까지의 문서 식별자들 보다 크다고 판단되는 경우 새로운 포스팅을 기존의 포스팅 리스트의 끝에 추가하는 제4단계와; 상기 제3단계를 통해 새로운 포스팅의 문서 식별자가 현재까지의 문서 식별자들 보다 크지 않다고 판단되는 경우 서브인덱스의 탐색을 통해 결정된 바이트 오프셋에 새로운 포스팅을 삽입하는 제5단계; 및 상기 제4단계 또는 제5단계를 수행한 후 새로운 포스팅과 바이트 오프셋이 바뀌어진 모든 포스팅들의 바이트 오프셋을 기록하고 있는 오프셋 배열 원소들의 값을 수정한 후 추가된 문서의 식별자와 할당 받은 오프셋 배열 원소번호를 서브 인덱스에 삽입하는 제7단계를 포함하는 것을 특징으로 하는 서브 인덱스와 대용량 객체를 이용한 역 인덱스 저장 구조에서의 새로운 포스팅 삽입 방법.
객체 식별자와 문서식별자 및 발생위치정보를 저장하는 물리계층으로 이루어지는 다수개의 포스팅 리스트가 대용량 객체에 저장되고, 오프셋 배열을 이용하여 간접적으로 문서 식별자를 인덱스시키는 다수개의 서브 인덱스를 각각의 포스팅 리스트에 일대일 매칭 연결시켜 놓은 서브 인덱스와 대용량 객체를 이용한 역 인덱스 저장 구조상에서의 포스팅 삭제 방법에 있어서, 서브 인덱스를 탐색하여 삭제된 문서의 식별자가 포함된 포스팅의 저장 위치를 알아내어 해당 포스팅을 삭제하는 제1단계와; 상기 제1단계에서 삭제된 포스팅과 저장 위치가 바뀌어 진 모든 포스팅들의 바이트 오프셋을 기록하고 있는 오프셋 배열 원소들의 값을 수정하는 제2단계; 및 상기 제2단계에서 삭제된 포스팅의 오프셋 배열 원소를 가리키던 서브 인덱스 엔트리를 삭제하는 제3단계를 포함하는 것을 특징으로 하는 서브 인덱스와 대용량 객체를 이용한 역 인덱스 저장 구조에서의 포스팅 소거 방법.
객체 식별자와 문서식별자 및 발생위치정보를 저장하는 물리계층으로 이루어지는 다수개의 포스팅 리스트가 대용량 객체에 저장되고, 오프셋 배열을 이용하여 간접적으로 문서 식별자를 인덱스시키는 다수개의 서브 인덱스를 각각의 포스팅 리스트에 일대일 매칭 연결시켜 놓은 서브 인덱스와 대용량 객체를 이용한 역 인덱스 저장 구조상에서의 새로운 포스팅 삽입 방법에 있어서, 입력되는 키워드를 기준으로 키워드 인덱스를 탐색하여서 해당 키워드에 대응하는 포스팅 리스트가 저장되어 있는 대용량 객체를 검색하는 제1단계와; 특정 문서 식별자가 존재하는 가를 판단는 제2단계와; 상기 제2단계에서 특정 문서 식별자가 존재하는 경우 주어진 특정 문서 내에 주어지 키워드가 포함되는 지를 검색하기 위해 서브 인덱스를 탐색하여 주어진 특정 문서의 포스팅을 찾게되고 검색된 특정 문서의 포스팅을 읽어 반환하는 제3단계; 및 상기 제2단계에서 특정 문서 식별자가 존재하지 않는 경우 대용량 객체 내에 저장된 포스팅 리스트를 순차적으로 읽어 반환하는 제4단계를 포함하는 것을 특징으로 하는 서브 인덱스와 대용량 객체를 이용한 역 인덱스 저장 구조에서의 포스팅 검색 방법.
객체 식별자와 문서 식별자 및 발생위치정보를 저장하는 물리계층으로 이루어지는 다수개의 포스팅 리스트가 대용량 객체에 저장되고, 오프셋 배열을 이용하여 간접적으로 문서 식별자를 인덱스시키는 다수개의 서브 인덱스를 각각의 포스팅 리스트에 일대일 매칭 연결시켜 놓은 서브 인덱스와 대용량 객체를 이용한 역 인덱스 저장 구조와 매칭되는 데이터 베이스 시스템의 구조에 있어서, 데이터 베이스 시스템에는 문서식별자와 문서번호와 작성자와 작성날짜 및 본문으로 구성된 다수개의 데이터 베이스 객체가 존재하고, 상기 데이터 베이스 객체는 어드레스의 개념으로 객체 식별자와 문자식별자를 사용하여 특정 객체 식별자와 일대일 매칭관계를 이루는 물리적형태를 갖는 것을 특징으로 하는 서브 인덱스와 대용량 객체를 이용한 역 인덱스 저장 구조와 매칭되는 데이터 베이스 시스템의 구조.
객체 식별자와 문서 식별자 및 발생위치정보를 저장하는 물리계층으로 이루어지는 다수개의 포스팅 리스트가 대용량 객체에 저장되고, 오프셋 배열을 이용하여 간접적으로 문서 식별자를 인덱스시키는 다수개의 서브 인덱스를 각각의 포스팅 리스트에 일대일 매칭 연결시켜 놓은 서브 인덱스와; 문서식별자와 문서번호와 작성자와 작성날짜 및 본문으로 구성된 다수개의 데이터 베이스 객체가 존재하고, 상기 데이터 베이스 객체는 어드레스의 개념으로 객체 식별자를 사용하여 특정 객체 식별자와 일대일 매칭관계를 이루는 물리적 형태를 갖는 데이터 베이스 시스템을 구비한 데이터 베이스 관리 시스템에서의 운영방법에 있어서: 새로운 포스팅의 오프셋 배열을 위한 공간이 부족시 현재 오프셋 배열의 크기를 두배로 확장하며, 새로운 포스팅의 문서 식별자가 현재까지의 문서 식별자들보다 큰 경우 새로운 포스팅을 기존의 포스팅 리스트의 끝에 추가하고, 그 외의 경우 서브 인덱스의 탐색을 통해 결정된 바이트 오프셋에 새로운 포스팅을 삽입한 후, 바뀌어진 모든 포스팅들의 바이트 오프셋을 기록하고 있는 오프셋 배열 원소들의 값을 수정한 후 추가된 문서의 식별자와 할당 받은 오프셋 배열 원소번호를 서브 인덱스에 삽입하는 새로운 포스팅 삽입 모드와; 서브 인덱스를 탐색하여 삭제된 문서의 식별자가 포함된 포스팅의 저장 위치를 알아내어 해당 포스팅을 삭제하고, 삭제된 포스팅과 저장 위치가 바뀌어진 모든 포스팅들의 바이트 오프셋을 기록하고 있는 오프셋 배열 원소들의 값과 그에 대응하는 서브 인덱스 엔트리를 삭제하는 포스팅 소거 모드; 및 입력되는 키워드를 기준으로 키워드 인덱스를 탐색하여서 해당 키워드에 대응하는 포스팅 리스트가 저장되어 있는 대용량 객체를 검색하고, 특정 문서 식별자가 존재하는 가를 판단하여 존재하는 경우 주어진 특정 문서 내에 주어진 키워드가 포함되는 지를 검색하기 위해 서브 인덱스를 탐색하여 주어진 특정 문서의 포스팅을 찾은 후 검색된 특정 문서의 포스팅을 읽어 반환하되, 특정 문서 식별자가 존재하지 않는 경우 대용량 객체 내에 저장된 포스팅 리스트를 순차적으로 읽어 반환하는 포스팅 검색 모드을 포함하는 것을 특징으로 하는 서브 인덱스와 대용량 객체를 이용한 역 인덱스 저장 구조에 의한 데이터 베이스 관리 시스템과 정보 검색의 밀결합 방법.