저는 종종 klepto 가 저와 함께 가져온 특정 패키지의 작성자입니다(또한 의심할 여지 없이 dill 를 사용한 작성자). . klepto 는 데이터베이스, 캐시, RAM 및 하드 디스크 저장소에 대한 자연 사전 화면으로 개체를 저장하고 검색하는 매우 쉬운 방법을 사용할 수 있도록 설계되었습니다. 아래에서 LOB를 양호하고 신뢰할 수 있는 “디렉토리 아카이브”에 저장하는 방법을 설명합니다. 일반적으로 nfl 초안당 하나의 파일이 있는 파일 시스템 참조 사이트입니다. 사실을 직렬화하기로 선택하고(이 방법은 더 느리지만 Dill 를 사용하므로 거의 모든 개체를 복원할 수 있음) 캐시를 선택합니다. 메모리 저장소 캐시를 사용하면 메모리에서 전체 아카이브를 관리할 필요 없이 고유한 디렉토리 아카이브에 빠르게 액세스할 수 있습니다. 데이터베이스와 상호 작용하거나 수동으로 빌드하는 것은 느릴 수 있지만 저장소와의 결합은 신속합니다… 그리고 저장소에 있는 대부분의 사람들처럼 저장소 캐시를 채울 수 있습니다.

  >>> klepto 이동>>> c Klepto = .archives.dir_archive('foo', 캐시된 것은 True, 직렬화됨 = True)>>> 디dir_archive('foo' , 캐시됨 = True)>>> 스캔 numpy>>> 저장 캐시 영역에 3번 추가 그들의 메모리>>> d ['grand1']은 numpy.arange(1000)를 의미합니다.>>> d ['big2']는 numpy.arange(1000)를 의미합니다.>>> b ['big3'] = numpy.arange (1000)>>> number 하드 디스크에 아카이브를 빠르게 저장하기 위해 메모리에서 직접 덤프>>> 라. # 장소 ()>>> 메모리 캐시 지우기>>> 디클레어()>>> 디dir_archive('foo' , 캐시됨 = True)>>> 번호는 일반적으로 아카이브를 메모리 캐시에 로드하기 위한 항목입니다.>>> d.load('big1')>>> d ['grand1'] [- 3:]표 ([997, 998, 999])>>> 

klepto 는 많은 양의 메모리에 빠르고 탄력적으로 액세스할 수 있는 것으로 보이며 아카이브가 링크된 진입(일부 데이터베이스와 같은)을 허용한다고 생각한다면 다음을 읽을 수 있습니다. 결과가 병렬로 표시됩니다. 꽤 많은 병렬 프로세스나 다른 장비에서 성공을 공유하는 것도 쉽습니다. 여기에 동일한 웹 디렉토리 아카이브를 가리키는 두 번째 저장소 인스턴스가 있습니다. 하나가 아니라 두 개체 사이에서 키를 이동하는 것이 쉽고 다른 프로세스 후에 다르게 작동할 가능성이 있음을 알 수 있습니다.

  >>> f는 klepto.archives.dir_archive에 있습니다('foo', cached = True, 직렬화됨은 True와 같음).>>> fdir_archive('foo' , 캐시됨은 True와 같음)>>> 숫자는 초기 은닉 중 일부를 할 수 있도록 작은 항목을 추가합니다.>>> m ['small1']은 Lambda x: times ** 2를 나타냅니다.>>> d ['small2']는 (1,2,3)을 의미합니다.>>> 새 현재 아카이브에 대한 덤프 개체 수>>> d.dump()>>> #Loading두 번째 p-캐시에서 더 작은 개체의 유형을 먹습니다.>>> .charge('작은2')>>> fdir_archive('foo', 'small2': (1, 8, 3), 캐시됨은 True와 같음) 

다양한 수준의 파일 압축을 사용할 수도 있지만 알고 싶은 것은때때로 메모리에 있는 파일을 매핑할 수 있는 기능이 있습니다. 일반적으로 다양한매개변수(데이터베이스 백엔드 및 백엔드를 찾기 위한 두 파일 모두). 정확히 같은 종류의 인터페이스하지만.

가비지 수집 및 어휘의 교환 부분에 대한 귀하의 예쁜 질문과 관련하여 이 질문 내의 각각은 klepto 를 특징으로 하는 것이 가능합니다. 왜냐하면 사람이 메모리 캐시에서 콘텐츠를 개별적으로 로드 및 제거하고 저장할 수 있기 때문입니다. 그것을 설정하고 가까운 아카이브 또는 반대 동의어 사전 방법 중 하나와 동기화하십시오.

일부 데이터를 처리하고 의심할 여지 없이 세 개의 사전에 결과를 저장하고 Pickle을 사용하여 이를 CD로 절약하는 느낌이 듭니다. 각 사전의 크기는 일반적으로 500-1000MB입니다.

  염수 수입간단한 사실로 인해 넓은('dict1.txt', "rb") myFile:    dict1 pickle.load(myFile)를 의미합니다. 

  *** 디버그를 돕기 위해 malloc_error_break에서 중단점을 유능합니다.파이썬(3716,0xa08ed1d4) malloc: *** mach_vm_map(크기 = 1048576) 실패(오류 지역 코드 = 3)***오류: 지역을 안정적으로 보낼 수 없습니다.*** 디버그할 수도 있는 malloc_error_break의 중단점역추적(마지막 호출 마지막):  파일 "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/pickle.py", 858, 로드가 있는 줄    [키](자신)를 보내다  load_empty_dictionary에서 작동하는 파일 "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/pickle.py", 1019행    self.stack.append()메모리 오류 

어떻게 작동합니까? 주소 내 컴퓨터에는 RAM 때문에 16GB가 있으므로 부팅 시 800MB 사전이 실제로 작동하지 않는 것이 분명합니다. 일반적으로 사전에도 불구하고 가장 중요한 백업이 완벽하게 작동하는 것은 공동으로 이상하게 보입니다.

또한 더 큰 사전(거의 불가능에 가까운 드라이브 공간 3-4GB)에서 제공하는 더 많은 데이터를 처리하기 위해 사전 계획을 세우고 있으므로 효율성 점을 높이 평가할 것입니다.