《電子技術應用》
您所在的位置:首頁 > 通信與網絡 > 設計應用 > 融合NAS和SAN的存儲網絡設計
融合NAS和SAN的存儲網絡設計
Icbuy
Icbuy
摘要: 本文提出并實現了一種在IP協議下融合iSCSI、NAS、SAN的統一存儲網絡(簡稱USN)。在USN中,NAS設備、iSCSI設備和SAN設備并存,用戶可以塊I/O的方式訪問USN中的iSCSI設備和SAN存儲設備,也可以文件I/O方式訪問USN中的NAS存儲設備和SAN存儲設備,整個USN是一個統一的存儲池。
關鍵詞: 存儲技術 NAS SAN GMPFS
Abstract:
Key words :
  引言

  IT技術的發展經歷三次浪潮:第一次浪潮以處理技術為中心,以處理器的發展為核心動力,產生了計算機工業,促進了計算機的迅速普及和應用;第二次浪潮以傳輸技術為中心,以網絡的發展為核心動力。這兩次浪潮極大地加速了信息數字化進程,使得越來越多的人類信息活動轉變為數字形式,從而導致數字化信息爆炸性地增長,進而引發IT技術的第三次發展浪潮:存儲技術浪潮。

  存儲技術浪潮的核心是基于網絡的存儲技術。目前,流行的網絡存儲系統主要有兩種:附網存儲(NAS)和存儲區域網(SAN)。按照存儲網絡工業協會(SNIA)的定義:NAS是可以直接聯到網絡上向用戶提供文件級服務的存儲設備,而SAN是一種利用FibreChannel等互聯協議連接起來的可以在服務器和存儲系統之間直接傳送數據的網絡。NAS是一種存儲設備,有其自己簡化的實時操作系統,它將硬件和軟件有效地集成在一起,用以提供文件服務,具有良好的共享性、開放性、可擴展性。SAN技術的存儲設備是用專用網絡相連的,這個網絡是一個基于光纖通道協議的網絡。由于光纖通道的存儲網和LAN分開,性能就很高。在SAN中,容量擴展、數據遷移、數據本地備份和遠程容災數據備份都比較方便,整個SAN成為一個統一管理的存儲池(storagepool)。由于具有這些優異的性能,SAN已成為企業存儲的重要技術。

  但在實際應用中NAS和SAN也存在很多缺陷,越來越不能滿足IT技術的快速發展和數字化信息爆炸性地增長的需求。如NAS設備存在如下缺陷:(1)數據的傳輸速度慢,因為NAS只能提供文件級而不能提供塊級的數據傳輸;(2)數據備份時性能較低,NAS在數據備份時要占用其大部分網絡帶寬,其它I/O性能受到影響;(3)只能管理單個NAS,很難將位于同一局域網中的多個NAS集中管理。SAN也存在以下缺陷:(1)設備的互操作性較差,不同廠家的設備很難互操作;(2)構建SAN成本高,目前只有實力較大的企業構建自己的SAN;(3)管理和維護成本高,企業需要花錢培訓專門的管理和維護人員;(4)SAN只能提供存儲空間共享而不能提供異構環境下的文件共享。

  針對NAS和SAN的優缺點,目前出現了多種新的網絡存儲技術,如:NASGateway(NAShead)、基于IP的SAN技術、對象存儲技術。NAS網關能將SAN連結到IP網絡,使IP網絡用戶能通過NAS網關直接訪問SAN中的存儲設備,所以NAS網關具有以下優點:能使NAS和SAN互連在同一LAN中,突破了FC拓撲的限制,允許FC設備在IP網絡使用;減少了光纖設備的訪問成本,允許訪問未有充分利用的SAN存儲空間?;贗P的SAN互連技術主要包括:FCIP(IPtunneling)、iFCP、iSCSI、Infiniband、mFCP,其代表技術是iSCSI技術。iSCSI技術原理是將SCSI協議映射到TCP/IP之上,即將主機的SCSI命令封裝成TCP/IP數據包,在IP網絡上傳輸,到達目的節點后,再恢復成封裝前的SCSI命令,從而實現SCSI命令在IP網絡上的直接、透明傳輸,使訪問遠程的SCSI盤可以像本地的硬盤一樣方便。存儲對象具有文件和塊二者的優點:象數據塊一樣在存儲設備上被直接訪問;通過一個對象接口,能象文件一樣,在不同操作系統平臺上實現數據共享。NASGateway雖實現了NAS和SAN在IP的融合,但不是真正的融合,因為它不能將NAS設備和SAN設備融合起來向用戶提供統一的存儲池,用戶也只能以文件I/O的方式訪問存儲設備。對象存儲雖具有NAS和SAN的優點,但需要設計專門的對象存儲接口,需要對現有的文件系統進行修改,這阻礙了它的進一步普及推廣。

  本文提出并實現了一種在IP協議下融合iSCSI、NAS、SAN的統一存儲網絡(簡稱USN)。在USN中,NAS設備、iSCSI設備和SAN設備并存,用戶可以塊I/O的方式訪問USN中的iSCSI設備和SAN存儲設備,也可以文件I/O方式訪問USN中的NAS存儲設備和SAN存儲設備,整個USN是一個統一的存儲池。并且,USN能同時提供服務器通道和附網高速通道向客戶機提供數據,減少了服務器瓶頸,提高系統的I/O速度。USN既有NAS的優點(低成本、開放性、文件共享),又有SAN的優點(高性能、高擴展性)。USN同NASGateway(NAShead)技術、基于IP的SAN技術、對象存儲技術相比具有明顯的優勢。

  USN總體結構

  USN系統的硬件結構如圖1所示。USN由NAS設備、iSCSI設備和SAN設備,以及元數據服務器和應用服務器組成。用戶可以文件I/O的方式訪問USN中的NAS設備和經過NAS頭訪問SAN中的存儲設備,也可以塊I/O的方式訪問USN中的iSCSI設備和SAN中的存儲設備。USN同時向用戶提供服務器通道和附網高速通道,對于元數據和小數據請求都經過服務器通道完成,對于大數據請求則經過附網高速通道完成,這樣大大提高整個系統的I/O速度,減少服務器瓶頸。整個USN是用基于IP的技術構建,可以兼容現有的存儲系統,添加和刪除存儲設備都很方便。所以,整個系統的性能、擴展性都很好。USN真正實現了NAS和SAN的統一,即同一存儲網絡中既有NAS設備,又有SAN結構;實現文件I/O和塊I/O的統一,即用戶可以文件I/O方式(文件為單位)也可以塊I/O方式(塊為單位)訪問USN中的設備;實現了文件協議和塊協議在TCP/IP協議上的統一,用戶可以NFS(Unix用戶)和CIFS(Windows用戶)訪問USN,也可以SCSI(iSCSI用戶)訪問USN。

  圖2是USN的軟件結構圖,其中GMPFS是全局多協議文件系統,位于USN系統中的各個應用服務器上,它支持使用CIFS協議的Windows用戶對USN的訪問,支持使用NFS協議的UNIX用戶對USN的訪問,也支持使用iSCSI協議的塊協議用戶對USN的訪問。GMPFS通過對目前存儲系統所使用的元數據進行擴展,采用啟發式的方法,收集用戶應用信息,為用戶提供統一、方便、快捷的存儲訪問接口以及合理的數據存儲方案。ASA是自主存儲代理模塊,它能夠自動地發現海量存儲系統中存儲設備的種類和可利用的各種資源,自主地對這些存儲設備和資源進行有效的統一管理和優化。ASA根據應用的不同和應用的具體需求,安排與應用相適應的存儲設備種類、性能以及可靠性和可用性等級等,并為I/O請求選擇合適的數據通道,使應用得到最優的存儲資源分配,從而使整個系統的性能達到最佳。

  系統設計

  USN是一個復雜的系統,涉及到許多復雜的技術,本文主要論述其核心技術的設計和實現,即GMPFS、ASA和iSCSI系統的設計與實現。GMPFS可以駐留在多種操作系統平臺上(UNIX,Windows,Linux),支持各種協議用戶的訪問(NFS,CIFS,iSCSI),為用戶或應用程序提供對網絡存儲系統的數據訪問服務。ASA將多種存儲技術(這些存儲技術各有所長,也各有所短)整合為一個統一的海量存儲系統,充分發揮各種存儲技術的優勢,使得該存儲系統對特定的應用程序而言服務性能達到最優,有效地滿足多方面的應用需求。iSCSI真正的實現了塊I/O和文件I/O在IP網絡上的統一,文件協議和塊協議在IP協議上的統一。

  全局多協議文件系統的設計

  GMPFS保留了分布式文件系統的靈活性和高性能的優點,而克服了其在不同I/O協議支持方面的缺陷,能同時支持NFS、CIFS和iSCSI協議用戶的訪問。GMPFS在提供文件存取的方法和文件目錄結構的同時,還為每種存儲卷提供特定的存儲模式。每種存儲模式包含某種文件系統的元數據結構,操作接口(文件類型和數據塊類型),功能函數集(格式化,檢索等),優化方法(cache方法和預取等)和存儲空間分配回收方法及數據結構。對于文件卷而言,存儲模式包含實現POSIX語義的操作函數和文件目錄結構;對于分區卷而言,存儲模式必須面向特定分區類型,如NTFS,ext3。所有的存儲模式都必須在元數據服務器中的ASA系統中注冊,以便ASA為用戶的I/O請求進行通道選擇。

  GMPFS的結構如圖3所示。其中協議轉換接口主要通過NFS的擴展程序模塊和samba模塊的組合對NFS協議和CIFS協議的支持,并通過iSCSI目標器驅動程序的擴展對iSCSI協議的支持。啟發式數據管理接口主要是用啟發式方法獲得用戶對存儲數據的需要,如性能、使用率以及安全性等。GMPFS數據組織邏輯界面提供數據組織的邏輯視圖,這一點正是針對傳統文件系統文件目錄結構對于海量數據難以管理的弱點,在增加元數據信息的前提下,通過查詢和檢索,按照用戶需要提供各種類型文件視圖,例如根據文件創建的用戶和時間進行分類。擴展的文件或卷操作接口、數據組織與分配管理、元數據組織結構和I/O定向器等主要是保證與傳統的文件系統操作語義兼容,實現程序級的數據訪問。應用程序無需修改就可以使用USN系統中的數據。提供與元數據服務器中的ASA及存儲資源的接口和通訊,能充分利用ASA系統所掌握的存儲資源,合理組織數據,滿足用戶或應用程序對數據存儲的多方面、個性化要求。如通過同時提供服務器通道和附網高速通道,改善用戶的I/O性能服務,減少服務器瓶頸。

  iSCSI系統設計

  iSCSI協議定義的是SCSI到TCP/IP的映射,即將主機的SCSI命令封裝成IP數據包,在IP網絡上傳輸,到達目的節點后,再恢復成封裝前的SCSI命令,從而實現SCSI命令在IP網絡上的直接、透明傳輸。它整合了現有的存儲協議SCSI和主流網絡協議TCP/IP等兩種主流協議,實現了存儲和網絡的無縫融合。從應用的角度看,iSCSI一方面通過SCSI命令的遠程傳送,實現了和遠程存儲設備的命令級交互,使用戶訪問遠程的SCSI設備像本地的SCSI設備一樣方便,而且具有高速度;另一方面也可用于改造傳統的NAS、SAN技術,實現NAS和SAN的融合。iSCSI系統是USN系統的核心部分之一,iSCSI的設計實現了基于IP的數據塊訪問機制。

  目前iSCSI的實現方式可以考慮采用以下三種方式:純軟件方式、智能iSCSI網卡實現方式、iSCSIHBA卡實現方式。由于我們是設計USN的原形系統,所以只采用純軟件方式,iSCSIHBA卡方式是下一步產品化我們將實現的目標。iSCSI系統整體設計模型如圖4所示(不包括管理模塊)。服務器端(Target)采用linux操作系統,客戶端(Initiator)采用Windows2000。SCSI微端口驅動在系統中生成一個虛擬的SCSI磁盤,過濾驅動截獲系統發給SCSI磁盤的SCSI命令,通過核心態的網絡接口發給服務器處理。

  自主存儲代理系統的設計

  自主存儲代理ASA的一端面對海量存儲系統。目前的存儲系統有DAS(直連存儲)、NAS、SAN、iSCSI等,ASA能夠自動地發現海量存儲系統中存儲設備的種類和可利用的各種資源,自主地對這些存儲設備和資源進行有效的統一管理和優化;根據應用的不同和應用程序的具體需求,安排與應用程序相適應的存儲設備種類、性能以及可靠性和可用性等級等,使應用程序得到最優的存儲資源分配。

  ASA的另一端面對應用程序(GMPFS)。ASA通過對目前存儲系統所使用的元數據進行擴展,采用啟發式的方法,收集用戶應用信息,為用戶提供統一、方便、快捷的存儲訪問接口以及合理的數據存儲方案;根據用戶I/O請求所涉及數據的屬性,選擇客戶端與存儲設備交互數據的通道,即元數據(目錄、卷信息等)和小數據I/O請求,選擇服務器通道,對大數據I/O請求選擇高速附網通道。大、小數據I/O請求由ASA自主地根據整個系統的I/O信息量進行調整。ASA系統結構如圖5所示。

  客戶端與USN交互流程

  USN系統中包括三類用戶:Windows文件I/O用戶(使用CIFS協議),Unix文件I/O用戶(使用NFS協議),iSCSI塊I/O用戶(使用iSCSI協議)。用戶在客戶端與USN系統交互流程與圖6所示。

  塊I/O客戶的具體的數據讀寫流程為(如圖6):(1)客戶1上的應用程序發出的塊I/O命令(SCSI命令)經iSCSI設備驅動層和TCP/IP協議棧之后,封裝成IP數據包,在IP網絡上傳輸;(2)封裝后的SCSI命令達到USN服務器之后,經解封裝,恢復成封裝前的SCSI命令,USN服務器利用這些SCSI命令對iSCSI存儲設備發出塊I/O讀寫請求;(3)被請求的數據塊經iSCSI設備中的iSCSI層和TCP/IP協議棧封裝成PDU,iSCSI設備傳送的PDU到客戶端可經兩個途徑:一種是經過服務器轉發,一種是經過高速附網通道直接傳到客戶端;(4)PDU經IP網絡上傳輸返回到客戶1后,PDU經客戶1解封裝并由其文件系統組合成文件。

  當USN系統提供FileI/O服務時,其數據讀寫過程(如圖6所示):(1)客戶2(文件I/O)向USN服務器發出文件讀寫請求(其工作方式和傳統的NAS相同);(2)USN服務器接到客戶端的文件讀寫請求后:一方面,將該I/O請求發給對應的NAS設備或NAS頭,NAS設備或NAS頭將所請求數據傳給USN服務器,再經USN服務器傳到客戶端;另一方面USN服務器不把文件I/O請求傳到NAS或NAS頭,而是將NAS或NAS頭的IP地址傳給客戶端,客戶端通過該IP地址直接與NAS或NAS頭進行數據交互。

  這里的NAS頭主要是支持FC協議的SAN設備能直接掛到TCP/IP網絡,支持NFS/CIFS用戶的訪問,NAS頭也可安裝iSCSI目標器驅動程序支持iSCSI用戶的訪問。不論是塊I/O請求還是文件I/O請求,都可通過附網高速通道實現客戶端與存儲設備的數據交互。

  試驗評估

  從客戶端對構建USN的各子存儲系統以及整個USN進行功能和性能評測,并作進一步的比較。我們從兩個方面對統一存儲網進行測試:功能測試和性能測試。功能測試包括:(1)構建100M及1000M以太網環境,將iSCSI存儲設備與服務器連接;在服務器操作系統中安裝iSCSI軟件包后,使用戶能夠通過網絡獲得iSCSI存儲設備提供的存儲空間,并能象使用本地硬盤一樣對其進行操作。

  本測試項測試服務器端iSCSI盤安裝、設置、管理和使用等各項功能;(2)iSCSI存儲設備作為NAS頭的存儲設備,與NAS頭組成一個NAS存儲系統,本測試項測試iSCSI盤在NAS中的安裝、設置、管理和使用等各項功能;(3)iSCSI盤與本地盤、FC-RAID盤構成各種冗余度的RAID,本測試項測試各種存儲盤在RAID中的安裝、配置、管理和使用等各項功能;(4)多個NAS、iSCSI設備、NAS頭連接FC-RAID通過多GMPFS和ASA構建成USN海量存儲系統,本項測試測試GMPFS和ASA系統在融合NAS、iSCSI和SAN的系統中的安裝、配置及使用等各項功能。

  性能測試包括:測試在100M和1000M網環境中不同工作負載下NAS存儲設備、iSCSI存儲設備、FC-RAID、本地硬盤以及它們組成的海量USN系統的數據傳輸性能:包括單位時間內的IO次數、一次IO的平均響應時間、數據傳輸率和CPU利用率。該項測試的主要思想是針對不同的網絡應用環境,對各種存儲設備和各種傳輸通道進行頻繁的IO處理,在確定時間內統計并計算IO率、數傳率、響應時間、CPU利用率等性能參數,從而得到的各種性能評估。

  測試環境

  iSCSI存儲設備:P42.0GHzCPU,256MBDRAM,IBMDPSS31835018G硬盤,RedhatLinux9.0操作系統;LINUX服務器:Pentium42.66GHz(FC2PGA)CPU,256MBDRAM,80GBUltraATA/1007,200rpm硬盤,RedhatLinux9.0操作系統;WINDOWS服務器端:XEON3.06GHzCPU,512MDRAM內存,SmartArray6i(板載)存儲控制器,QlogicQLA2300PCIFCAdapter光纖適配器,IBM36。4GB(32P0726)10Krpm硬盤,MicrosoftWindows2003操作系統;FC-RAID:NexStor4000S,CPU600MHZ,512MSDRAM,10×ST314680FC硬盤;普通NAS存儲設備:P42.66GHzCPU,512MBDDR,Maxtor160G硬盤,RedhatLinux9.0操作系統。

  網絡連接:iSCSI設備和普通NAS設備都使用100M以太網卡RealtekRTL8139;Windows服務器使用1000M以太網卡HPNC7782GigabitServerAdapter;Linux服務器使用1000M以太網卡。HPNC7782GigabitServerAdapter。

  功能測試

  根據測試流程,功能測試包括三個方面的內容:(2)平臺的統一,即在Windows下能通過單一目錄樹方式訪問多個存儲節點,功能與Linux下的pvfs相似;(2)協議的統一,即通過Windows的“計算機管理”和Initiator發起端(iSCSI客戶端)可以管理FC-RAID和iSCSITarget及普通的NAS設備,并利用“動態磁盤機制”實現多種冗余;設備的統一,即iSCSITarget通過和initiator配合,使得該Target成為NAS系統中的一個存儲設備。

  性能測試

  測試內容

  采用第三方的IOMETER測試軟件進行的測試。IOMETER是INTEL公司專門開發的用于測試系統I/O性能的測試程序。它的測試參數比較全面,能非常全面的反映服務器的I/O性能。為了說明USN存儲系統的性能,在相同條件下測試以下項目進行對比分析:(1)對USN服務器本地硬盤讀寫性能測試;(2)100M以太網環境下FC-RAID盤讀寫性能測試;(3)100M以太網環境下遠程iSCSI盤讀寫性能測試;(4)100M以太網環境下FC-RAID盤和遠程iSCSI盤構建的各級RAID盤的讀寫性能測試;(5)1000M以太網環境下遠程iSCSI盤讀寫性能測試;(6)100M以太網環境下USN系統的讀寫性能測試。

  實驗結果比較

  本地IDE硬盤、100MiSCSI硬盤、1000MiSCSI硬盤、FC-RAID、FC-RAID與iSCSI構成的RAID0及USN系統數據傳輸率性能比較如圖7所示。

  本地IDE硬盤、100MiSCSI硬盤、1000MiSCSI硬盤、FC-RAID及FC-RAID與iSCSI構成的RAID0,以及USN的IO/s性能比較如圖8所示。

  本地IDE硬盤、100MiSCSI硬盤、1000MiSCSI硬盤、FC-RAID及FC-RAID與iSCSI構成的RAID0,以及USN的平均響應時間性能比較如圖9所示。

  本地IDE硬盤、100MiSCSI硬盤、1000MiSCSI硬盤、FC-RAID及FC-RAID與iSCSI構成的RAID0,以及USN的CPU占用率比較如圖10所示。

  實驗結果分析

  請求文件或數據塊大小對存儲系統性能的影響從圖7、圖8和圖9中單條曲線的走勢可以看出,當請求文件或數據塊較大時,從目的盤或系統上讀寫數據耗費的時間長,通過網絡傳輸的時間也相應增加,所以:小包的平均響應時間<;大包的平均響應時間,小包的IOps>;大包的IOps。請求包大時,針對一個請求包所進行的額外操作較請求包小時少,連續的讀寫所耗費的時間小于小包讀寫所耗費的時間,因此:小包的MBps<;大包的MBps。

  服務器端iSCSI盤的各項性能表現趨勢在100M以太網和千兆以太網環境中不同請求包大小的情況下符合上述規律,本地IDE硬盤、FC-RAID和USN系統也符合上述述規律。

  性能分析

  從圖7、圖8和圖9可以看出,I/O請求在1k~128kB時,USN系統的I/O請求響應速度比本地IDE硬盤、FC-RAID、100M遠程iSCSI硬盤和1000MiSCSI硬盤快的多。當I/O請求大于128kB時,USN系統的I/O請求響應速度比FC-RAID的I/O請求響應速度略慢,比其它存儲子系統的速度快的多,最高速度可達45MB/s。其原因是我們在USN的服務器端除加載了GMPFS(支持使用多種訪問協議用戶)和ASA(提供服務器通道和附網高速通道)的同時,還加載了我們實驗室以前開發的智能預取、硬盤緩存技術(DCD)、負載均衡和零拷貝系統或軟件模塊,所以,不論是大I/O請求還小I/O請求,都能提供極好的I/O請求響應性能。而FC-RAID由于自身的數據校驗等時延等特性,對小的I/O請求響應速度較慢,對越大的I/O請求響應速度越快。

  對于USN的iSCSI盤存儲子系統,從實驗結果可以看出,當請求數據塊較小時,100M網絡環境下的性能和1000M網絡環境下的性能差別不明顯,隨著請求塊或文件逐步增大,兩者IOps和MBps的差距越來越大。請求數據塊為1024K時,僅更換網絡傳輸中的數據鏈路層和物理層,從100M網絡環境提升到1000M網絡環境,磁盤數據傳輸率得到較大的提高,后者約是前者的3倍。

  從圖10可以看出,100M的iSCSI存儲子系統的CPU占用率最高,原因是在響應用戶的I/O請求,要求服務器不斷的對iSCSI的協議數據單元進行封裝和解封裝。本地的IED硬盤CPU占用率最低,USN系統的服務器端CPU占用率次之,原因是USN系統中小的I/O請求直接經過服務器處理,而大的I/O請求經過附網高速通道由存儲設備自身處理。

  結論和展望

  我們提出、設計和實現的統一存儲網絡系統,全部采用IP互聯設備,價格比光纖通道低得多,在管理軟件的開發實現上以及系統的使用維護上,都具有多得多的資源和經驗。并且,千兆以太網技術比光纖通道技術發展迅速,10Gbps以太網交換機已經推出并在市場上熱銷,其性能前景也比光纖通道交換機好得多。所有這些為統一存儲網絡的產品化打下了堅實的基礎。

  目前,我們已經從理論、結構和實踐上實現了統一存儲網絡原型系統,現在,我們正在開發和完善多用戶、多功能、多種平臺支持的iSCSI設備,設計和實現新的安全和高可用文件系統,以便為統一存儲網絡系統產品化后能真正為廣大企業,尤其是為廣大中小企業提供開放性、性能、可展性、性/價比都更好的海量存儲系統。



 

此內容為AET網站原創,未經授權禁止轉載。
热re99久久精品国产66热_欧美小视频在线观看_日韩成人激情影院_庆余年2免费日韩剧观看大牛_91久久久久久国产精品_国产原创欧美精品_美女999久久久精品视频_欧美大成色www永久网站婷_国产色婷婷国产综合在线理论片a_国产精品电影在线观看_日韩精品视频在线观看网址_97在线观看免费_性欧美亚洲xxxx乳在线观看_久久精品美女视频网站_777国产偷窥盗摄精品视频_在线日韩第一页
  • <strike id="ygamy"></strike>
  • 
    
      • <del id="ygamy"></del>
        <tfoot id="ygamy"></tfoot>
          <strike id="ygamy"></strike>
          欧美亚洲一区三区| 久久本道综合色狠狠五月| 国产日韩欧美成人| 亚洲欧美清纯在线制服| 欧美巨乳在线观看| 亚洲综合久久久久| 国产日韩欧美一区在线| 国产精品qvod| 激情综合亚洲| 在线看视频不卡| 国产精品久久久久aaaa樱花| 中国日韩欧美久久久久久久久| 欧美人与性动交cc0o| 欧美日韩国产成人在线91| 一区二区av在线| 久久精精品视频| 欧美日韩美女| 欧美涩涩视频| 欧美在线观看网址综合| 久久久999精品视频| 国产精品一级在线| 亚洲欧美www| 欧美福利视频网站| 一区二区精品在线| 亚洲精品免费一区二区三区| 久久精品二区亚洲w码| 免费观看不卡av| 免费看亚洲片| 亚洲成色最大综合在线| 亚洲久久视频| 欧美福利网址| 精品av久久久久电影| 在线一区二区三区四区| 亚洲欧洲中文日韩久久av乱码| 亚洲欧美日韩国产一区二区三区| 一区视频在线看| 亚洲欧洲日韩女同| 欧美视频在线观看免费网址| 亚洲精品一二区| 亚洲精品一区在线观看| 亚洲国产精品成人久久综合一区| 欧美一区二区三区在线观看| 国产精品99久久99久久久二8| 亚洲网友自拍| 美女久久网站| 亚洲国产精品美女| 男女av一区三区二区色多| 久久偷看各类wc女厕嘘嘘偷窃| 玖玖视频精品| 欧美精品aa| 一区二区三区国产精华| 国产欧美日韩亚洲精品| 国内精品模特av私拍在线观看| 在线观看精品| 夜夜夜久久久| 欧美色视频在线| 亚洲免费视频成人| 亚洲国产成人av在线| 国产精品99一区二区| 国产欧美日韩一区二区三区在线| 午夜精品区一区二区三| 你懂的一区二区| 国产一区二区三区四区三区四| 日韩视频一区二区三区在线播放| 一本一本大道香蕉久在线精品| 国产欧美日韩一级| 一区在线电影| 欧美日韩国产精品专区| 亚洲精品中文在线| 国产精品系列在线| 亚洲黄色成人| 欧美色视频一区| 悠悠资源网亚洲青| 欧美在线欧美在线| 国产精品入口夜色视频大尺度| 欧美成人午夜激情在线| 亚洲精品国产精品乱码不99按摩| 国产一区视频网站| 99在线精品免费视频九九视| 亚洲精品日本| 中文在线资源观看网站视频免费不卡| 国产欧美亚洲日本| 欧美成年人视频网站| 夜夜夜精品看看| 女生裸体视频一区二区三区| 欧美日韩视频一区二区| 日韩一二三在线视频播| 亚洲七七久久综合桃花剧情介绍| 国产自产精品| 国产曰批免费观看久久久| 亚洲国产视频直播| 午夜国产欧美理论在线播放| 黑人巨大精品欧美一区二区| 国产亚洲一区二区三区在线播放| 亚洲国产精品久久久久秋霞影院| 欧美国产亚洲另类动漫| 日韩亚洲国产精品| 欧美国产1区2区| 国产日韩欧美另类| 一本色道久久综合狠狠躁篇怎么玩| 国产亚洲成年网址在线观看| 国产精品成人免费精品自在线观看| 精品999在线播放| 亚洲一区二区免费| 一区在线电影| 国产无遮挡一区二区三区毛片日本| 国产一区二区三区久久悠悠色av| 欧美成年人视频网站欧美| 国产精品久久久久久久久久免费看| 欧美 亚欧 日韩视频在线| 国产亚洲欧美一区二区三区| 国产日韩一区二区三区| 国产自产在线视频一区| 欧美日韩一区二区视频在线| 亚洲神马久久| 韩日精品中文字幕| 欧美高清在线精品一区| 亚洲免费观看视频| 欧美三级小说| 国产精品久久一区主播| 一区二区三区四区在线| 欧美日韩久久| 亚洲精品免费观看| 国产精品久久久久久久久久久久久久| 国产在线一区二区三区四区| 久久av在线看| 欧美一区=区| 一区在线播放视频| 久久久亚洲国产美女国产盗摄| 国产日韩欧美在线视频观看| 国产精品视频网站| av成人激情| 亚洲区一区二区三区| 国产亚洲精品美女| 亚洲一区二区黄色| 国产精品国产自产拍高清av王其| 久久久久久欧美| 国产欧美日韩另类视频免费观看| 国内精品**久久毛片app| 久久国产精品久久久久久电车| 亚洲一区欧美一区| 欧美中日韩免费视频| 羞羞色国产精品| 欧美日韩在线影院| 国产精品极品美女粉嫩高清在线| 欧美一区2区三区4区公司二百| 国产主播一区二区三区| 欧美精品系列| 亚洲二区视频在线| 亚洲美女视频| 激情偷拍久久| 国产精品成人午夜| 精久久久久久久久久久| 日韩视频永久免费观看| 乱中年女人伦av一区二区| 久久亚洲色图| 日韩视频在线播放| 亚洲综合欧美| 国产在线拍偷自揄拍精品| 老妇喷水一区二区三区| 亚洲老板91色精品久久| 国产丝袜美腿一区二区三区| 亚洲黄色天堂| 亚洲人被黑人高潮完整版| 狠狠色综合一区二区| 久久爱91午夜羞羞| 久久久久成人网| 久久久精品一区二区三区| 亚洲欧美日韩另类精品一区二区三区| 亚洲靠逼com| 国产美女精品免费电影| 老妇喷水一区二区三区| 国内伊人久久久久久网站视频| 久久婷婷人人澡人人喊人人爽| 亚洲精品美女久久7777777| 欧美体内she精视频| 99国产精品久久久久老师| 欧美午夜精品久久久久久浪潮| 欧美日韩免费一区二区三区视频| 伊人色综合久久天天| 国产精品一区二区你懂得| 国内一区二区三区在线视频| 亚洲精品网站在线播放gif| 亚洲视频你懂的| 国产精品一区二区在线| 亚洲精品五月天| 久久久91精品国产一区二区三区| 欧美一区二粉嫩精品国产一线天| 亚洲午夜视频在线| 99国产精品99久久久久久粉嫩| 欧美日韩国产片| 麻豆成人在线观看| 久久精品网址| 国内精品久久久久久久影视蜜臀| 午夜精品久久久久久久男人的天堂| 久久se精品一区精品二区| 欧美高清一区| 国产精品久久久久久久久果冻传媒| 一区二区三区国产精华| 国产精品久久久久9999| 91久久精品一区二区别| 久久全球大尺度高清视频| 国产精品色午夜在线观看| 欧美视频亚洲视频| 国产免费成人av| 久久精品日产第一区二区三区| 国产欧美一二三区| 欧美福利网址| 久久久久国产精品午夜一区| 欧美成人午夜激情在线| 黑人操亚洲美女惩罚| 美女成人午夜| 亚洲专区在线| 国产精品呻吟| 国产精品av免费在线观看| 中文亚洲免费| 国产精品久久久久999| 国产视频精品网| 亚洲图片欧美午夜| 开元免费观看欧美电视剧网站| 久久婷婷久久| 一区免费视频| 亚洲欧美经典视频| 久久免费视频这里只有精品| 亚洲国产精品综合| 午夜在线观看免费一区| 在线观看视频亚洲| 欧美在线视频在线播放完整版免费观看| 亚洲国产精品免费| 午夜精品一区二区三区电影天堂| 国产精品久久久久久久久久久久| 国产精品专区一| 欧美理论电影在线观看| 久久亚洲精选| 亚洲二区在线视频| 国产精品99久久不卡二区| 欧美色视频日本高清在线观看| 国产精品嫩草99av在线| 国产日韩在线看| 国产精品一区二区三区四区| 亚洲图片激情小说| 国产精品午夜久久| 一区二区欧美国产| 国产精品久久97| 欧美高清在线一区| 国产欧美日韩精品丝袜高跟鞋| 国产精品99久久99久久久二8| 亚洲欧美综合国产精品一区| 欧美1区2区3区| 欧美久久久久久久久| 国内精品福利| 欧美影院午夜播放| 黄网站免费久久| 亚洲美女中文字幕| 日韩视频二区| 亚洲精品国久久99热| 国产精品久久77777| 久久久91精品国产| 在线日韩一区二区| 久久久久成人精品免费播放动漫| 亚洲男女自偷自拍| 欧美日韩成人综合天天影院| 日韩一区二区高清| 亚洲国产精品电影在线观看| 久久国产精品99久久久久久老狼| 久久久91精品国产一区二区精品| 欧美aa在线视频| 久久一区二区三区超碰国产精品| 欧美成人免费网站| 国产精品成人在线观看| 亚洲欧美成人一区二区在线电影| 国产精品成人在线| 正在播放欧美视频| 亚洲国产欧美一区二区三区同亚洲| 国产亚洲综合性久久久影院| 午夜精品福利一区二区蜜股av| 久久亚洲综合色| 国产精品羞羞答答| 欧美日韩天堂| 欧美韩国日本综合| 欧美日韩中文字幕综合视频| 欧美成人免费va影院高清| 国产日韩精品在线| 黄色国产精品一区二区三区| 亚洲东热激情| 欧美韩日亚洲| 国产女精品视频网站免费| 亚洲小说欧美另类社区| 欧美另类女人| 亚洲高清在线视频| 午夜精品在线视频| 一本色道久久精品| 欧美在线视频导航| 久久av在线看| 欧美国产丝袜视频| 欧美色道久久88综合亚洲精品| 国产精品国产馆在线真实露脸| 国精品一区二区三区| 亚洲欧洲一区二区三区在线观看| 先锋影音国产精品| 亚洲宅男天堂在线观看无病毒| 在线视频日韩| 国产精品av免费在线观看| 亚洲精品免费观看| 久久久久综合网| 亚洲永久字幕| 欧美日韩免费在线观看| 欧美精品久久久久久久久久| 欧美一区二区在线观看| 你懂的视频一区二区| 欧美激情综合亚洲一二区| 亚洲人成在线播放| 欧美另类高清视频在线| 亚洲成在线观看| 亚洲永久精品国产| 国产欧美日韩亚洲一区二区三区| 亚洲人成精品久久久久| 国产欧美日韩中文字幕在线| 久久精品国产成人| 在线成人中文字幕| 亚洲精品久久久久久久久久久久| 在线精品国产成人综合| 国产精品一区二区三区观看| 欧美一区午夜精品| 欧美在线黄色| 在线观看视频一区二区欧美日韩| 午夜宅男久久久| 亚洲国产aⅴ天堂久久|