Astronomiya

SDSS server SQL serverinə python vasitəsilə daxil olmaq

SDSS server SQL serverinə python vasitəsilə daxil olmaq

Sloan Digital Sky Survey serverlərindən hər hansı birini Python vasitəsilə SQL vasitəsilə birbaşa əldə etmək üçün bir yol varmı?

Hal-hazırda SQL sorğularını təqdim etdikləri veb saytdan işlədə bilmişəm (məsələn https://skyserver.sdss.org/dr12/en/tools/search/sql.aspx), ancaq necə daxil ola biləcəyim mənə aydın deyil onları birbaşa Python interfeysindən.

Hansı əlaqə detallarını istifadə etməyim lazım olduğuna dair hər hansı bir təklif yüksək qiymətləndirilir.


Bunu astroquery SDSS modulu vasitəsilə edə bilərsiniz; query_sql adlı bir funksiya var.


Başqa bir domenin istifadəçi məlumatları ilə SQL Serverə qoşulun

Başqa bir domendəki istifadəçi giriş / paroldan istifadə edərək SQL Server verilənlər bazasına necə qoşula bilərəm?

Hesabımı DB-yə qoşulmaq üçün istifadə etsəm, yaxşı işləyir:

Ancaq başqa bir istifadəçinin etimadnaməsini istifadə etməliyəm

İkincisini sınadığımda, "Another_Domain username" istifadəçisi üçün deyil, "MY_Domain username üçün uğursuz giriş" səhvini alıram.

Hər iki halda da SQL Server Management Studio-nu işə salmaqla db-yə qoşulmaq üçün Windows Doğrulamasından istifadə edə bilərəm.


Bu nümunədə bir INSERT ifadəsini necə etibarlı bir şəkildə işlədəcəyinizi və parametrləri necə keçəcəyini görürsünüz. Parametrlər tətbiqinizi SQL enjeksiyonundan qoruyur.

pyODBC, SQL Server üçün Microsoft ODBC sürücüsünü istifadə edir. ODBC sürücünüzün versiyası 17.1 və ya daha yeni bir versiyadırsa, ODBC sürücüsünün Azure Active Directory interaktiv rejimini pyODBC vasitəsilə istifadə edə bilərsiniz. Bu interaktiv seçim, Python və pyODBC'nin ODBC sürücüsünün informasiya qutusunu göstərməsinə icazə verdiyi təqdirdə işləyir. Seçim yalnız Windows əməliyyat sistemlərində mövcuddur.

Azure Active Directory interaktiv identifikasiyası üçün nümunə bağlantı sətri

Aşağıdakı nümunə Azure Active Directory interaktiv identifikasiyasını təyin edən bir ODBC əlaqə sətri təqdim edir:

ODBC sürücüsünün identifikasiya variantları haqqında daha ətraflı məlumat üçün ODBC Sürücüsü ilə Azure Active Directory istifadə edin.


SDSS server SQL serverinə python vasitəsilə giriş - Astronomiya

1. Johns Hopkins Universiteti, 2. Microsoft, 3. Fermi Milli Sürətləndirici Laboratoriyası, Batavia, 4. CERN

Xülasə:

SkyServer həm astronomlar, həm də elm təhsili üçün ümumi Sloan Digital Sky Survey (SDSS) məlumatlarına İnternet çıxışı təmin edir. Bu sənəd SkyServer hədəflərini və arxitekturasını təsvir edir. Eyni zamanda İnternetdəki SkyServer əməliyyat təcrübəmizi təsvir edir. SDSS məlumatları açıqdır və sənədləşdirilmişdir, beləliklə verilənlər bazası alqoritmləri və performansı ilə əlaqədar tədqiqat üçün yaxşı bir test platforması yaradır.

Giriş

SkyServer həm astronomlar, həm də elm təhsili üçün ümumi Sloan Digital Sky Survey (SDSS) məlumatlarına İnternet çıxışı təmin edir. SDSS, müasir yerüstü teleskop [[SDSS]] istifadə edərək Şimali göyün (10.000 kvadrat dərəcə) təqribən 1/2 yay saniyəsinə qədər 5 illik bir araşdırmasıdır. 5 optik zolaqdakı təxminən 200 milyon cismi xarakterizə edəcək və bir milyon cismin spektrini ölçəcəkdir. Birinci ilin məlumatları indi açıqdır.

SDSS teleskopunun Nyu-Meksiko ştatının Apache Point-də topladığı xam məlumatlar Fermilabdakı məlumat analiz proqram boru kəmərləri ilə qidalanır. Görüntüləmə boru kəmərləri, hər bir səma cismi üçün 5 rəngli "kəsik" şəkli ilə birlikdə təxminən 400 atribut çıxarmaq üçün görüntü kamerasından alınan məlumatları analiz edir. Spektroskopik boru kəmərləri, kalibr olunmuş spektrləri, qırmızı sürüşmələri, udma və emissiya xətlərini və bir çox digər əlamətləri çıxarmaq üçün spektrografdakı məlumatları təhlil edir. Bu boru kəmərləri bəşəriyyətin astronomiya biliklərinin əksəriyyətini təcəssüm etdirir [SDSS-EDR]. Boru kəməri proqram təminatı SDSS layihəsinin böyük bir hissəsidir: layihənin dəyəri və səyinin təxminən 25% -i. Nəticə, Şimali səmanın və Cənubi səmanın kiçik bir zolağının yüksək keyfiyyətli bir kataloqudur. Tamamlandıqda, anket məlumatları təxminən 40 terabayt (TB) görüntü məlumatlarını və təxminən 3 TB işlənmiş məlumatları tutacaqdır.

Kalibrlənmədən sonra boru kəməri çıxışı SDSS konsorsiumundakı astronomlar üçün mövcuddur. Təxminən bir ildən sonra SDSS məlumatları astronomiya ictimaiyyətinə və ictimaiyyətə yayımlayır, beləliklə 2007-ci ildə bütün SDSS məlumatları hər yerdə hər kəs üçün əlçatan olacaqdır.

SDSS məlumatlarının ilk iki ili indi açıqdır. Xam məlumatlar 2,5 terabaytdan çoxdur və kataloqun ölçüsü 80 milyondan çox obyekt və 180 000 spektrdən ibarət 800 GB-a yaxındır. İnternetdəki SkyServer (http://skyserver.sdss.org/) vasitəsi ilə ümumi kataloqlara daxil ola bilərsiniz və ya məlumatların xüsusi bir nüsxəsini əldə edə bilərsiniz. Veb server həm peşəkar astronomları, həm də təhsilə giriş imkanlarını dəstəkləyir.

Məlumat təhlili boru kəməri yaxşılaşdıqca ictimai SDSS məlumatlarına düzəlişlər yayımlanacaq və daha çox ictimaiyyətə açıqlandıqdan sonra məlumatlar artırılacaq (növbəti planlaşdırılan buraxılış yanvar 2004, DR2). Bundan əlavə, SkyServer necə istifadə edildiyini öyrəndikcə daha yaxşı sənədlər və alətlər əldə edəcəkdir. Veb saytının Yapon və Alman versiyaları mövcuddur və server dünyanın bir çox yerində əks olunur.

Bu kağız SkyServer dizaynının eskizlərini verir. Verilənlər bazası və veb sayt dizaynı haqqında məlumat verir, məlumat yükləmə boru kəmərini təsvir edir və veb saytın erkən istifadəsi barədə hesabat verir.

Veb Sayt Memarlığı

SkyServer arxitekturası olduqca sadədir: bir ön IIS veb server, JavaScript Active Server Pages (ASP) tərəfindən işlənmiş HTTP istəklərini qəbul edir. Bu skriptlər arxa SQL verilənlər bazası serverini sorğu etmək üçün Active Data Objects (ADO) istifadə edir. SQL, JavaScript formatlarını səhifələrə yazan qeyd dəstlərini qaytarır. Veb sayt təxminən 40.000 satır JavaScript-dir və əslən boş vaxt fəaliyyəti olaraq iki nəfər tərəfindən tikilmişdir. O vaxtdan bəri daha çox insan, xüsusən sənədləşmə və təhsil üçün kod və məzmun verdi.

Bu dizayn, həm strukturlaşdırılmış məlumatlar həm də şəkillər SQL verilənlər bazasında saxlanılan TerraServer [Barclay] from-dan gəlir. Çerçevelərin 5 səviyyəli bir görüntü piramidası əvvəlcədən hesablanır ki, bu da istifadəçilərə səmaya ümumi baxışı görməyə və sonra müəyyən bir obyektin yaxın görünüşü üçün müəyyən sahələrə yaxınlaşmağa imkan verir.

Veb sayt dizaynının ən çətin tərəfi bir çox fərqli brauzer üçün zəngin bir istifadəçi interfeysini dəstəkləməkdir. Netscape Navigator , Mozilla və Microsoft Internet Explorer'ı dəstəkləmək, xüsusən bir çox Windows, Macintosh və UNIX variantları nəzərə alındıqda bir problemdir. SkyServer, müştərilərə əlavələr yükləmir (sdssQA istisna olmaqla), həm kaskad üslub vərəqələri, həm də dinamik HTML istifadə edir. Tarayıcıları inkişaf etdikcə dəstəkləmək üçün davamlı bir mübarizədir.

Peşəkar astronomlar ümumiyyətlə İngilis dilini yaxşı bilirlər, lakin SkyServer uşaqları və alim olmayan insanları da əhatə edən beynəlxalq bir istifadəçi cəmiyyətini dəstəkləyir. Beləliklə, veb səhifə hiyerarşisi üç yolla bölünür: İngilis, Alman bölməsi və Yapon bölməsi var. Bu dilləri səlis bilən insanlar tərəfindən digər dillər əlavə ediləcəkdir. Hər güzgü saytı bütün məlumatlara sahib olacaq və bütün dilləri dəstəkləyir.

Veb İnterfeysi Dizaynı

Qrafik dizayn tamamilə üslub cədvəllərinə əsaslanır. Microsoft-un multimedia qrupu tərəfindən sayt üçün yeni bir "dəri" hazırlanmışdır. Fərqli vizual təəssüratları əldə etmək üçün ən üst səviyyə qovluğunda yalnız 4 fayl dəyişdirildi.

SkyServer-ə İnternet vasitəsilə standart brauzerlərdən istifadə etməklə əldə edilir. Səma şəkilləri, spektr şəkilləri və SDSS verilənlər bazasının cədvəlli çıxışları üçün nöqtə vurun istəklərini qəbul edir. Həm də obyektlər haqqında onlayn ədəbiyyata (məsələn, NED, VizieR və Simbad) əlaqələri var. Saytda bir SDSS layihə təsviri, məlumatların necə toplandığı və mənası barədə təlimatlar var, həmçinin müxtəlif sinif səviyyələrində astronomiya və hesablama elmlərini öyrətmək və ya öyrənmək üçün uyğun layihələr var. Şəkil 1 əsas giriş ekranlarını cizgi filmləri.

Ən sadə və ən populyar giriş maraqlı (və tez-tez məşhur) səma cisimlərinin rəngli şəkillərini göstərən məşhur yerlərin sehpa atlasıdır. Bu şəkillər izləyicini bu obyektlər haqqında məqalələrə yönəltməyə çalışır və SDSS məlumatları içərisindəki obyektlərə baxmaq üçün aşağıya nəzər salmağa imkan verir. Xüsusi obyektlərin şəkillərini və spektrlərini əldə etmək üçün istifadəçinin sahə və ya boşqab üzrə hərəkət etməsinə imkan verən alətlər də var (bax Şəkil 1). Daha ətraflı məlumat üçün, inkişaf etmiş istifadəçilərin SDSS verilənlər bazasını mənimsəməsinə imkan verən bir mətn və bir GUI SQL interfeysi var. Nöqtə vurun və pan-zoom sxemi istifadəçilərə səmanın bir hissəsini dolaşmağa və obyektləri və onların spektrlərini seçməyə imkan verir (əgər varsa).

Şəkil 2: Naviqasiya interfeysi, həmin nöqtə üçün "çıxışı" görmək üçün göyə bir nöqtə daxil etməyə imkan verir. Sonra obyektləri yaxından görmək və ya böyük şəkilə baxmaq üçün böyütmək olar. Müxtəlif məkan obyektlərinin (sahələr, lövhələr, plitələr, zolaqlar, maskalar) əlverişli bir qrafik təsvirini təmin etmək üçün müxtəlif bindirmələri seçə bilərsiniz. Bir obyektə işarə edərək verilənlər bazasından öz xüsusiyyətlərinin xülasəsini əldə etmək və müəyyən bir fotometrik obyekt üzərində mərkəzləşmiş bütün məlumatları araşdırmaq olar.

Göy rəngli şəkillər veb sayt üçün xüsusi olaraq hazırlanmışdır. Orijinal 5 rəngli 80 bitlik dərin şəkillər parlaqlığın dinamik diapazonunu ekran keyfiyyətinə endirmək üçün xətti olmayan intensivlik xəritələşdirilməsindən istifadə edərək çevrilmişdir. Artırılmış rəngli şəkillər, JPEG kimi saxlanılan 24bit RGB-dir. 5 fərqli zoom səviyyəsində bir şəkil piramidası inşa edilmişdir. Spektrlər 8bit GIF şəkillərində də göstərilmişdir.

SkyServer, SDSS məlumatlarına giriş yollarından biridir. Bundan əlavə, xam SDSS piksel səviyyəli sənədlər Fermilab-da (http://das.sdss.org/) Data Archive Server-dən (DAS) əldə edilə bilər.

SkyServer Data Mining

Veri mədənçiliyi, SkyServer-in yaradılmasında orijinal motivimiz idi. "Qravitasiya obyektivlərinə namizəd tapmaq" və ya "bu kimi digər obyektləri tapmaq" kimi suallara tez bir zamanda cavab verə biləcək bir vasitə istəyirdik. Həqiqətən, biz [Szalay] 20 tipik sorğu təyin etdik və SkyServer verilənlər bazasını bu suallara cavab vermək üçün hazırladıq. Başqa bir sənəddə sorğular və onların performansı təsvir olunur [Boz], lakin nəticələrini tez bir zamanda burada ümumiləşdiririk.

Sorğular astronomların C ++ proqramı ilə edəcəyi tipik tapşırıqlara cavab verir, arxivdən məlumat çıxarır və sonra analiz edir. Sorğuları sadə və tez bir zamanda bildirə bilmək, Astronomiya cəmiyyəti üçün əsl məhsuldarlıq qazancı ola bilər. 20 sorğunun hamısının kifayət qədər sadə SQL ekvivalenti olduğunu tapmaq bizi çox sevindirdi. Başladığımızda bu açıq deyildi. Tez-tez sorğu tək bir SQL ifadəsi kimi ifadə edilə bilər. Bəzi hallarda, sorğu təkrarlanır, bir sorğunun nəticələri digərinə daxil olur.

Sorğuların çoxu bir neçə saniyə ərzində işləyir. Verilənlər bazasının ardıcıl skan edilməsini əhatə edən bəziləri təxminən 3 dəqiqə çəkir. Bir neçə kompleks birləşmə təxminən bir saat çəkir. Bəzən SQL optimizator suboptimal plan seçir və sorğu bir neçə saat çəkə bilər. Məkan məlumatları sorğularının həm açıqlanması sadədir, həm də məkan indeksindən istifadə edərək tez bir zamanda icra olunur. Hər bir obyektin qonşularını əvvəlcədən hesablayaraq SQL Serverdə bir məhdudiyyəti atladıq. Bunu etmək məcburiyyətində qalmadan belə, sorğuları sürətləndirmək üçün bu maddi görünüşü yarada bilərdik. Ümumiyyətlə, sorğular populyar sahələri olan indekslərdən və sütun alt dəstlərindən faydalanmışdır.

Sorğuların SQL-ə çevrilməsi astronomiyanın yaxşı başa düşülməsini, SQL-in yaxşı başa düşülməsini və verilənlər bazasının yaxşı başa düşülməsini tələb edir. "Normal" astronomlar çox sadə SQL sorğularından istifadə edirlər. Verilənlərin bir alt hissəsini çıxarmaq üçün SQL-dən istifadə edirlər və sonra bu məlumatları öz alətlərindən istifadə edərək öz sistemlərində təhlil edirlər. SQL, xüsusilə qoşulma və məkan sorğularını əhatə edən kompleks SQL, cari astronomiya alət dəstinin bir hissəsi deyil. Bu, astronomiya cəmiyyəti tərəfindən SkyServer-dən daha geniş istifadə üçün bir maneədir. SQL tərtib etməyi asanlaşdıran yaxşı bir vizual sorğu vasitəsinin bu problemi həll edəcəyinə ümid edirik.

SdssQA-SDSS Sorğu Aləti

sdssQA, SQL sorğularını tərtib etməyə kömək edən bir GUI SQL sorğu vasitədir. SQL Server Query Analyzer-dən ilham almış, lakin UNIX, Macintosh və Windows müştərilərində Java tətbiqetməsi kimi işləyir və sdssQA yükləmə səhifəsindən sərbəst şəkildə əldə edilə bilər. İnternetdən istifadə üçün ODBC / JDBC (yerli istifadə üçün) və HTTP və ya SOAP vasitəsilə bağlanır.

Şəkil 3: sdssQA, Unix, Macintosh və Windows müştərilərində işləyən ictimai bir Java tətbiqidir. SkyServer verilənlər bazasını sorğu etmək üçün istifadə edilə bilər. Object Browser (yuxarı sol bölmə) verilənlər bazası şemasını dinamik olaraq serverdən alır.
sdssQA həm mətn əsaslı, həm də diaqram əsaslı sorğu rejimi təmin edir. Mətn əsaslı rejimdə istifadəçi SQL sorğularını, saxlanılan prosedurları və ya funksiyaları tərtib edir və yerinə yetirir. Mətn əsaslı sorğu pəncərəsi Şəkil 3-ün solunda göstərilir.

sdssQA verilənlər bazası, cədvəllər, görünüşlər, funksiyalar və sabitlərin verilənlər bazası kataloqudan sol bölmədə hiyerarşik bir obyekt brauzeri qurur (bax Şəkil 3). Obyekt adının üzərinə vurmaq istifadəçidəki hər bir obyektin və sahənin mənasını izah edən kömək pəncərəsi açır. Metadata məlumat növləri, uzunluqlar və sıfır göstəricilər daxildir.

  • Şəbəkə əsaslı, nəticələrin tez görünməsi üçün,
  • CSV, ASCII vergüllə ayrılmış dəyərlərdə, cədvəllərdə istifadə üçün və s
  • XML, XML məlumatlarını oxuya bilən hər hansı bir tətbiqdə istifadə üçün.

Sorğu icra statistikası böyük nəticə dəstləri üçün vacibdir. Vəziyyət pəncərəsi, hər bir sorğunun icra müddətini ən yaxın saniyəyə qədər yuvarlaqlaşdırır. Həm də istifadəçinin əlaqə məlumatlarını, kataloq adını və server adını göstərir. Açıq SkyServer veb server sorğuları 10.000 qeyd və ya 5 dəqiqəlik hesablama ilə məhdudlaşdırır. Daha tələbkar sorğular üçün istifadəçilər "xüsusi" SkyServer-ə əlavə etməlidirlər.

SdssQA istifadə ilə bağlı daha ətraflı kömək üçün istifadəçilər sdssQA yardım səhifəsinə və SQL yardım səhifəsinə müraciət edə bilərlər.

Təhsil üçün istifadə olunan SkyServer

Həqiqi astronomik məlumatlara və SkyServer-in veb interfeyslərinə ictimaiyyətin giriş imkanı onu elm təhsili və ictimaiyyət üçün geniş potensial mənbəyə çevirir. Bu gün tələbələrin çoxu astronomiyanı süni məlumatlardan və ya əsrlər əvvəl alınan məlumatlardan istifadə edən dərslik çalışmaları vasitəsilə öyrənir. SkyServer ilə tələbələr əvvəllər insan gözü ilə görməmiş qalaktikalardan alınan məlumatları öyrənə bilərlər. Şagirdlərin astronomiya və hesablama elmindən anlayışlar öyrənmək üçün SkyServer istifadə etməsinə imkan verən bir neçə interaktiv təhsil layihəsi hazırlayırıq.

Şəkil 4: "Köhnə Zaman Astronomiyası" layihəsindən bir nümunə həvəskar astronom Michael Geldorp (solda) tərəfindən çəkilmiş Galaxy M64 eskizini Rəqəmsal Səma Tədqiqatından eyni qalaktika ilə müqayisə edir (sağda). Daha inkişaf etmiş bir layihə, şagirdlərin kainatın genişlənməsini "kəşf etmək" üçün sağda bir Hubble diaqramı (doqquz qalaktikanın sürüşmə və nisbi məsafəsini göstərən) qurmasını təmin etdi.
Layihələri iki auditoriyada hədəf alırıq: birincisi, müstəqil olaraq məlumatlarla işləmək istəyən astronomiya mövzusunda həyəcanlı tələbələr, ikincisi, məktəb tədris proqramının bir hissəsi olaraq ümumi astronomiya və ya digər elm kurslarına gedən tələbələr. Hər iki auditoriyanı qəbul etmək üçün "Uşaqlar Üçün" dən (ibtidai sinif şagirdləri üçün layihələr) "Çağırışlar" a (parlaq kollec lisenziyasını uzatmaq üçün hazırlanmış layihələr) qədər müxtəlif layihə səviyyələri təklif edirik. Məktəblərdə istifadə üçün nəzərdə tutulmuş bütün layihələr arasında parol ilə qorunan müəllimlərin saytı, həll yolları, dərslər layihələri və milli təhsil standartları ilə əlaqələr yolu ilə rəhbərlik barədə tövsiyələr var [Layihə 2061].

Məsələn, "Köhnə Zaman Astronomiyası" adlı bir uşaq layihəsi (http://skyserver.sdss.org/en/proj/kids/oldtime/) şagirdlərdən astronomların kamera icad edildiyi əvvəl astronomiyanın necə olduğunu təsəvvür etmələrini istər. məlumatları eskizlər vasitəsilə yazmalı idi. Layihə ulduz və qalaktikaların SDSS şəkillərini göstərir və sonra şagirdlərdən gördüklərinin eskizlərini çəkmələrini istər. Bir şagird şəklin eskizini çəkdikdən sonra başqa bir tələbə ilə ticarət edərək digər tələbənin hansı şəklin çəkildiyini təxmin edə biləcəyini öyrənir (bax Şəkil 4).

Orta məktəb tələbələri və kollec tələbələri üçün bir layihə, genişlənən kainatı araşdırır. Veb sayt əvvəlcə tələbələrə elm adamlarının kainatın genişləndiyini necə bildikləri barədə məlumat verir. Daha sonra, Hubble Diaqramını gal uzaq qalaktikaların sürətlərinin (və ya qırmızı sürüşmələrinin) Yerdən məsafələrinin bir funksiyası kimi bir plan quraraq özləri üçün genişlənməni kəşf etməyə imkan verir. Nümunə tələbə Hubble diaqramı Şəkil 4-də göstərilmişdir. Digər şeylər arasında bu, şagirdlərə real məlumatlarla necə işləməyi öyrədir.

SkyServer ətrafında daha çox məşq və layihə hazırlanır. Xüsusilə müvəffəq olanlardan biri bir müəllim və Meksikadakı bəzi tələbələr tərəfindən edildi Şagirdlərə ana dilində elm öyrətmək üçün SDSS-dən istifadəyə beynəlxalq maraq artmaqdadır (bu halda İspan dili).

Sayt trafiki

Şəkil 5a: İlk 4 ayda SkyServer təxminən 2 milyon səhifə, təxminən milyon səhifə və təxminən otuz min seans oxudu.

SkyServer 5 İyun 2001-ci ildən bəri fəaliyyət göstərir. İlk 4 ayda təxminən iki milyon hit, 50 min seans vasitəsilə 700 min səhifə baxış keçirildi. Bunların təxminən 4% -i Yaponiyanın, 3% -i Almaniyanın alt-veb şəbəkəsidir. Təhsil layihələri trafikin təxminən 8% -ni topladı: gündə təxminən 250 səhifə baxış. Proqram yeniləmələri üçün 8-i və gücün pozulması ilə əlaqəli 3-ü 11 yenidən başladır. Yamalar 5 dəqiqəlik fasilələrə səbəb olur, elektrik enerjisi və əməliyyat kəsintiləri bir neçə saat davam edir. Statistikada göstərilməyib, lakin Şəkil 5a-da aydın şəkildə görünən, 22 iyun və 26 iyul 2001-ci il tarixlərində Fermilab-ı narahat edən iki şəbəkə kəsintisi və ya həddindən artıq yüklənmədir. Əksinə, trafikin ən yüksək olması saytdan istifadə olunan dərslər, ondan bəhs edən xəbər məqalələri və ya nümayişlərlə üst-üstə düşdü. Astronomiya konfranslarında. Davamlı istifadə gündə təxminən 3000 səhifəyə daxil olan təxminən 400 nəfərdir. Sayt ondan 100 qat daha böyük bir yükü idarə etmək üçün konfiqurasiya edilmişdir. Trafikin təxminən 30% -i SkyServer-i "sürünən" digər saytlardan - məlumatları və şəkilləri çıxarır. Gündə təxminən 10 "haker hücumu" olur.

Şəkil 5b: 6/2001 tarixində təqdimatından bəri aylıq SkyServer trafiki. 2003-cü ilin sentyabr ayına qədər ümumi hit sayı 15 milyonu aşdı.

2001-ci ilin iyun ayında təqdimatından bəri SkyServer saytında trafik durmadan artır. Şəkil 5b-də 2001-ci ilin iyun ayından bəri aylıq trafik göstərilmişdir. SkyServer-in xidmətdə olduğu 2 il 3 ay ərzində ümumi hit sayı hazırda 15 milyon hitdən çoxdur. Bu müddət ərzində ümumilikdə elektrik enerjisi kəsintilərinə qadağa qoyaraq, 99.9% -dən çox iş vaxtından istifadə etmişdir. Dəqiqəyə qədər olan ən son trafik hesabatına Cari Sayt Trafik səhifəsində baxmaq olar.

SkyServer, əsasən Windows uzaq pəncərə sistemi (Terminal Services Client) xüsusiyyətindən istifadə edərək Johns Hopkins və San Francisco-dan idarə olunur. İlk iki il ərzində Fermilab işçiləri artan inkişaf və sınaq üçün Johns Hopkins-də bir güzgü server ilə fiziki avadanlıqları, şəbəkəni və sayt təhlükəsizliyini idarə etdilər.2003-cü ilin avqust ayından etibarən rəhbərlik və əsas sayt artıq Johns Hopkins Universitetinə köçdü və Fermilabda bir güzgü sahəsi yerləşəcək. Almaniyada (Max-Planck İnstitutu, Garching), Yaponiyada və Hindistanda (IUCAA) əlavə güzgü saytları da yerləşdirilir.

Sloan Rəqəmsal Səma Araşdırması Məlumat və Verilənlər Bazaları

Fermilabdakı SDSS işləmə boru kəməri teleskopdakı 5 rəngli görüntüləri araşdırır və foto obyektləri ulduzlar, qalaktikalar, cığır (kosmik şüa, peyk, ) və ya bəzi qüsurlar kimi təyin edir. Təsnif ehtimaldır, yəni zəif bir ulduzu zəif uzaq kiçik qalaktikadan ayırmaq bəzən çətindir. Əsas təsnifata əlavə olaraq, boru kəməri bir obyektdən 5 rəng zolağındakı obyektin piksellərinin "kəsilməsi" daxil olmaqla təxminən 400 atribut çıxarır.

Şəkil 6: Tədqiqat iki müşahidəni (iki gecədən iki zolaq) bir zolağa birləşdirir. Zolaq şəkillər və foto obyektləri istehsal etmək üçün boru kəməri ilə işlənir.
Həqiqi müşahidələr təxminən 2,5 & 20 dərəcə və 120 ° uzunluqdakı zolaqlar şəklində aparılır (bax Şəkil 6). İşləri daha da çətinləşdirmək üçün bu zolaqlar əslində təxminən 10% üst-üstə düşən iki gecə müşahidəsinin (iki zolaq) mozaikasıdır. Zolaqların özündə üfüqdə bəzi üst-üstə düşür. Nəticədə, obyektlərin təxminən 11% -i boru kəmərində birdən çox dəfə görünür. Boru kəməri bir obyekt nümunəsini əsas olaraq seçir, lakin bütün nümunələr verilənlər bazasında qeyd olunur. Daha çətin olsa da, bir ulduz və ya qalaktika tez-tez başqa birinin üst-üstə düşür və ya bir ulduz çoxluğun bir hissəsidir. Bu hallarda uşaq obyektləri ana obyektdən silinir və hər bir uşaq verilənlər bazasında da görünür (borc verilən valideynlər heç vaxt birincidir.) Sonda foto obyektlərin təxminən 80% -i əsasdır.

Foto obyektlərin mövqeləri atributları var - J2000 koordinat sistemində sağ yüksəliş və meyl, ayrıca vahid vektorunun Kartezyen komponentləri və Hiyerarşik Üçbucaqlı Mesh (HTM) daxilində bir indeks. Beş rəng zolağının hər birində səhv zolaqları olan loqaritmik vahidlərdə (böyüklükdə) parlaqlığa sahibdirlər. Bu böyüklüklər altı fərqli şəkildə ölçülür (cəmi 60 atribut üçün). Şəkil işləyən boru kəməri, hər bir qalaktikanın ölçüsünü səhv təxminləri ilə 5 rəng zolağının hər birində bir neçə yolla ölçür. Boru kəməri hər bir obyekt üçün yüzə yaxın əlavə xüsusiyyət təyin edir bu atributlara müxtəlif olaraq bayraqlar, status və tip adlanır və bit bayraqları kimi kodlanır.

Boru kəməri hər bir obyekti digər kataloqlardakı obyektlərlə əlaqələndirir: Amerika Birləşmiş Ştatları Hərbi Dənizçilik Rəsədxanası [USNO], R ntgen Satellite [ROSAT], İyirmi santimetrlik [GÖSTƏR] və səmanın zəif görüntüləri [İLK] və s. Uğurlu əlaqələr bir sıra əlaqələr cədvəlində qeyd olunur. Spektrogramlar, Sloan Digital Sky Survey tərəfindən istehsal olunan ikinci növ əsas məlumat məhsuludur. Fərqli CCD'lərə gedən optik lifləri olan tək bir lövhədən istifadə edərək bir anda təxminən 600 spektr müşahidə olunur. Boru kəməri emalı ümumiyyətlə hər spektrogramdan təxminən 30 spektral xətt çıxarır və obyektin qırmızı sürüşməsini diqqətlə qiymətləndirir.

Məlumatların işlənməsi barədə daha çox məlumat üçün bu veb saytın SDSS şöbəsinə baxın.

Əlaqəli verilənlər bazası dizaynı

Əvvəlcə SDSS bütün verilənlər bazasını ObjectivityDB [SDSS-Science Archive] üzərində inkişaf etdirdi. Dizaynerlər alt siniflərdən geniş istifadə etdilər: məsələn PhotoObject-də Ulduz və Galaxy alt sinifləri var. ObjectivityDB massivləri dəstəkləyir, beləliklə 5 rəngli 5 dəyərli vektorlarla təbii şəkildə eşleştirilir. Valideynlər, uşaqlar, spektrlər və digər tədqiqatlarla əlaqələr obyekt istinadları kimi təmsil olundu. Nesne yönümlü dizaynı əlaqəli bir şemaya çevirmək sadə deyildi, lakin mövcud bilik, bacarıq və sənədləri qorumaq üçün orijinal dizaynı mümkün qədər çox qorumaq istəyirdik.

SQL əlaqəli verilənlər bazası dili göstəriciləri, massivləri və ya alt təsnifatı dəstəkləmir daha sadə bir məlumat modelidir. Bu həm güc, həm də borcdur. SQL verilənlər bazası dizaynına alt sinif üçün baxışlardan və əlaqələr üçün xarici düymələrdən istifadə edərək yaxınlaşdıq.

Anket başlayandan bəri məlumat emalı proqramında ciddi dəyişikliklər edildiyi üçün işlənmiş şəkillərimizin iki fərqli versiyasını saxlayırıq. Əvvəlcə işlənmiş məlumatların spektroskopik müşahidələr üçün hədəflərin seçildiyi anda dondurulmuş versiyasını saxlayırıq. Bu verilənlər bazasına TARGDR1 deyilir, burada DR1 versiya nömrəsini təyin edir: Data Release 1.

Sonra məlumatlar proqram təminatının ən yaxşı versiyası ilə işlənmişdir və bu obyektlər BESTDR1 verilənlər bazasında saxlanılır. İki verilənlər bazasının şeması eynidir və bir çox obyekt hər ikisində görünür, lakin səs-küyün daha yaxşı idarə olunması sayəsində BESTDR1-dəki obyektlərin sayı bir qədər çoxdur.

SkyServer əvvəlcə verilənlər bazası dizaynına sadə bir yanaşdı və işləyəndən sonra orada dayandıq. Dizayn SQL saxlama mühərriki və sorğu optimizatoru sayəsində məlumatların düzülüşü və məlumatlara giriş barədə bütün ağıllı qərarları qəbul edir. İki verilənlər bazasındakı məlumatların ümumi miqdarı 818 GB və satırların ümumi sayı 3,4 milyardı ötür.

Verilənlər Bazası Şeması

Şemanın bir-birinə bağlı üç əsas sahəsi var. Fotometrik müşahidələr nəticəsində 5 rəngli görüntülərimizdə aşkarlanan təxminən 80 milyon cisimi təsvir edən bir sıra cədvəllər meydana çıxdı. Bunlar spektroskopik təqib üçün hədəfləri seçmək üçün istifadə olunur. Hədəf seçiminin detalları və spetroskopik müşahidələr aşağıda, mavi sahənin içərisində göstərilir.
Şəkil 7a: SDSS Data Release üçün verilənlər bazası şeması 1. Ulduzlar və qalaktikalar kimi fotometrik obyektlər sağ tərəfdə, sərhəd hüdudlarında göstərilir. Spektroskopik qar dənəsi şeması solda, yaşıl sərhəddə göstərilir. Müvafiq metadata, avtomatlaşdırılmış sənədlər, bölmə və indeks xəritələri aşağıda, mavi sərhəddə göstərilir.

Fotoqrafiya obyektləri

Görüntüləmə məlumatlarından başlayaraq PhotoObj cədvəli bütün ulduz və qalaktika xüsusiyyətlərinə malikdir. 5 rəng atributu massivi və səhv massivi adları ilə təmsil olunur (u, g, r, i, z.) Məsələn, ModelMag_r, verilənlərə ən uyğun model tərəfindən ölçülən "qırmızı" böyüklüyün adıdır. Adların qeyri-təbii olduğu hallarda (məsələn profil massivində) məlumat massiv elementlərini bir blobdan çıxaran giriş funksiyaları ilə əhatə olunur. Göstəricilər və münasibətlər "xarici düymələr" ilə təmsil olunur.

Görünüşlər alt təsnifat üçün istifadə olunur. PhotoObj sinfinin birincil Obyektləri, qalaktikaları və ulduzları, alt sinifləri, PhotoObj əsas cədvəlinin PrimaryObjects, Ulduzlar və Gökadalar görünüşləri kimi müəyyən edilir (baxışlar yalnız əsas masadakı sorğulara çevrilən virtual masalardır).

Şəkil 7b: Fotoqrafiya obyektləri üçün sxem. Müşahidələr işlənir sahələr. Hər bir sahə öz növbəsində çoxunu ehtiva edir obyektlər. Obyektlərdə bir şəkil və a profil massiv, obyektin ətrafındakı konsentrik üzüklərdə parlaqlıq verir. Digər tədqiqatlarla əlaqələr (Rosat, First, USNO, ). Bir neçə dəfə müşahidə olunan obyektlər üçün bir uyğunluq cədvəli yaradılır. Closeby qonşular əvvəlcədən hesablanmışdır. qeyd olunur.
Nəticə, ortada PhotoObjAll cədvəlinin yerləşdiyi digər cədvəllər olan qar dənəsi şemasıdır (şəkil 7). 80 milyon PhotoObj qeydinin hər birində obyekti təsvir edən təxminən 470 atribut var, hər qeyd üçün təxminən 2 KB. Sahə cədvəli, bu çərçivədəki bütün obyektlər üçün, bütün çərçivələrdə istifadə olunan emalı təsvir edir. Digər cədvəllər photoObj'ı ədəbiyyatla birləşdirir (məsələn, bayraqlar və amp fPhotoFlags ('əsas')) və ya obyekti digər tədqiqatlardakı obyektlərə bağlayır. Bir masa, qonşular, məlumatlar yükləndikdən sonra hesablanır. Hər bir obyekt üçün qonşular cədvəli, obyektin 1/2 arcminute içindəki bütün digər obyektlərin siyahısını ehtiva edir (ümumiyyətlə 10 obyekt). Bu yaxınlıqdakı axtarışları sürətləndirir.

Spektroskopik obyektlər

Spectra, Sloan Digital Sky Survey tərəfindən istehsal olunan ikinci növ məlumat obyektidir. İki fərqli spektroqrafa gedən optik lifləri olan tək bir lövhədən istifadə edərək bir anda cəmi 640 spektr müşahidə olunur. Plitə təsviri boşqab cədvəlində, spektroqramın təsviri isə specObj cədvəlində saxlanılır (hər spektroqramın onunla əlaqəli yaraşıqlı bir GIF şəkli var.) Boru kəməri emalı ümumiyyətlə hər spektrogramdan təxminən 30 spektral xətt çıxarır. Spektral xətlər SpecLine cədvəlində saxlanılır. SpecLineIndex cədvəlində xətt qruplarının təhlilindən əldə edilən kəmiyyətlər mövcuddur. Bu kəmiyyətlər astronomlar tərəfindən astronomik obyektlərin növlərini və yaşlarını xarakterizə etmək üçün istifadə olunur. Hər sətir bir modellə qarşılıqlı əlaqələndirilir və qırmızı sürüşmə üçün düzəldilir. Nəticədə atributlar xcRedShift cədvəlində saxlanılır. Ayrı bir qırmızı sürüşmə yalnız emissiya xətləri istifadə olunur. Bu miqdar elRedShift cədvəlində saxlanılır. Yenə də əlaqəli verilənlər bazası dizaynlarında olduğu kimi, bütün bu cədvəllər xarici düymələrlə birləşdirilmişdir hər bir specObj obyektinin özünəməxsus bir specObjID açarı vardır və eyni açar dəyər hər bir əlaqəli spektral sətrin açarının bir hissəsi kimi saxlanılır. 512 obyektinin bütün spektral xəttlərini tapmaq üçün sorğu yazılır

Spektroqrafik cədvəllər müxtəlif bayraqlar və xətt növləri üçün adlar verən bir qar dənəsi şeması da təşkil edir. Xarici düymələr, bir foto obyektində ölçülmüş bir spektrogram varsa, PhotoObj və SpecObj masalarını birləşdirir.

Şəkil 7c: Spektroskopik obyektlər üçün sxem. Hər biri boşqab təxminən 640 istehsal edir spektrlər hər biri öz növbəsində təxminən 30 spektraldır xətlər. Xəttlər daha da təhlil edilir (xətt indeksi) və spektro obyektləri ilə əlaqələndirilir. Hədəflər fotometriyadan avtomatik olaraq seçilir, sonra təyin olunur plitələrlövhələr dizayn edilmişdir.

Metadata Cədvəlləri

Məlumatları sənədləşdirmək, məlumat yükləmə prosesinin tarixçəsini tutmaq və veb interfeysini dəstəkləmək üçün istifadə olunan bir sıra "müxtəlif" cədvəllər də mövcuddur.

Sənədlər verilənlər bazası şemasından avtomatik olaraq yaradılır. Hər cədvəl və sıra üçün bir sətirli təsvir var. Hər attirbute üçün fiziki vahid və Universal Məzmun Təsvirini (UCD) təyin edirik. Sadalanan kvantitlər üçün sadalananların siyahısına bir keçid veririk. Məlumat bazasında saxlanılan bir Sözlük və Alqoritm cədvəllərindəki maddələrə əlavə olaraq əlaqəli əlaqələrimiz var.

Şəkil 7d: Metadata cədvəlləri üçün sxem.

Verilənlər bazasına giriş Baxışlar, göstəricilər və giriş funksiyaları

  • PhotoPrimary: mode = 1 ilə photoObj
  • Ulduzlar: type = 'star' olan PhotoPrimary
  • Gökadalar: = "qalaktika" tipli əsas obyektlər

Çox istifadəçi əsas cədvəldən daha çox bu cədvəllər baxımından işləyəcəkdir. Əslində, sorğuların əksəriyyəti bu baxışlar baxımından verilir. Bu alt təsnifata bərabərdir. SQL sorğu optimallaşdırıcısı əlavə sorğularla baza photoObj cədvəlinə uyğunlaşması üçün bu cür sorğuları yenidən yazır.

Erişimi sürətləndirmək üçün photoObj cədvəli ağır şəkildə indeksləşdirilir (bu göstəricilər də görünüşlərə fayda gətirir). Ən çox daxil olan obyekt atributlarını ehtiva edən PhotoTag adlı şaquli bir məlumat dilimi də yaratdıq. Bu etiket cədvəli əsas cədvəldən təqribən yeddi dəfə kiçikdir (bir neçə min bayt deyil, bir neçə yüz bayt).

Etiket cədvəli dizaynı ilə bağlı narahatlığımız ondan ibarətdir ki, istifadəçilər etiket cədvəlində hansı xüsusiyyətlərin olduğunu bilməlidirlər və sorğularının etiket cədvəlindəki sahələrlə əhatə olunduğunu bilməlidirlər. İndekslər etiket masaları üçün cəlbedici bir alternativdir. A, B və C sahələrindəki bir indeks bu 3 atribut üzərində avtomatik idarə olunan bir etiket cədvəli və birincil düymə gives verir və SQL sorğu optimallaşdırıcısı sorğu yalnız bu 3 sahə ilə əhatə olunduğu təqdirdə (indeks) avtomatik olaraq bu indeksdən istifadə edir. Beləliklə, indekslər etiket masalarının rolunu yerinə yetirir və istifadəçinin intellektual yükünü azaldır. Sütun alt dəsti verməklə yanaşı, girişi on-yüz qat sürətləndirməklə yanaşı, indekslər məlumatları da klasterləşdirir ki, axtarışlar obyekt boşluğunun yalnız bir hissəsi ilə məhdudlaşsın. Kümelenme növə (ulduz, qalaktika) və ya boşluğa və ya böyüklüyə və ya başqa bir xüsusiyyətə görə ola bilər. Bir məhdudiyyət Microsoft SQL Server 2000-in indeksləri 16 sütuna qədər məhdudlaşdırmasıdır.

Bu gün SkyServer verilənlər bazasında onlarla indeks var və ehtiyac olduqda daha çox əlavə ediləcək. İndekslərin xoş tərəfi odur ki, əlavə edildikdə, istifadə edə biləcək hər hansı bir sorğunu sürətləndirirlər. İşin mənfi tərəfi budur ki, onlar məlumat daxiletmə prosesini ləngidirlər, lakin bu günə qədər heç bir problem olmayıb. SkyServer yaddaş sahəsinin təxminən 30% -i indekslərə ayrılmışdır.

İndekslərə əlavə olaraq, verilənlər bazası dizaynı, hər bir profilin hər bir obyektin etibarlı bir sahə daxilində bir obyektə sahib olmasını təmin etmək üçün kifayət qədər tam bir xarici açar bəyanat dəstini ehtiva edir. Bütün sahələrin boş olmadığını da israr edirik. Bu bütövlük məhdudiyyətləri yükləmə zamanı səhvlərin aşkarlanmasında əvəzolunmaz vasitədir və avtomatik olaraq verilənlər bazasında hərəkət edən vasitələrə kömək edir.

SQL Server cədvəl qiymətləndirməli funksiyalardan istifadə etməyə imkan verir. Bunlar qismən sadalanan və bit-müdrik dəyərlərə asan bir giriş təmin etmək üçün, qismən də avtomatik sənədlərin göstərilməsində və axtarışında kömək üçün dizaynımızda geniş istifadə edilmişdir. Həm də məkan axtarış metodları bu funksiyalara əsaslanır.

Məkan məlumatlarına giriş

SDSS alimləri kainatın qalaktik yığılma və genişmiqyaslı quruluşu ilə xüsusilə maraqlanırlar. Bundan əlavə, veb interfeys müntəzəm olaraq göy sferasının müəyyən bir düzbucaqlı və ya dairəvi sahəsindəki bütün obyektləri istər.

SkyServer üç fərqli koordinat sistemindən istifadə edir. Birinci sağ qalxma və enmə (quru koordinatlarında enlem boylamla müqayisə edilə bilər) astronomiyada hər yerdə yayılmışdır. J2000 koordinatlarındakı (x, y, z) vahid vektoru qövs açılı hesablamaları sürətli etmək üçün saxlanılır. Nöqtə məhsulu və iki vektorun Kartezyen fərqi qövs bucağını və ya aralarındakı məsafəni təyin etməyin sürətli yollarıdır.

Məkan sahəsi sorğularını sürətli bir şəkildə yerinə yetirmək üçün Johns Hopkins hiyerarşik üçbucaqlı mesh (HTM) kodu HTM, [Kunszt1] SQL Server-ə əlavə edildi. Qısaca, HTM səma kürəsini bir səkkizbucaq içərisinə yazdırır və hər səma nöqtəsini səkkizbucağın səthinə proyeksiyalayır. Bu proyeksiya təqribən iz-sahədir.

Şəkil 8a: Hiyerarşik Üçbucaqlı Mesh (HTM), səkkizbucaqlıdan başlayaraq səmanın hiyerarşik bir alt hissəsidir. Üçbucaq tərəfləri həmişə böyük dairə seqmentləridir. Şəkildə üçbucaqlar düz şəklindədir.

HTM kürəni səkkiz səthə bölür. Daha sonra hər bir üzü iyerarxik olaraq üçbucaqların rekursiv ardıcıllığı ilə parçalayır, beləliklə rekursiyanın hər səviyyəsi hər üçbucağı 4 alt üçbucağa ayırır (Şəkil 8a və 8b). SDSS fərdi üçbucaqların bir tərəfində 0,1 yay saniyəsindən az olması üçün 20 dərinlikdə bir HTM istifadə edir. Beləliklə, şimal qütbünə çox yaxın bir nöqtə üçün HTM ID (qalaktik koordinatlarda) 3,0, ., 0 kimi bir şey olardı. (Ra, dec) və HTM koordinatları arasında çevirmək üçün əsas rutinlər var.

Şəkil 8b: Hiyerarşik Üçbucaqlı Mesh (HTM) rekursiv şəkildə kürənin hər nöqtəsinə bir sıra təyin edir. Əksər məkan sorğuları, axtarışları kiçik bir üçbucaq dəsti ilə məhdudlaşdırmaq üçün HTM indeksindən istifadə edir. HTM indeksi SQL Serverin B ağaclarının uzantısı olaraq qurulur.

Bu HTM identifikatorları 64 bit tam ədəd kimi kodlanır. Vacibdir ki, 6,1,2,2 üçbucağındakı bütün HTM identifikatorları 6,1,2,2 ilə 6,1,2,3 arasında olan HTM ID-lərə malikdir. Beləliklə, HTM identifikatorları B ağacının indeksinə uyğunlaşdırıldıqda, verilmiş üçbucaqdakı bütün obyektlər üçün sürətli indeks təmin edir. HTM kitabxanası, cədvəl dəyərli bir spHTM_Cover (& ltarea & gt) funksiyasına bükülmüş bir SQL genişləndirilmiş saxlanılan prosedurdur. & Ltarea & gt ya dairə (ra, dec, radius), yarım boşluq (müstəvilərin kəsişməsi) və ya nöqtələr ardıcıllığı ilə təyin olunan çoxbucaqlı ola bilər. Funksiya bir cədvəl qaytarır, hər sətir HTM üçbucağının başlanğıcını və sonunu təyin edir. Fotoşəkil obyektlərinin məkan altını almaq üçün bu cədvələ PhotoObj cədvəli ilə qoşula bilər.

SpHTM_Cover () funksiyası əksər istifadəçilər üçün həddindən artıq ibtidai, əslində müəyyən bir obyektin yaxınlığındakı obyektləri və ya müəyyən bir ərazidəki bütün obyektləri istəyərlər. Beləliklə, daha sadə funksiyalar da dəstəklənir. Məsələn: fGetNearestObjEq (1,1,1) ekvatorial koordinatın (1 , 1 ) bir arminutundakı ən yaxın obyekti qaytarır. Bu prosedurlar tez-tez sorğularda və veb sayt səhifələrində istifadə olunur.

Verilənlər bazasının fiziki dizaynı

Məlumat cədvəllərinin hamısı bir neçə fayl qrupunda yaradılmışdır. Verilənlər bazası faylları tək bir RAID0 həcminə yayılır. Hər bir fayl qrupu, hər biri təxminən 50Gb ilə məhdudlaşan bir neçə verilənlər bazası sənədini ehtiva edir. Günlük faylları və müvəqqəti verilənlər bazası da bu disklərə yayılmışdır. SQL Server cədvəlləri bütün bu fayllar arasından və bu səbəbdən bütün bu disklərdən zolaqlayır. Ardıcıl girişi aşkarlayır, paralel prefetch mövzularını yaradır və məlumatları disklər çıxara biləcəyi qədər tez analiz etmək üçün birdən çox prosessordan istifadə edir. Oxuduqda və ya yazarkən, bu avtomatik olaraq heç bir xüsusi istifadəçi proqramı olmadan disk bant genişliklərinin (400 MBps-dən çox, tipik 180MBps) cəmini verir.

Bu fayl qrupu zolağının xaricində SkyServer bütün SQL Server standart dəyərlərindən istifadə edir. Xüsusi bir tənzimləmə yoxdur. Bu, SQL Server-in əlamətdar xüsusiyyətidir, sistem "heç bir düyməyə sahib olmamağı" hədəfləyir, beləliklə, qutudan kənarda performans kifayət qədər yaxşıdır. SkyServer bu hədəfi təsdiq edir.

Verilənlər bazası yükləmə prosesi

SkyServer bir məlumat anbarıdır: yeni məlumatlar qrup şəklində əlavə olunur, lakin əsasən məlumatlar sorğu olunur. Əlbətdə ki, bu sorğular ara nəticələr yaradır və cavablarını müvəqqəti cədvəllərə yerləşdirə bilər, lakin məlumatların böyük hissəsi yalnız oxunur. Bəzən yeni bir sxem yüklənir (hazırda V4-dəyik).

Şəkil 10: SkyServer Database yükləyici interfeysinin ekran görüntüsü. SkyServer, əməliyyat sisteminə quraşdırılmış uzaq bir masa üstü qurğusu və bir sıra ASP səhifələrindən olan Windows2000 Terminal Server istifadə edərək İnternet vasitəsilə idarə olunur. Həm yükləmə, həm də proqram təminatı bu şəkildə edilir. Bu ekran görüntüsü yük nəzarət veb interfeysindən bəzi pəncərələri göstərir.

SkyServer administratorunun nöqteyi-nəzərindən əsas vəzifə məlumatların təsdiqlənməsini də əhatə edən məlumatların yüklənməsidir. Boru kəmərindən yeni foto obyektlər və ya spektrlər çıxdıqda, verilənlər bazasına əlavə edilməlidir. Böyük həcmli məlumatları nəzərə alaraq bu yükləmə prosesinin mümkün qədər avtomatik olmasını istəyirdik.

Bütün yükləmə prosesi sadə bir iş axını diaqramı ilə yaxşı təsvir edilmişdir. İş axını bir Yönləndirilmiş Asiklik Qraf (DAG) kimi təmsil olunur və əlaqəli verilənlər bazası cədvəlində saxlanılır. Bu cədvəl bütün yükləmə prosesini idarə edir. Böyük miqdarda məlumat nəzərə alındıqda, səylərimizin əksəriyyəti müxtəlif bütövlük yoxlamalarının dizaynı və həyata keçirilməsinə sərf edildi.

Üç səviyyəli mesajlaşma və qeyd sistemini tətbiq etdik, iş axını üç fərqli dənəcikdə izlənilir: Tapşırıqlar, Mərhələlər və Mərhələlər. Hər yükləmə addımı üçün bir SQL skript var.Verilənlərin yüklənməsinə əlavə olaraq, bu skriptlər qeyd qeydlərini yükləmə vaxtını, mənbə sənədindəki qeydlərin sayını və daxil edilmiş qeydlərin sayını qeyd edən bir cədvəldə yazırlar. Sadə bir veb istifadəçi interfeysi yükləmə prosesinin vəziyyətini göstərir və jurnal qeydlərinin araşdırılmasını asanlaşdırır.

Verilənlər xarici açar məhdudiyyətləri pozduğundan və ya məlumatların etibarsız olduğundan (bütövlük məhdudiyyətlərini pozduğundan) müəyyən bir yükləmə addımı uğursuz ola bilər. Veb interfeysində operatorun (1) yükləmə addımını geri qaytarmasına, (2) diaqnoz qoymasına və məlumatları düzəltməsinə kömək edir. problem və (3) düzəldilmiş məlumatlardakı yükü yenidən icra etmək. Yükləmə saatda təqribən 15 GB-da işləyir (məlumatların çevrilməsi çox cpu intensivdir), buna görə cari SkyServer məlumatları bir neçə günə yüklənir.

Yükləmə çərçivəmiz bəzi addımların əksəriyyətini paralel olaraq, paylanmış əməliyyatlardan istifadə edərək bir qrup SQL Server qovşaqlarında yerinə yetirmək üçün hazırlanmışdır. Bu, yüklənməyə əhəmiyyətli dərəcədə sürətli və miqyaslılıq əlavə edir. DR1 məlumat dəstinin yüklənməsində altıya qədər maşın istifadə etdik. Yükləmə iki fazalı bir yükdür: əvvəlcə hər birini 20-30 GB-dan çox olmayan tapşırıq verilənlər bazalarına məlumatlar yükləyirik. Yayımlama verilənlər bazasında son təyinatlarına qədər dərc olunmadan əvvəl məlumatlar tamamilə təsdiqlənir.

  1. Transform
    Məlumat kəmərlərinin istehsal etdiyi ikili sənədlər virgüllə ayrılmış ASCII (csv) sənədlərinə çevrilir. FITS şəkilləri müxtəlif zoom səviyyələrində JPEG-ə çevrilir.
  2. İxrac
    Yüklənə bilən məlumatları ehtiva edən bir kataloq ağacının yeri bir veb interfeys vasitəsilə verilənlər bazasına daxil edilir. Günlük verilənlər bazasında yeni bir tapşırıq qeyd olunur.
  3. Yoxlayın
    Kataloq ağacındakı fayllar alt katalogların hər birindəki sadə bir günlük faylı ilə müqayisə olunur. Yüklənəcək faylların siyahısı günlük verilənlər bazasına daxil edilir. Tapşırığın ölçüsü təxmin edilir və tapşırıq qeydinə daxil edilir.
  4. Qurmaq
    Hər tapşırıq üçün uyğun ölçülü ayrıca bir məlumat bazası yaradılır. Şema yüklənir və jurnal məlumatları üçün fayl yaradılır.
  5. Əvvəlcədən yükləyin
    Günlük verilənlər bazasında tapşırığa aid olan hər bir fayl yüklənir. CSV sənədləri toplu daxiletmə vasitəsi ilə yüklənir və JPG və GIF şəkilləri kiçik bir DTS paketi istifadə olunur. Yüklənmiş sütunlarda yükləmə kimi bir neçə dəyər təyin olunur.
  6. Doğrula
    Çox möhtəşəm bir "məlumat təmizlənməsi" aparılır. Birincisi, hər bir unikal açarın unikal olduğu təsdiqlənir. Sonra hər bir xarici açarın etibarlılığı yoxlanılır. Nəhayət, hər şeyin düzgün bir şəkildə yükləndiyini yoxlamaq üçün verilənlər bazasında müxtəlif yoxlama məbləğləri həyata keçiririk.
  7. Yedək
    Hər tapşırıq bazası arxa plan saxlama serverində yedeklənir. Sonra verilənlər bazası dərc olunmadan ayrılır.
  8. Nəşr edin
    Nəşr ediləcək verilənlər bazasını ehtiva edən server tapşırıq verilənlər bazasını əlavə edir və Publish verilənlər bazasının mövcud məzmunu ilə birləşdirir. Yüklənmiş sətirlərin sayı doğrulanır.
  9. Təmizləmək
    Tapşırıq verilənlər bazası, yükləmə işləri üçün yer açmaq üçün sistemdən silinir.
  10. Bitirin
    Qalan xarici və əsas düymələr, qalan göstəricilərlə birlikdə qurulur. Qonşular və Maç cədvəllərini əvvəlcədən hesablayırıq, sonra tapşırıqlara uyğun fiziki sərhədləri və onların kəsişmələrini işləyirik.

Avadanlıq dizaynı və performansı

SDSS DR1 təxminən 900 GB-dır. Bu, aşağı səviyyəli ATA diskləri olan tək bir prosessor sistemində işləyə bilsə də, JHU-dakı SkyServer, Microsoft Research-in qrantı ilə dəstəklənən daha qabiliyyətli bir cihazla işləyir.

Şəkil 11: Yük balanslı üç yollu veb server, üç dəfə lazımsız verilənlər bazası server klasteri və girişə həsr olunmuş bir db serverdən ibarət SkyServer klaster hardware konfiqurasiyası. Verilənlər bazası serverləri xüsusi bir şəbəkədədir.

Veb ön tərəfi Windows Server 2003, IIS 6.0 və Microsoft Şəbəkə Yük Balanslaşdırması ilə işləyən üç cüt prosessor Dell Poweredge 1750 serverindən ibarətdir. Windows GB RAID1 (yansıtılmış) konfiqurasiyada işləyən 2 GB yaddaş, ikili Gbit Ethernet portu və iki 36 GB Ultra320 SCSI disk var.

Əksər məlumat mədəni sorğuları IO ilə əlaqəlidir, buna görə də verilənlər bazası serverləri sürətli ardıcıl disk bant genişliyi, sağlam CPU gücü və yüksək mövcudluq təmin etmək üçün konfiqurasiya edilmişdir. Arxa hissə, Windows Server 2003 və SQL Server 2000 işləyən üç Dell 4600 verilənlər bazası serverindən ibarətdir. Bu serverlərin hər birində 1,2 terabayt 10 k / dak Ultra SCSI sürücüsü var, nəzarətçilər arasında bölünüb, 4 sürücü bir SCSI kanalına. Serverlərin hər birində 4 GB yaddaş var. Bu konfiqurasiya sadə bir sorğu üçün məlumatları 400MBps-də taraya bilər. Tipik bir çox istifadəçi vəziyyətində sorğular 160-200 MBps-də işləməyə meyllidir.

Verilənlər bazası serverləri Gbit Ethernet vasitəsilə əlaqə qurur və xüsusi şəbəkə yaradır və veb serverlərin arxa tərəfdəki Ethernet portlarına qoşulur. Üç DB serverindən biri ümumi veb saytdakı qısa sorğulara, digər iki server isə qeydiyyatdan keçmiş istifadəçilər üçün daha uzun sorğulara həsr olunmuşdur, eyni zamanda uğursuzluqlar üçün ehtiyat nüsxəsidir.

İnkişaf və məlumat təşkilatının çox hissəsi, 24 GB yaddaşa və HP və Intel tərəfindən bağışlanan 3 TB SCSI diskə sahib bir Itanium2 HP RX5670 serverində olmuşdur. Eyni proqram təminatı quran Dell 4400 ayrıca veb verilənlər bazaları və SQL qeydləri ilə əlaqəli müxtəlif günlük verilənlər bazaları üçün istifadə olunan 3 güzgü 18GB həcmində ayrıca bir verilənlər bazası serverimiz var.

MySkyServer

SkyServer verilənlər bazasının (təxminən 1,3 GB SQL Server verilənlər bazası)% 1 alt dəsti CD-yə sığdırıla bilər və ya veb üzərindən yüklənə bilər. Buraya veb sayt və səmanın 6 kvadratındakı bütün foto və spektroqrafik obyektlər daxildir. Bu şəxsi SkyServer noutbuk və masaüstünə uyğundur. Sorğularla təcrübə aparmaq, veb sayt hazırlamaq və demo vermək üçün faydalıdır. Əslində hər sinifdə bir şagird üçün mini-SkyServer ola bilər.

Xülasə və növbəti addımlar

SkyServer, Sloan Digital Sky Survey Data Release 1-i (təxminən 80 milyon səma cismi və 200.000 spektr.) Özündə bir veb sayt və 900GB SQL verilənlər bazasıdır, kliklə vurma imkanı verən veb sayt vasitəsilə İnternet üzərindən əldə edilir. formaya əsaslanan hesabatlar, xam SQL sorğuları və GUI sorğu qurucusu daxil olmaqla bir neçə sorğu interfeysi.

SkyServer-i həm asan ictimai istifadə üçün bir veb sayt, həm də bir məlumat mədəni saytı olaraq dizayn etdik. Məlumat yığma qabiliyyətlərini yoxlamaq üçün 20 kompleks astronomiya sorğusu tətbiq etdik və performanslarını qiymətləndirdik. Tamaşadan məmnunuq. Digərləri serveri bir neçə min dollara klonlaya bilərlər. Məlumat və veb server, məlumatları araşdırmaq və ya məlumatları təhlil etmək və görselləşdirmək üçün daha yaxşı üsullarla təcrübə aparmaq üçün müxtəlif astronomiya və kompüter elmləri institutlarında da təkrarlanır.

Burada təsvir olunan vasitələr, əla məlumat təhlili və görselləşdirmə vasitələri təmin etmək məqsədinə doğru təvazökar bir addımdır. Ümid edirik ki, SkyServer kompüter alimlərinə daha yaxşı alətlər hazırlayaraq bu sahəni inkişaf etdirməyə imkan verəcəkdir. SkyServer artıq dörd əsas təkamül qoluna sahibdir:

İctimai SkyServer: SDSS məlumatlarının yeni versiyaları ildə bir və ya iki dəfə məlumat təhlili boru kəməri yaxşılaşdıqca yayımlanacaq və daha çox ictimaiyyətə açıqlandıqca məlumatlar artırılacaqdır. Bundan əlavə, SkyServer istifadə qaydaları ilə daha çox təcrübə əldə etdikcə daha yaxşı sənədlər və alətlər əldə edəcəkdir. Veb saytının Yapon və Alman klonları var və bir neçə başqa saytda klonlaşdırma planları var. Əsas server on min dollardan azdır.

Virtual Rəsədxana (VO): SDSS, İnternetdəki bir çox astronomiya arxivindən və mənbələrindən yalnız biridir. İnternet tezliklə dünyanın ən yaxşı teleskopu olacaqdır. Bütün ölçülmüş spektral zolaqları əhatə edən dünyanın astronomiya məlumatlarının çoxu onlayn olacaqdır. Məlumat ədəbiyyatla qarşılıqlı əlaqədə olacaqdır. Hər yerdə hamı üçün əlçatan olacaqdır. VO uğurlu olarsa, bütün bu məlumatları təhlil etmək üçün əla vasitələr olacaqdır.

Elm Arxivi: İlkin (hələ yayımlanmamış) məlumatlara sahib ikinci bir SkyServers qrupu, SDSS konsorsiumuna daxil ola bilən bir virtual özəl şəbəkə meydana gətirəcəkdir. Bu serverlərdə məlumatları yaxından tanıyan daha inkişaf etmiş istifadəçilər olacaqdır. Beləliklə, bu serverlərin unikal ehtiyacları olacaqdır.

Yayım və Kurikulum İnkişafı: SDSS məlumatları həm astronomiya, həm də hesablama elminin tədrisi üçün əla vasitədir. Verilər realdır - hər şey səhv çubuqları ilə gəlir, hər şey güclü bir elmi komponentə malikdir. SDSS məlumatları güclü qrafik, məkan və müvəqqəti komponentlərə də malikdir. Bu kifayət qədər yaxşı sənədləşdirilmiş və ictimai. Əlbətdə ki, bugünkü standartlara görə böyükdür. Ümid edirik ki, müəllimlər SkyServer'i və onun təhsil potensialını discover həm K-12-də, həm də universitet səviyyəsində "kəşf edəcəklər".

Təşəkkürlər

SDSS teleskopunu inşa edənlərə, onu işləyənlərə, SDSS emal boru kəmərlərini inşa edənlərə və Fermilabda boru kəməri işləyənlərə olan açıq borcumuzu etiraf edirik. SkyServer məlumatları bütün insanların səylərindən asılıdır. Compaq və Microsoft SkyServer-i dəstəkləmək üçün səxavətlə hardware, proqram təminatı və pul bağışladı. Tom Barclay veb sayt dizaynı, quruluşu və istismarı ilə bağlı bizə məsləhət verdi. Roy Gal, Steve Kent, Rich Kron, Robert Lupton, Steve Landy, Robert Sparks, Mark Subba Rao, Don Slutz və Tamas Szalay saytın məzmununa və inkişafına töhfə verdilər. Sadanori Okamura, Naoki Yasuda və Matthias Bartelmann saytın Yapon və Alman versiyalarını hazırladılar. Rosa Gonzalez və Kausar Yasmin testlərdə kömək etdilər və bəzi döyüş döyüşlərini inkişaf etdirdilər.

İstinadlar

[Barclay] T. Barclay, D.R. Slutz, J. Grey, "TerraServer: Bir Məkan Məlumat Anbarı", Proc. ACM SIGMOD 2000, səh: 307-318, iyun 2000

[İLK] İyirmi santimetrlik Radio Göyünün Zəif Görüntüləri (İLK) http://sundog.stsci.edu

[FITS] FITS - Esnek Görüntü Nəqliyyat Sistemi, http://heasarc.gsfc.nasa.gov/docs/heasarc/fits.html

[Boz] SDSS 20 sorğusu cavablandırıldı. http://skyServer.sdss.org/en/download/

[HTM] Hiyerarşik Üçbucaqlı Mesh http://www.sdss.jhu.edu/htm/ [Kunszt] PZ Kunszt, AS Szalay, I. Csabai, AR Thakar "SDSS Elm Arxivinin İndeksiyası" Proc ADASS IX , eds. N. Manset, C. Veillet, D. Crabtree, (ASP Konfrans seriyası), 216, 141- 145 (2000)

[Malik] SkyServer Query Analyzer, http://skyServer.sdss.org/en/download/

[MAST] Kosmik Teleskopda Çox Missiya Arxivi. http://archive.stsci.edu/index.html

[Memspeed] http://research.microsoft.com/BARC/ Sequential_IO /memspeed.zip

[NED] NASA / IPAC Qeyri-Qalaktik Verilənlər Bazası, http://nedwww.ipac.caltech.edu/

[Project 2061] Prinsiplər və Standartlar, http://www.project2061.org/

[ROSAT] R ntgen Peyki (ROSAT) http://heasarc.gsfc.nasa.gov/docs/rosat/rass.html

[SDSS] D.G. York et al., Sloan Digital Sky Survey: Texniki Xülasə, Astronomik Jurnal. 120 (2000) 1579-1587,

[SDSS-EDR] C. Stoughton et. al., "Sloan Digital Sky Survey Early Data Release", Astronomical Journal, mətbuatda (2002)

[SDSS-Elm Arxivi] http://www.sdss.jhu.edu/ScienceArchive/doc.html

[Simbad] SIMBAD Astronomik Məlumat Bazası, http://simbad.u-strasbg.fr/

[Szalay] A. Szalay, P. Z. Kunszt, A. Thakar, J. Gray, D. R. Slutz. "Çox Terabaytlı Astronomiya Arxivlərinin Layihələndirilməsi və Mədənləşdirilməsi: Sloan Rəqəmsal Səma Araşdırması", Proc. ACM SIGMOD 2000, s. 451-462, 2000


4 Cavablar 4

Kod səhifələrindən istifadəni dayandırmalı və Unicode-a keçməlisiniz. Bu yalnız bu cür problemlərdən qurtulmağın yolu.

Orijinal şərh cavaba çevrildi:

cp1250 və cp1252 "latin1 kodlamaları" DEYİL. Müqayisə kodlaşdırma deyil. Şərhinizi yenidən nəzərdən keçirin: Kim "server latin1 ilə kodlanmışdır" deyir? Əgər server bütün giriş / çıxışların latin1 kodlaşdırılmasını gözləyirsə (şübhə edirəm), onda sadəcə bəzi Şərqi Avropa simvollarını verilənlər bazanıza daxil edə bilməzsiniz (nə rus, çin, yunan və s.).

Müqayisədən daha uzağa baxmaq lazımdır. "" "msdn.microsoft.com/en-us/library/ms174596(v=SQL.90).aspx təklif edir, Latin1_General_CI_AS üçün istifadə edilmiş kodlaşdırma cp1252" "" codswallop. Cədvəldə LCID (yerli ID) verilir, defolt hər bölgə üçün uyğunlaşdırma və kod səhifəsi. Bəli, "Latin1_General_CI_AS" qarışığı, bir neçə yer üçün cp1252 kod səhifəsi ilə birlikdə verilmişdir. İki yerli (erməni və gürcü) üçün "Unicode" kod səhifəsi (.) İlə birlikdə verilmişdir.

Çox sadə, nə olduğunu öyrənməlisiniz kod səhifəsi verilənlər bazası istifadə olunur.

Veritabanından heç bir kodlaşdırma göstərmədən məlumat çıxarmağa çalışın. Etmə hər hansı bir kodlaşdırmada konsolunuzdan istifadə edə biləcəyinizi kodlaşdırmaqdan narahat olun - bu yalnız başqa bir qarışıqlıq mənbəyi əlavə edir. Bunun əvəzinə print repr (data) istifadə edin. Latın olmayan 1 simvol gözlədiyiniz repr () -dən əldə etdiklərinizi buraya bildirin.


SDSS server SQL serverinə python vasitəsilə giriş - Astronomiya

sdssQA, SQL sorğularını tərtib etməyə kömək edən bir GUI SQL sorğu vasitədir. SQL Server Query Analyzer-dən ilham almış, lakin UNIX, Macintosh və Windows müştərilərində Java tətbiqi kimi işləyir və bu veb saytdan sərbəst şəkildə əldə edilə bilər. İnternetdən istifadə üçün ODBC / JDBC (yerli istifadə üçün) və HTTP və ya SOAP vasitəsilə bağlanır.

Komanda Sətri SQL Aləti

sqlcl, SQL sorğularını tərtib etməyə kömək edən bir komanda xətti SQL sorğu vasitədir. Python-da yazılmış sadə bir vasitədir ki, sorğuları minimum səs-küylə təqdim edək.

GalaxyExplorer: 3D vizual vasitədir

Müəllif: Szalay, Tamas
Tarix: Yanvar 2002

Bu vasitə, Sloan Rəqəmsal Səma Araşdırmasında 3D qalaktika paylanmasının interaktiv, video oyun kimi bir uçuşunu təmin edir. Bu alət Windows altında işləyir, DirectX8.0 və ya daha yüksək versiyanı və 3D-i dəstəkləyən bir qrafik kartı tələb edir.

SDSS SkyServer Slo Sloan Rəqəmsal Səma Araşdırması Verilişlərinə Ümumi giriş

Müəllif: Szalay, Alexander Grey, Jim Thakar, Ani Kunszt, Peter Z. Malik, Tanu
Raddick, Jordan Stoughton, Christopher VandenBerg, Jan
Tarix: Noyabr 2001

SkyServer həm astronomlar, həm də elm təhsili üçün ümumi Sloan Digital Sky Survey (SDSS) məlumatlarına İnternet çıxışı təmin edir. Bu sənəd SkyServer hədəflərini və arxitekturasını təsvir edir. Eyni zamanda İnternetdəki SkyServer əməliyyat təcrübəmizi təsvir edir. SDSS məlumatları açıqdır və sənədləşdirilmişdir, beləliklə verilənlər bazası alqoritmləri və performansı üzərində araşdırma üçün yaxşı bir test platforması yaradır. Bu, Microsoft Texniki Hesabatı, MS-TR-2001-104 olaraq ortaya çıxdı.

Çox Terabaytlı Astronomiya Arxivlərinin Layihələndirilməsi və Mədənləşdirilməsi: Sloan Rəqəmsal Səma Araşdırması

Müəllif: Szalay, Alexander S. Kunszt, Peter Thakar, Ani Gray, Jim Slutz, Donald Brunner, Robert J.
Tarix: İyun 1999 (Fevral 2000-də yenidən işlənmişdir)

Arxiv astronomların məlumatları interaktiv şəkildə araşdırmasına imkan verəcəkdir. Məlumatların əldə edilməsinə çoxölçülü fəza və atribut indeksləri kömək edəcəkdir. Məlumatlar bir çox şəkildə bölünəcəkdir. Ən populyar atributlardan ibarət kiçik etiket obyektləri tez-tez axtarışları sürətləndirəcəkdir. Məlumatların birdən çox server arasında bölüşdürülməsi paralel, ölçeklenebilir I / O və paralel məlumat analizinə imkan verəcəkdir. Hashing texnikaları səmərəli klasterləşdirməyə və gözəl paralelləşməli olan cüt müdrik müqayisə alqoritmlərinə imkan verəcəkdir. Təsadüfi seçilmiş alt dəstlər masaüstündə əks halda böyük sorğuların səhvini düzəltməyə imkan verir. Mərkəzi serverlər, məlumatların əksəriyyətinə toxunan geniş axtarışları dəstəkləmək üçün bir məlumat pompası işlədəcəkdir. Gözlənilən sorğular, bucaq məsafələri və obyekt xüsusiyyətləri, şəkillər, rənglər, sürət vektorları və ya müvəqqəti davranışlar kimi kompleks oxşarlıq testləri ilə əlaqəli xüsusi operatorları tələb edəcəkdir. Bu məsələlər maraqlı məlumat idarəçiliyi problemləri yaradır.

Kağız, istehsal sistemini qurmağa başlamağımızdan təxminən bir il əvvələ aid SkyServer vizyonumuzu təsvir edir. Bu, MS-TR-99-30 bir Microsoft Texniki Hesabatı olaraq ortaya çıxdı.


İlkin şərtlər

Başlamaq üçün bir neçə ilkin şərt qurmalı olacaqsınız. Birincisi, Python'dan bir SQL Server nümunəsinə qoşulduğunuz üçün bir Python moduluna ehtiyacınız var. SQL-ə qoşulmaq üçün ümumi bir Python modulu PyODBC adlanır. Bu modul, Linux üçün bir SQL Server ODBC sürücüsü vasitəsilə ODBC vasitəsilə SQL verilənlər bazalarını sorğu etməyə imkan verir. Ən son versiyanı yükləmək üçün istifadə edin tırtıl (Python paket meneceri).

Bu işə yaramırsa, pip quraşdırmamış ola bilərsiniz. Pip quraşdırmaq üçün:

Sonra, bir Python skriptini yaratmalısınız. Mən buna zəng edəcəyəm sql_server.py. Python skriptini yaratmaq üçün əvvəlcə boş bir sənəd yaradın.

Sonra seçdiyiniz redaktoru istifadə edərək, aşağıdakı sətirləri əlavə edin. Python ikili yolunu izləyən shebang, tərcüməçiyə bunun bir Python skriptinin olduğunu söyləyir. İdxal bəyanatı daha sonra pyodbc modulunun daxilindəki kitabxana metodlarına zəng etməyə imkan verir. Bu skripti saxla.

Python skriptini yaratdıqdan sonra skripti işə salın:

Bu səhvsiz işləyirsə, pyodbc modulu uğurla quraşdırılmışdır.

Sonra, bir test sorğusunu icra etmək üçün kodu əlavə edin. Bunu etmək üçün bir ODBC simli yaradın.

ODBC simlərinin hazırlanması haqqında daha çox məlumat əldə etmək üçün burada yaxşı bir qaynaq var.

ODBC simli, daxil edilmiş şeylər haqqında seçicidir. Bu işi necə həyata keçirəcəyimizi müəyyənləşdirmək biraz vaxt apardı, amma mənim kimi göründüyü yerlərdə & # 8217. Aşağıda, ODBC simli ilə əlaqəli olan connect () metoduna arqument olaraq keçirəm & # 8217 pyodbc modul.

ODBC sətrinin əksəriyyəti aydındır, lakin vacib bir həqiqət UID. Həmişə ODBC sətrindəki hər hansı bir əks sivişdən qaçdığınızdan əmin olun. Həm də istifadə etdiyim bəzi seçimlər istəyə bağlıdır.

Ayrıca, yuxarıda etdiyim kimi SERVER üçün ana adını istifadə edə bilərsiniz və ya SQL Server IP adresini istifadə edə bilərsiniz.

SQL Serverinizə uyğun gəldiyini gördüyünüz kimi əlavə etmək və ya çıxarmaqdan çəkinməyin.

Sonra, T-SQL ifadəsini ötürməyə imkan verəcək bir kursor obyekti yaratmalısınız. Bu kursor () metodu ilə edilir.

İndi aşağıda göstərildiyi kimi istədiyimiz hər hansı bir T-SQL ifadəsini ötürmək üçün istifadə edilə bilən bir icra () metoduna sahib bir obyektiniz var. Bu, nəticədə verilənləri ehtiva edən bir sıra dəyişənini yaradır.

İndi verilənlər bazası ilə nə edəcəyinizə qərar verməlisiniz. Nəticələri bir CSV sənədinə göndərə, nəticələri başqa bir verilənlər bazasına yerləşdirə və ya məzmunu konsola yaza bilərsiniz.

Aşağıda, verilənlər bazası doldurulmuşsa nəticələri konsola yazdırıram.

Python-da SQL satırlarının çap edilməsi

Dəstin konsola yazdırıldığı təqdirdə, çıxışın çox gözəl olmadığını görürsünüz. Bu nöqtədə, məlumatların verilənlər bazasından necə formatlanacağına və ya ayrılacağına qərar vermək sizin ixtiyarınızdadır. Çətin hissəsi bitdi!

İndi belə görünən bir skriptlə başa çatacaqsınız:


Python və SQL Server Nümunəsini qoşun

Bu nümunədə, praktik bir nümunə ilə pyodbc kitabxanasından istifadə edərək Python və SQL Server arasında əlaqənin necə qurulacağını göstəririk.

Bu python daxilində SQL server proqramına qoşulun, əvvəlcə pyodbc kitabxanasını idxal edirik. Python IDE-dən SQL Server ilə əlaqə qurmaq üçün bütün lazımi funksiyalar mövcuddur.

Python kitabxananız yoxdursa, əmr təklifini Administrator olaraq açın, sonra Python skriptlərinə keçin (isteğe bağlı) və pip install pyodbc yazın.

Bundan sonra Python-u SQL Serverlərə bağlamaq üçün connect funksiyasından istifadə edirik. Budur, Windows identifikasiyasından istifadə edirik və bu səbəbdən İstifadəçi adı və şifrəsini təyin etməmişik. Bununla birlikdə, real vaxt rejimində SQL serverinə qoşulmaq üçün həm istifadəçi adı, həm də parol təyin etməlisiniz.

Bundan sonra, SQL Server-də mövcud olan İşləmə cədvəlindən məlumat idxal edirik.

Nəhayət, İşləmə cədvəlində mövcud olan hər bir satırı təkrarlamaq və sonra çıxışı çap etmək üçün For döngəsindən istifadə edirik.


SDSS Kataloq Məlumat Modelidir

SDSS kataloqu məlumatları ticarət əlaqəli verilənlər bazası idarəetmə sistemində (DBMS) - Microsoft-un SQL Serverində saxlanılır. Bu səbəbdən məlumatlar bir neçə 2 ölçülü cədvəldə təşkil edilmişdir. Cədvəllər və bir-birlərinə olan münasibətləri sxem verilənlər bazası jargonunda.

DR7 şemasının diaqramik görünüşü

Cədvəllərdə 3 fərqli məlumat növü var - görüntüləmə məlumatları Şəkil cədvəllər qrupu, spektroskopik və döşəmə məlumatları içərisindədir spektro cədvəllər və sənədlər kimi digər məlumatlar və ya foto və spektro məlumatları, yəni metadata ilə əlaqəli digər məlumatlar meta masalar. Bəzi cədvəllər ayrıca sürət və rahatlıq üçün xüsusi olaraq yaradılmışdır, məsələn, PhotoObjAll və SpecObjAll cədvəllərindəki müvafiq sahələrin əvvəlcədən hesablanmış birləşdirilməsini ehtiva edən SpecPhotoAll cədvəli.

Vacib cədvəllər aşağıda təsvir olunur baxışlar hal-hazırda hər cədvəldə müəyyən edilmiş. Görünüş cədvəl əvəzinə istifadə edilə bilən müvafiq cədvəlin alt hissəsidir - başqa sözlə a virtual masa. Görünüş ümumiyyətlə baza cədvəlindən istifadə etməkdən daha sürətli olur, çünki yalnız obyektlərin bir alt hissəsini yükləyir, amma ən əsası cədvəllərdə müəyyən etdiyimiz baxışlar yalnız elm üçün vacib olan obyektləri seçir və bunlar qeyri-elmi süzülür göy, QA və ya qüsurlu müşahidələr kimi obyektlər. Beləliklə, aşağıda tamlıq üçün əsas cədvəlləri sadalasaq da, əksər hallarda, masaların özləri əvəzinə masalarda müəyyən edilmiş görünüşlərdən istifadə etməlisinizməsələn PhotoObjAll və SpecObjAll cədvəlləri əvəzinə elm üçün PhotoObj və SpecObj görünüşlərindən istifadə edin.

BESTDR7, TARGDR7 və digər verilənlər bazaları

SDSS kataloq arxiv serverində iki əsas məlumat dəsti var - ayrı verilənlər bazasında olan BEST və TARGET məlumat dəstləri. Hər biri eyni xammalın fərqli emallarını ehtiva edir:

  • BEST veri dəsti BESTDR7 verilənlər bazası və xam məlumatların ən son, ən böyük kalibrlənməsini təmsil edir. BESTDR7 sorğular üçün standart verilənlər bazasıdır. Digər verilənlər bazaları açıq şəkildə göstərilməlidir (nümunə sintaksis üçün aşağıya baxın).
  • TARGET veri kümesi TARGDR7 verilənlər bazası və hədəf seçmə alqoritmi üzərində işləyərkən olduğu kimi məlumatların bir anlıq görüntüsünü əks etdirir, yəni spektroskopik hədəflərin seçildiyi kalibrləmədir. Bu məlumat versiyasını qorumaq, məlumatlarla elm aparmaq üçün vacibdir.

Hər iki verilənlər bazası eyni sxemə (cədvəllərə) malikdir, lakin fərqli məlumatlara malikdir. BESTDR7 verilənlər bazası ayrıca spektroskopik və döşəmə məlumatlarını, TARGDR7 verilənlər bazası yalnız görüntüləmə məlumatlarını ehtiva edir. Sorğuların böyük əksəriyyəti BESTDR7 verilənlər bazasında işləyir.

Varsayılan xaricində bir verilənlər bazası seçmək BESTDR7 sorğunuzda bunu & ltdbname & gt .. & lttablename & gt kimi təyin etməlisiniz, məsələn, TARGDR7..PhotoObj: SQL sorğularına dair əlavə kömək üçün SQL Giriş səhifəsinə baxın.

Hiyerarşik Üçbucaqlı Mesh (HTM)

SDSS məlumatları ilə əhatə olunan səmanın bölgəsini məkan olaraq parçalayan və koordinat kəsikləri ilə məlumatların daha sürətli məkan axtarışlarına imkan verən Hiyerarşik Üçbucaqlı Mesh (HTM) adlı bir məkan indeksləşdirmə sxemi qurmuşuq.

Verilənlər bazası göstəriciləri

Çoxölçülü məkan məlumatları üçün ümumi indeksləşdirmə sxemi olan HTM-yə əlavə, DBMS-nin özü hər cədvəldə sürətli axtarışlar üçün indeksləri təyin etmək imkanına malikdir. Müəyyən etdik indekslər bütün əsas masalarda.

  • İlkin Açar İndeks - cədvəlin unikal əsas düyməsindəki indeks.
  • Xarici açar göstərici - bir cədvəlin xarici düyməsindəki indeks, yəni başqa bir cədvəlin əsas açarı olan sütun.
  • Əhatə İndeksi - cədvəlin bir və ya daha çox sütununu əhatə edən indeks. Bu, həmin sahələrdəki birləşmiş indeksdir, buna görə də bu sahələrdən hər hansı birinin WHERE bəndinə daxil edildiyi təqdirdə axtarışları sürətləndirir.

Görüntüləmə (foto) məlumat masaları

- Verilənlər bazasındakı ən böyük cədvəl olan PhotoObjAll, hər görüntüləmə (foto) obyekti üçün 100+ parametr ehtiva edir. Bu parametrlərin əksəriyyəti üçün hər dalğa uzunluğu zolağı üçün hər biri 5 sətirdir. Bu cədvəl məlumatları ehtiva edir hamısı foto obyektlər, yalnız elm obyektləri deyil, buna görə PhotoObj adı verilirHamısı. Bu cədvəldə yalnız elm obyektlərini ehtiva edən və göy və digər naməlum obyektləri xaric edən görünüşüdür PhotoObj baxış. PhotoObjAll cədvəli tamlıq üçün mövcuddur, lakin elm sorğuları ümumiyyətlə PhotoObj görünüşündə aparılır.

PhotoObjBütün Baxışlar:

Adı göstərMündəricatTəsvir
PhotoAuxAll DR5 ilə geriyə uyğunluq üçün PhotoAuxAll-a baxın. PhotoObjAll-dan tələb olunan sütunları seçir.
PhotoAuxAll DR5 ilə geriyə uyğunluq üçün PhotoAuxAll-a baxın. PhotoObjAll-dan tələb olunan sütunları seçir.
PhotoAuxAll DR5 ilə geriyə uyğunluq üçün PhotoAuxAll-a baxın. PhotoObjAll-dan tələb olunan sütunları seçir.
PhotoAuxAll DR5 ilə geriyə uyğunluq üçün PhotoAuxAll-a baxın. PhotoObjAll-dan tələb olunan sütunları seçir.
PhotoAuxAll DR5 ilə geriyə uyğunluq üçün PhotoAuxAll-a baxın. PhotoObjAll-dan tələb olunan sütunları seçir.
PhotoAuxAll DR5 ilə geriyə uyğunluq üçün PhotoAuxAll-a baxın. PhotoObjAll-dan tələb olunan sütunları seçir.
PhotoAuxAll DR5 ilə geriyə uyğunluq üçün PhotoAuxAll-a baxın. PhotoObjAll-dan tələb olunan sütunları seçir.
PhotoFamily Bunlar PhotoObj-dədir, lakin nə PhotoPrimary, nə də Photosecondary. Bu cisimlər nə birincil, nə də ikincil tədqiqat obyektləri olduqda, lakin qarışıq birləşmiş bir obyekt və ya səhv bir şəkildə qarışdırılmış bir cismin bir hissəsi olduqda (bir qalaktikanın spiral qolları kimi) meydana gəlir. Bu obyektlər deblenderin necə işlədiyini izləmək üçün saxlanılır. PhotoObj sinfinin bütün üzvlərini miras alır.
PhotoObj Hər bir fotometrik (şəkil) obyektin bütün atributlarını özündə cəmləşdirən PhotoObjAll cədvəlindəki bütün əsas və ikinci dərəcəli obyektlər. PhotoObj modunu = 1 və ya 2 ilə seçir.
PhotoPrimary Bu obyektlər əsas tədqiqat obyektləridir. Göydəki hər bir fiziki cismin onunla əlaqəli yalnız bir əsas cismi var. Sonrakı müşahidələr nəticəsində ikinci dərəcəli obyektlər yaranır. Tədqiqat zolaqları üst-üstə düşdüyündən, bütün əsas obyektlərin 10% -dən çoxu üçün ikinci dərəcəli obyektlər olacaq və cənub zolaqlarında hər bir ilkin üçün çox sayda ikinci dərəcəli obyektlər olacaq (yəni yenidən müşahidə).
PhotoSecondary İkincil obyektlər eyni əsas obyektin yenidən müşahidə edilməsidir.

PhotoObjBütün göstəricilər:

- Bu PhotoObjAll cədvəlinin şaquli bölməsidir və yalnız ən çox tələb olunan sütunları ehtiva edir. Cədvəldəki hər satırın daha kiçik ölçüsü sayəsində bir dəfəyə daha çox satır yaddaş yaddaşına yüklənə bilər, bu səbəbdən PhotoTag masasındakı axtarışlar PhotoObjAll axtarışlarına nisbətən daha sürətli olur. Mümkün olduqda PhotoObjAll və ya PhotoObj əvəzinə PhotoTag cədvəlindən istifadə edin.

PhotoTag göstəriciləri:

- Bu cədvəl bir seqment içərisindəki bir kamera sütununa uyğun bir məlumat vahidi olan bir Seqmentlə əlaqəli əsas parametrləri ehtiva edir.

Seqment göstəriciləri:

- Bu cədvəldə hər bir görüntüləmə sahəsinin bütün ölçülmüş parametrləri, müvafiq xülasə statistikası və astrometrik və fotometrik məlumatlar yer alır.

Sahə göstəriciləri:

- Bir yığın bir stave içindəki görüntü məlumatlarının bitişik bir hissəsidir (cənub üçün zolaq). Alt və yuxarı mu sərhədləri arasında tam Şimal və Cənub zolaqlarından ibarətdir. Bir yığın toxunan, lakin üst-üstə düşməyən birincil seqmentlərdən (və ya seqmentlərin hissələrindən) ibarətdir.

Yığın göstəriciləri:

- Bu cədvəldə SDSS foto obyektlərinin işıq profilləri var.

PhotoProfile göstəriciləri:

- Bu cədvəldə SDSS sahə obyektlərinin işıq profilləri var.

FieldProfil göstəriciləri:

- 0,5 arcmins daxilində SDSS obyektləri və uyğunluq parametrləri burada saxlanılır. İkincilər kimi istənməyən PhotoObj-i süzdüyünüzdən əmin olun.

Qonşuların göstəriciləri:

- Bu cədvəldə, ehtimal ki, eyni obyekt olan müxtəlif işlərdən (müşahidələrdən) PhotoObj (əsas və ikincil obyekt) cütləri var. Əslində, bu cədvəl hər bir obyektin çoxsaylı müşahidələrini qeyd edir.

Uyğunluq göstəriciləri:

- Bu cədvəl hər matç klasterindəki kanonik obyekti və klaster statistikasını qeyd edir. Bir obyekt üçün müşahidələr (Eşleme cədvəlində qeyd edildiyi kimi), klasardakı minimum objID tərəfindən adlandırılan bir klaster təşkil edir. MatchHead, objID tərəfindən açılmış klaster haqqında xülasə məlumatlara malikdir.

MatchHead Göstəriciləri:

Spektro / Tiling Data Cədvəlləri

- Bu cədvəldə spektroskopik müşahidələr üçün istifadə olunan müəyyən bir lövhədən ixrac edildiyi (X ixrac olunur) məlumatları var. Hər bir plaka 640 müşahidə spektrinə və bu səbəbdən SpecObjAll-da 640 uyğun girdiyə malikdir.

PlateX göstəriciləri:

- Bu ehtiva edən bir əsas masadır BÜTÜN çox sayda və pis məlumat daxil olmaqla spektroskopik məlumatlar. İstifadə edin SpecObj bunun əvəzinə təmizliyi üçün lazımi süzgəcdən keçirilmiş məlumatlara baxın (aşağıya bax).

SpecObjAll Baxışlar:

Adı göstərMündəricatTəsvir
SpecObj Yalnız təmiz spektrlərə sahib olan Spectro obyektlərinə baxış. Görünüş QA və Sky və dublikatları istisna edir. Bunu spektro obyektlərinə daxil olmaq üçün əsas yol kimi istifadə edin.

SpecObjAll göstəriciləri:

- SpecObjAll cədvəlindəki bütün spektroskopik cisimlərdə tapılan bütün spektral xətlərin məcmuəsi. Hər spektral xətt üçün ölçülmüş bütün parametrləri ehtiva edir. Bu cədvəldə yalnız ölçülmüş sətirlərdən ibarət olan SpecLine görünüşü var.

Bütün baxışlar:

Adı göstərMündəricatTəsvir
SpecLine Ölçülmüş SpecLines obyektlərinin görünüşü Görünüş, kateqoriya = 1 olan SpecLine obyektlərini istisna edir, beləliklə ölçülməmişdir. Bu, SpecLine məlumatlarına daxil olmaq üçün istifadə etməlisiniz.

SpecLineAll indeksləri:

- Əvvəlcədən hesablanmış spektral xətt indeksləri. Bunlar, qalaktikaların yaş və ya metallik kimi müxtəlif xüsusiyyətlərini təyin etmək üçün istifadə olunan spektral xətt intensivliyinin birləşmələridir.

SpecLineIndex Baxışları:
SpecLineIndex Göstəriciləri:

- Göydəki fərdi plitələr haqqında məlumat ehtiva edir.

Bütün baxışlar:

Adı göstərMündəricatTəsvir
Çini = 0 olan TileAll görünüşü Görünüş, əvvəllər döşənmiş plitələri istisna edir.

Bütün göstəricilər:

- Bu cədvəldə bir Hədəfin Çini üçün niyə təyin olunduğunu izləyən məlumatlar saxlanılır.

TiledTargetBütün Baxışlar:

Adı göstərMündəricatTəsvir
TiledTarget = 0 olan TiledTargetAll obyektlərinin görünüşü Görünüş, əvvələ qoyulmuş TiledTarget obyektlərini istisna edir.

TiledTargetAll göstəriciləri:

- Bu cədvəldə kirəmit sərhədləri də daxil olmaqla döşəmə bölgələri haqqında həndəsi məlumatlar var. TileBoundary görünüşü sərhədləri təmin edir.

TilingGeometry Baxışları:

Adı göstərMündəricatTəsvir
Çini sərhəd İsMask = 0 olan TilingGeometry obyektlərinin görünüşü Görünüşdə isMask = 1 olan TilingGeometry obyektləri istisna olunur. Həmçinin bax TilingMask.
TilingMask İsMask = 1 olan TilingGeometry obyektlərinin görünüşü Görünüş, isMask = 0 olan TilingGeometry obyektlərini istisna edir. Həmçinin bax TilingBoundary.

TilingGeometry Indeksləri:

Metadata və digər masalar

- SpecObjAll-də bir obyektin birləşdirilmiş spektro və foto parametrləri. Bu PhotoObjAll və SpecObjAll masaları arasında əvvəlcədən hesablanmış birləşdirmədir. Photo attibutes, PhotoTag ilə eyni örtüyü əhatə etdi. Cədvələ Çini cədvəlindən müəyyən atributlar da daxil edilmişdir.

Bütün baxışlar:

Adı göstərMündəricatTəsvir
SpecPhoto Təmiz spektrlərə sahib olan birləşdirilmiş Spectro və Photo obyektlərinə baxış. Görünüşə yalnız SpecObj-in bir elmPrimary olduğu və ən yaxşı PhotoObj-nin İLK (cüt = 1) olduğu cütlər daxildir.

SpecPhotoAll göstəriciləri:

Python istifadə edərək SQL Serverin Uzaqdan bir nümunəsinə qoşulma

Python-un SQL Server & # 8217s inteqrasiyası maşın öyrənmə və BI oğlanlarına qarşı çox satıldı, amma DBA üçün bir şey təklif edirmi?

Bütün diqqətlər maşın öyrənməyə yönəlmişdi ki, bir müddət buna heç əhəmiyyət vermədim, amma sonra öz-özümə düşündüm. Hal-hazırda hər yerdəki DBA'lar PowerShell'i sevirlər, çox şey edə bilər & # 8217t? Avtomatlaşdırma üçün əla bir şeydir; bir düyməni basaraq skriptləri birdən çox serverə köçürə bilərik, bütün nümunələrimizdən məlumatları mərkəzləşdirilmiş idarəetmə bazasına qoşa bilərik. İşləri aktuallaşdırmaq üçün əla bir şeydir; nümunələrimizin mərkəzi rəhbərliyini istədiyiniz qədər asanlaşdırır və izləyir, artıq bütün bu severslərdə işləyən və ya agentlərin olmasına ehtiyac yoxdur, tək bir PowerShell skript çıxa bilər və bilməli olduğumuz hər şeyi öyrənin.

İndi Python çox zəngin bir proqramlaşdırma dilidir, yalnız uzaq bir SQL Serverə qoşula bilsəydi, birdən PowerShell'in sübut etdiyi qədər asanlıqla faydalı ola bilər. Mümkünsə CMDEXEC və ya əlaqəli serverlər kimi xoşagəlməz şeylər üçün ehtiyac duyulmadan çıxıb bütün serverlərimizi tək bir saxlanılan prokuror daxilindən əldə edə bilərik.

Ola bilər, sadəcə bunu yoxlayın & # 8230.

Uzaqdan Serverdən Seçim

PowerShell istifadə edərkən fərqli olaraq, CMDEXEC istifadə edərək xarici zənglər etməyə ehtiyac yoxdur, biz Python skriptlərimizi olduqca sevimli sp_execute_external_script istifadə edərək T-SQL daxilindən çalışdıra bilərik. Bu, R skriptlərini çalıştırmak üçün istifadə etdiyiniz eyni prokrardır (bu şəkildə meylli olsanız), indi SQL2017 ilə Python skriptlərini də çalıştırmak üçün istifadə edə bilərik. Mənim bir hissəm, Microsoft-un PowerShell-i və hətta .NET kodunu da işlədəcəyinə imkan verərək & # 8217s əhatə dairəsini daha da genişləndirməyi planlaşdırdığını düşünürəm.

Sp_execute_external_script əsas sintaksisidir, sadəcə etiqad etdiyimiz dili @language parametri təyin etmək və bu halda & # 8216Python & # 8217 və @script parametri çalıştırmaq istədiyimiz kodu götürəcəkdir. .

Microsoft bizə çox mehribanlıqla hər cür əyləncəli şeylər edən bir dəst paket təqdim etdi. Uzaq bir serverə qoşulmaq və bir verilənlər bazasını qaytarmaq üçün maraqlandığımız ikisi var, pyodbc və pandalar. pyodbc, serverimizə qoşulmaq üçün istifadə edə biləcəyimiz bir API ifşa edir və pandalar əsasən məlumatların təhlili üçün hazırlanmış bir paketdir, lakin məqsədimiz üçün bir verilənlər bazasını SQL-ə qaytara bilər.

Aşağıdakı kod uzaq bir serverə qoşulacaq və həmin instansiyada verilənlər bazalarının siyahısını qaytaracaqdır.

Kod kifayət qədər sadədir, ehtiyacımız olan iki paketi idxal etməyə başlayırıq. Uzaq SQL nümunəmizə bir əlaqə simli istifadə edərək bir əlaqə obyekti yaradırıq. Sql əmrimizi sorğu dəyişəninə veririk və nəhayət, uzaq instansiyaya qoşulmaq və sorğunu işə salmaq üçün təmin edilmiş əlaqə simli istifadə edəcək Pandas metodunu çağırırıq & # 8216read_sql & # 8217. Nəticələr OutputDataSet-ə təyin edildi və SQL-ə qaytarılan bu verilənlər bazası.

Parametrləri skriptə ötürə biləcəyimizi istəsək, python skriptinə keçmək üçün parametrləri təyin etmək üçün @params istifadə edə bilərik. Aşağıdakı nümunə sql sorğusunu skriptə keçir.

Məlumatların dəyişdirilməsi

Beləliklə, uzaq bir serverdən seçim edə bilərik, amma məlumatları necə dəyişdirə bilərik?

Həqiqətən olduqca sadədir, sürətli bir yeniləmə üçün aşağıdakı kodu nəzərdən keçirin və # 8230.

Beləliklə, əlinizdədir, burada heç bir yer parçalanmayan bir şey yoxdur; inşallah Python-un yalnız BI Data Scientist üçün deyil, DBA üçün nə qədər faydalı ola biləcəyini görə bilərsiniz. Əsl gözəllik budur ki, bütün bu kodlar xoşbəxtliklə saxlanılan bir prokurorun içərisində otura bilər, PowerShell ilə bu qədər yaxşı iş görə bilməyəcəksiniz.