Обрезаем хвосты с пробелами в макропеременных через PROC SQL

Всем привет!

Пару лет назад была статья о работе с макропеременными, о том как сохранять значения без хвоста пробелов. Тогда речь шла о записи значений через DATA STEP.

В этой статье я поделюсь, как это можно сделать через PROC SQL.

Читать далее Обрезаем хвосты с пробелами в макропеременных через PROC SQL

SAS HTTPS в России

encryptionВсем привет!

С приходом новых версий продуктов SAS, приходят и новые проблемы. В статье я опишу проблему, с которой разработчики SAS в ряде стран сталкиваются при работе с протокол HTTPS с помощью PROC HTTP.

ERROR: Could not find extension: (tkessl)

ERROR: An SSL cipher handle could not be created.

ERROR: TK extension TKEAM could not be loaded. Most likely secure communications are not available on this system.

ERROR: Unable to establish an SSL connection.

Вы столкнулись с этой ошибкой? Одно из решений в данной статье!

Читать далее SAS HTTPS в России

SAS PWDECODE или как расшифровать пароль ?

Добры день!

Сегодня речь пойдет о том, можно ли расшифровать пароль SAS или нет.

И насколько вообще можно доверять зашифрованным паролям SAS?

Думаю многие задумывались на тему как же можно это сделать.

И так:

Читать далее SAS PWDECODE или как расшифровать пароль ?

SAS Studio 3.4. Что появилось нового?

Всем привет.

Сегодня рассмотрим последнюю версию SAS Studio, а именно версию 3.4.

А также на примере рассмотрим появившийся новый функционал.

Подробно о том что нового появилось в SAS Studio 3.4 можно прочитать здесь.

В видео представлен, как работает новый функционал загрузки данных из файлов, а также какие типы файлов можно загружать.

Надеюсь урок был для вас полезен. 
С уважением,
Николай.

SAS Environment Manager. А Вы знаете в каком состоянии находится Ваша SAS платформа в данный момент?

Всем привет.

Сегодня речь пойдет о таком продукте, как SAS Environment Manager. Честно говоря не понятно как раньше жили без него. Ведь приходилось же сталкиваться с проблемами, когда:

  • программы не запускались 
  • или вдруг появлялась ошибка, хотя раньше никогда не возникало
  • или не удавалось законектиться в приложение. 
И приходилось иногда быстро, а иногда и муторно разбираться в чем же дело. 
И оказывалось, что либо память закончилась, либо ОbjectSpawner вырубился либо еще много чего могло быть. 
Сейчас же появился удобный способ быстрого мониторинга вашей системы, благодаря SAS Environment Manager.
Архитектурно он выглядит так:
И состоит из 5 основных компонент:
Агент — который ставится на каждый сервер (для мультисерверной архитектуре). Собирает информацию по разным метрикам. 
Managment Server — связывается с агентами и собирает передаваемую информацию в базу данных
База данных — по умолчанию это PostgreSQL
Application — непосредственно интерфейс SAS Environment Manager
Plugins — плагины, позволяющие расширять возможности SAS Environment Manager.
Ниже привожу видео с рассказом о SAS Environment Manager.
Да, в заключении хотелось бы добавить, что алерты можно выгружать в сторонние системы, как например — HP Service Manager, т.е. интегрировать с уже устоявшейся системой мониторинга IT ресурсов. 
С уважением,
Николай. 

SAS Studio. Первый взгляд.

Всем привет.

Я уже писал про SAS Studio в статье. Однако теперь давайте познакомимся чуть ближе с самим продуктом. И посмотрим на что он способен.

Ниже привожу два видео, которые покажут беглый взгляд на данный продукт.

Мне понравилось, то что можно наконец-то работать из любого места, где есть просто барузер и не надо заморачиваться со служебками на установку толстого клиента SAS EG.
Также преднастроенные куски кода дают возможность быстро освоиться с тем, что тебе нужно. Даже добавлены коды на DS2, что приятно удивило. 
В общем время покажет, что лучше SASStudio или SAS EG. 
А как считаете Вы, уважаемые читатели?
С уважением,
Николай.

Что нужно занать при создании макроперепенных?

Всем привет!
В сегодняшнем уроке поговорим о том как создавать макропеременные, а именно:
  • Чем отличается CALL SYMPUT от %LET ?
  • Как создавать в макросе глобальные макропеременные?
  • Что такое вложенность локальных макропеременных?
На все вышеперечисленные вопросы ответы вы найдете в приведенном ниже видео с примерами.
Хочу привести картинку к третьему вопросу со вложенностями локальных переменных:
Источник для данного урока вы можете посмотреть тут.
Если урок Вам понравился, пусть его увидит больше людей – сделайте репост в фейсбуке, вконтакте или google+ , а также жду Ваших комментариев.
С уважением,
Николай.

SAS plus Hadoop. А для чего нужно вообще связка Hadoop и SAS?

Всем привет.

Не для кого не секрет, что объем данных, с которыми мы работаем постоянно растет.
И анализировать возрастающий объем становиться все сложнее. Скорость работы ваших программ постоянно увеличивается и долего не всегда она увеличивается пропорционально объему поступаемых данных.

Так вот сейчас все большую популярность набирают MPP системы.

И речь уже не стоит в том «будут ли компании внедрять подобные системы или нет ?», а стоит лишь вопрос «когда ?»

Причем зачастую решение принимается, когда уже нет больше сил терперь, то что работает сейчас.

Так вернемся к нашему заголовку.

Одно и применений связки SAS + Hadoop — это просто хранение данных, как в решение SAS Visual Analytics. Там Hadoop используется как источник для LASR Server и позволяет быстро подгружать в оперативную память необходимые для анализа данные.
Скорость увеливается в десятки раз, по сравнению с тем, как если бы грузились бы данные просто с внешненго источника.

Другое применение связки SAS + Hadoop — это  проваливание вычислений в Hadoop (или другую MPP платформу, как например Teradata, Greenplum и другие).
Примером может служить решение «SAS Scoring Accelerator» для различных платформ.

В данном случае скоринговые модели считаются на сторонее MPP платформы, что дает значительный выигрыш во времени потраченное на скоринг.

SAS connect to Hadoop. Способ подсоединения через Filename. Part1

Всем добрый день.

Сегодня рассмотрим пример, как можно создавать файлы в hadoop, а также делать записи в эти файлы и после забирать данные.


Визуально схема взаимодействия SAS и Hadoop выглядит следующим образом:

Итак самое главное, что Вам нужно сделать, это написать следующий конфигурационный xml файлик:

Где сервер hadoop_main_node, нужно заменить на Ваш сервер, а точнее на гловной Node hadoop.

После этого пишем обычный filename с указанием access method — HADOOP, обязательно в опциях нужно указать путь к конфигурационному xml файлу.

В приведенном примере мы созадли файл test.txt и записали туда одну записть «TEST test Test1»

Теперь убедимся в том, что данный файл появился в файловой структуре Hadoop:

Первая команда была выполнена до запуска sas кода, вторая уже после. Сравнив, мы видим, что появился наш файлик test.txt.

Теперь давайте попробуем забрать эти данные. Делается это также просто:

Мы видим, что в work появился файлик Test, в котором есть как раз одна наша запись.

В дальнейших уроках мы рассмотрим другой метод соединения с Hadoop, а именно через SAS/Access.

Вкратце обо всех трех способах взаимодействия SAS и Hadoop писал в прошлой статье.

До скорых встеч.
С уважением,
Тимаков Николай.

SAS connect to Hadoop. Три способа взаимодействия SAS и Hadoop.

Всем привет.

Уже достаточно давно у всех на слуху слово Hadoop или Big Data.
Многие про это слышали, но мало кто видел.

Тем неменее SAS уже официально является партнером таких мировых лидерова как Cloudera  и Hortonworks.

Если зайти на сайт SAS, то можно увдидеть множество макретинговой информации о приимуществах hadoop и визуализации SAS.

Однако когда дело доходит непосредственно до работабы все оказывается не так просто…

Есть официальная документация SAS по тому как настраивать соединение SAS c Hadoop. Его можно посмотреть тут.

А дело в том, что необходимо создавать папку и прописывать путь SAS_HADOOP_JAR_PATH и класть туда специальный jar файлы из уставновленного hadoop. Это может быть как Cloudera, Hortonworks, Apache Hadoop, IBM BigInsigths.  Но какие именно нужны фалы вам об этом никто не скажет. Так сказать разбирайтесь сами. С этим пришлось изрядно повозить.

Так вот возвращаясь к названию статьи есть три способа соединяться с hadoop:

1. Непосредсвенно через файлы. В таком случае обращение идет сразу к файловой системе hadoop HDFS:

2. Через MapReduce. В данном случае вы уже можете писать и запускать свои mapreduce программы.

3. Через SAS/Access. В данном случае взаимодейсвие идет через Hive Server, а не непосредсвенно через hadoop.

Таким образом, как можно видеть, не обязательно иметь SAS Access to Hadoop для того чтобы взаимодейсвовать с Hadoop.

Данные картинки я взял из презентации Jeff Bailey, который непосредсвенно отвечает за плагины SAS Access к различным базам данных.

Если у Вас появятся вопросы, связанные с коннектом SAS и Hadoop обращайтесь. Или поделитесь опытом — сколько времени вы на это потратили :).

С уважением,
Тимаков Николай.