atlas安装部署

这里选择的是2.0.0版

解压：tar -xfz apache-atlas-2.0.0-sources.tar.gz

编译、打包

编译 mvn clean -DskipTests install

打包：分两种

只打包 atlas： mvn clean -DskipTests package -Pdist
内嵌 Hbase 和 Solr 的：mvn clean -DskipTests package -Pdist,embedded-hbase-solr

这里采取的是第一种，只打包 atlas

Solr 安装部署

下载：http://archive.apache.org/dist/lucene/solr/7.5.0/solr-7.5.0.tgz

解压：tar -zxf solr-7.5.0.tgz

安装

配置 SOLR_HOME

[root@tnode3 solr-7.5.0]# vi /etc/profile	

export SOLR_HOME=/data/solr/solr-7.5.0
export PATH=$PATH:$SOLR_HOME/bin

[root@tnode3 solr-7.5.0]# source /etc/profile

添加 solr.xml 文件。如果不添加此文件到 $SOLR_HOME，启动报错 corecontainer is either not initializ，日志在 $SOLR_HOME/server/logs/solr.log

1 2	[root@tnode3 solr-7.5.0]# cd $SOLR_HOME [root@tnode3 solr-7.5.0]# cp server/solr/solr.xml .

修改配置：

[root@tnode3 solr-7.5.0]# vi solr.in.sh

ZK_HOST="tnode3:2181/solr4atlas"
SOLR_PORT=9838

ZK 创建对应目录

1
2
3

./zkCli.sh

create /solr4atlas "solr4atlas"

需要修改系统最大进程数，修改完成之后重新连接会话窗口。

vi /etc/security/limits.d/90-nproc.conf

*          soft    nproc     65000
*          hard    nproc     65000
root       soft    nproc     unlimited

启动 Solr

bin/solr start -force

将 Solr 集成到 Atlas

apache atlas 配置的solr文件夹拷贝到solr各个节点,并重命名为：apache-atlas-conf

创建 collection

1
2
3

bin/solr create -c vertex_index -d $SOLR_HOME/apache-atlas-conf -shards 2 -replicationFactor 2 -force
bin/solr create -c edge_index -d $SOLR_HOME/apache-atlas-conf -shards 2 -replicationFactor 2 -force
bin/solr create -c fulltext_index -d $SOLR_HOME/apache-atlas-conf -shards 2 -replicationFactor 2 -force

Atlas 集成独立 Solr 集群

修改atlas-application.properties solr 相关配置

配置文件位于：$ATLAS_HOME/conf/atlas-application.properties

HBase 2.1.7 安装部署

解压：tar -zxf hbase-2.1.7-bin.tar.gz

安装部署：

三个配置文件：

hbase-env.sh

export JAVA_HOME=/usr/java/default
export HBASE_MANAGES_ZK=false
export HBASE_LOG_DIR=/data/hbase-2.1.7/logs
export HBASE_PID_DIR=/data/hbase-2.1.7/pids

hbase-site.xml

<configuration>

    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://tbbkhd/apps/hbase2/data</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
     <property>
   	<name>hbase.zookeeper.property.clientPort</name>
    	<value>2181</value>
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>tnode3</value>
    </property>

    <property>
        <name>zookeeper.znode.parent</name>
        <value>/hbase</value>
    </property>

</configuration>

需要创建 hdfs://tbbkhd/apps/hbase2/data 此目录。

regionservers

localhost

启动

1	bin/start-hbase.sh

Atlas 集成已有 HBase 集群

修改 atlas-applications 文件

#Hbase
#For standalone mode , specify localhost
#for distributed mode, specify zookeeper quorum here
atlas.graph.storage.hostname=tnode3
atlas.graph.storage.hbase.regions-per-server=1
atlas.graph.storage.lock.wait-time=10000

# 该项不知道要不要改，这里改了
atlas.audit.hbase.zookeeper.quorum=tnode3:2181

修改 atlas-env.sh 文件

加上 export HBASE_CONF_DIR=/data/hbase/hbase-2.1.7/conf

Atlas 集成已有 Kafka 集群

修改 atlas-applications 文件

#########  Notification Configs  #########
# 主要注释调前面两项，不然无法连接上外部的 kafka 集群
#atlas.notification.embedded=true
#atlas.kafka.data=${sys:atlas.home}/data/kafka
atlas.kafka.zookeeper.connect=tnode3:2181/kafka
atlas.kafka.bootstrap.servers=tnode1:9092,tnode2:9092,tnode3:9092
atlas.kafka.zookeeper.session.timeout.ms=400
atlas.kafka.zookeeper.connection.timeout.ms=200
atlas.kafka.zookeeper.sync.time.ms=20
atlas.kafka.auto.commit.interval.ms=1000
atlas.kafka.hook.group.id=atlas

Atlas 配置

# 需要指定 节点。方便以后其他机器 cli 访问
atlas.rest.address=http://tmaster:21000
# If enabled and set to true, this will run setup steps when the server starts
#atlas.server.run.setup.on.start=false

安装部署

Atlas 编译

下载解压 源码包